KR20200126881A - Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore - Google Patents

Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore Download PDF

Info

Publication number
KR20200126881A
KR20200126881A KR1020190133480A KR20190133480A KR20200126881A KR 20200126881 A KR20200126881 A KR 20200126881A KR 1020190133480 A KR1020190133480 A KR 1020190133480A KR 20190133480 A KR20190133480 A KR 20190133480A KR 20200126881 A KR20200126881 A KR 20200126881A
Authority
KR
South Korea
Prior art keywords
image
neural network
microscope image
microscope
resolution
Prior art date
Application number
KR1020190133480A
Other languages
Korean (ko)
Other versions
KR102319643B1 (en
Inventor
예종철
임성준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20200126881A publication Critical patent/KR20200126881A/en
Application granted granted Critical
Publication of KR102319643B1 publication Critical patent/KR102319643B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a microscope image processing method using a neural network having a point spread function layer and a device therefor. According to an embodiment of the present invention, the image processing method comprises the following steps of: receiving a microscope image; and restoring the microscope image to a deblurring image corresponding to the microscope image by deconvolution-processing the microscope image by using an unsupervised learning based neural network trained by using mismatched data, wherein the neural network can be trained based on predefined cyclic loss and adversarial loss for high-resolution images corresponding to the microscope image and the deblurring image.

Description

점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING MICROSCOPY IMAGE USING ARTIFICIAL NEURAL NETWORK WITH POINT SPREAD FUNCTION LAYER AND APPARATUS THEREFORE}A method and apparatus for processing microscopic images using a neural network with a point spread function layer {METHOD FOR PROCESSING MICROSCOPY IMAGE USING ARTIFICIAL NEURAL NETWORK WITH POINT SPREAD FUNCTION LAYER AND APPARATUS THEREFORE}

본 발명은 점 확산 함수(PSF; point spread function) 레이어를 가진 뉴럴 네트워크를 이용한 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 점 확산 함수에 의해 처리된 현미경 영상을 비매칭 데이터를 이용하여 학습된 비지도 학습(unsupervised learning) 기반의 뉴럴 네트워크를 이용하여 디컨볼루션(deconvolution) 처리함으로써, 현미경 영상에 대응하는 고해상도의 디블러링(deblurring) 영상으로 복원할 수 있는 방법 및 그 장치에 관한 것이다.The present invention relates to an image processing method and apparatus using a neural network having a point spread function (PSF) layer, and more specifically, a microscope image processed by a point spread function is processed using mismatched data. A method for reconstructing a high-resolution deblurring image corresponding to a microscope image by processing a deconvolution using a neural network based on learned unsupervised learning and its apparatus will be.

형광 현미경에서, 주어진 광학에서 나오는 빛의 회절은 영상(image)의 해상도를 떨어뜨린다. 해상도를 개선하기 위해 많은 최적화 기반 디컨볼루션 알고리즘이 개발되었다. 종래 일 실시예의 기술은 점 확산 함수(PSF) 측정을 사용할 수 없는 경우 미지의 블러(blur) 커널과 이미지를 추정하기 위해 조인트 최소화 문제를 해결함으로써 블라인드 디컨볼루션 방법을 제안하였다. 종래 다른 일 실시예의 기술은 TV(total variance) 정규화를 이용한 블라인드 디컨볼루션의 개선된 버전을 제안하였다.In a fluorescence microscope, the diffraction of light from a given optic degrades the resolution of the image. Many optimization-based deconvolution algorithms have been developed to improve resolution. A conventional technique of an embodiment proposes a blind deconvolution method by solving a joint minimization problem in order to estimate an unknown blur kernel and image when a point spread function (PSF) measurement cannot be used. Another embodiment of the related art has proposed an improved version of blind deconvolution using total variance (TV) normalization.

최근에는 하드웨어 변경 없이 광학 현미경의 적합성을 높이기 위해 컨볼루션 뉴럴 네트워크(CNN)이 광범위하게 사용되고 있다. 종래 일 실시예의 기술은 광학 현미경을 개선하기 위해 딥 뉴럴 네트워크를 사용하였으며, 넓은 시야와 깊이에서 공간 분해능을 향상시켰다. 종래 다른 일 실시예의 기술은 국소 현미경(localization microscopy)에서 초해상도 영상을 얻기 위해 시뮬레이션 데이터나 실험 측정에 대해 트레이닝할 수 있는 딥 컨볼루션 뉴럴 네트워크를 사용하였다. 종래 또 다른 일 실시예의 기술은 비등방성 데이터에서 동위원소 분해능을 복구할 수 있는 CNN 방법을 제안하였다. 게다가, 생성적 적대 네트워크(GAN; generative adversarial network)는 딥 뉴럴 네트워크를 트레이닝시키기 위하여 라벨이 없는 데이터를 사용하여 방법을 제공함으로써, 역문제(inverse problem)에 많은 관심을 끌었다. 종래 또 다른 일 실시예의 기술은 조건부 GAN와 콘텐츠 손실을 사용한 모션 블러링(motion blurring)을 위한 DeblurGAN을 제시하였다. 그러나 이 GAN 접근방식은 모드 붕괴로 인한 인위적인 특징을 발생시키는 경우가 많으므로 일대일 대응성을 부과하는 사이클 지속 적대적 네트워크(Cycle-GAN) 또한 영상 재구성에 영향을 미친다. Recently, convolutional neural networks (CNNs) have been widely used to increase the suitability of optical microscopes without changing hardware. The conventional technique of an embodiment uses a deep neural network to improve an optical microscope, and improves spatial resolution in a wide field of view and depth. The technique of another embodiment of the related art used a deep convolutional neural network capable of training on simulation data or experimental measurements in order to obtain super-resolution images in a localization microscopy. Another embodiment of the related art has proposed a CNN method capable of recovering isotope resolution from anisotropic data. In addition, generative adversarial networks (GANs) have attracted a lot of attention to the inverse problem by providing a method using unlabeled data to train deep neural networks. In another embodiment of the related art, a conditional GAN and DeblurGAN for motion blurring using content loss have been proposed. However, since this GAN approach often generates artificial features due to mode collapse, a cycle-sustaining hostile network (Cycle-GAN) that imposes a one-to-one response also affects image reconstruction.

그러나 이러한 Cycle-GAN 접근방식은 대개 용량이 큰 2개의 생성기(generator)가 필요하며, 이는 종종 적은 수의 트레이닝 데이터로는 트레이닝하기가 어렵다.However, this Cycle-GAN approach usually requires two large-capacity generators, which are often difficult to train with a small number of training data.

본 발명의 실시예들은, 점 확산 함수에 의해 처리된 현미경 영상을 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 디컨볼루션 처리함으로써, 현미경 영상에 대응하는 고해상도의 디블러링 영상으로 복원할 수 있는 방법 및 그 장치를 제공한다. Embodiments of the present invention deconvolution processing a microscope image processed by a point spread function using an unsupervised learning-based neural network learned using unmatched data, thereby providing a high-resolution deblurrer corresponding to the microscope image. A method and apparatus for reconstructing a ring image are provided.

본 발명의 일 실시예에 따른 영상 처리 방법은 현미경 영상을 수신하는 단계; 및 비매칭 데이터를 이용하여 학습된 비지도 학습(unsupervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 단계를 포함한다.An image processing method according to an embodiment of the present invention includes receiving a microscope image; And deconvolution processing the microscope image using a neural network based on unsupervised learning learned using unmatched data, thereby deblurring the microscope image corresponding to the microscope image ( deblurring) image restoration.

상기 뉴럴 네트워크는 현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.The neural network may be learned based on a predefined cyclic loss and an adversarial loss for a high-resolution image corresponding to a microscope image and a deblurring image.

상기 뉴럴 네트워크는 제1 현미경 영상을 입력으로 상기 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크; 상기 제1 디블러링 영상을 입력으로 상기 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크; 디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 상기 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크; 상기 제3 현미경 영상을 입력으로 상기 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크; 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하는 제1 판별기; 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하는 제2 판별기를 포함할 수 있다.The neural network may include: a first neural network configured to output a first deblurred image corresponding to the first microscope image as an input of a first microscope image; A second neural network for outputting a second microscope image corresponding to the first deblurred image by receiving the first deblurred image; A third neural network configured to output a third microscope image corresponding to the first high-resolution image by receiving a first high-resolution image corresponding to the deblurring image; A fourth neural network for outputting a second high-resolution image corresponding to the third microscope image as an input of the third microscope image; A first discriminator for distinguishing the first microscope image from the third microscope image; And a second discriminator for distinguishing the first high-resolution image from the first deblurring image.

나아가, 본 발명의 일 실시예에 따른 영상 처리 방법은 상기 제1 현미경 영상과 상기 제2 현미경 영상 간의 사이클 손실(cyclic loss), 상기 제1 고해상도 영상과 상기 제2 고해상도 영상 간의 사이클 손실, 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하기 위한 상기 제1 판별기의 적대 손실(adversarial loss) 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하기 위한 상기 제2 판별기의 적대 손실에 기초하여 상기 제1 뉴럴 네트워크 내지 상기 제4 뉴럴 네트워크, 상기 제1 판별기 및 상기 제2 판별기를 학습하는 단계를 더 포함하고, 상기 복원하는 단계는 상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링 영상으로 복원할 수 있다.Further, the image processing method according to an embodiment of the present invention includes a cyclic loss between the first microscope image and the second microscope image, a cycle loss between the first high-resolution image and the second high-resolution image, and the second 1 Adversarial loss of the first discriminator for discriminating between the microscopic image and the third microscopic image and hostility of the second discriminator for discriminating the first high-resolution image and the first deblurring image Further comprising learning the first neural network to the fourth neural network, the first discriminator, and the second discriminator based on the loss, and the restoring step is performed by using the learned first neural network. The microscope image may be restored to a deblurring image corresponding to the microscope image.

상기 제2 뉴럴 네트워크와 상기 제4 뉴럴 네트워크는 점 확산 함수(point spread function)를 모델링하기 위하여 단일 컨볼루션 레이어를 포함할 수 있다.The second neural network and the fourth neural network may include a single convolutional layer to model a point spread function.

상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.The neural network may include any one of a neural network based on a convolution framelet and a neural network including a pooling layer and an unpooling layer.

본 발명의 다른 일 실시예에 따른 영상 처리 방법은 현미경 영상을 수신하는 단계; 및 비지도 학습(unsupervised learning) 기반의 디컨볼루션(deconvolution) 처리하는 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 단계를 포함한다.An image processing method according to another embodiment of the present invention includes the steps of receiving a microscope image; And restoring the microscope image into a deblurring image corresponding to the microscope image by using a neural network that performs deconvolution based on unsupervised learning.

본 발명의 일 실시예에 따른 영상 처리 방법은 현미경 영상을 수신하는 수신부; 및 비매칭 데이터를 이용하여 학습된 비지도 학습(unsupervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 복원부를 포함한다.An image processing method according to an embodiment of the present invention includes: a receiving unit for receiving a microscope image; And deconvolution processing the microscope image using a neural network based on unsupervised learning learned using unmatched data, thereby deblurring the microscope image corresponding to the microscope image ( deblurring) includes a reconstruction unit for restoring an image.

상기 뉴럴 네트워크는 현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.The neural network may be learned based on a predefined cyclic loss and an adversarial loss for a high-resolution image corresponding to a microscope image and a deblurring image.

상기 뉴럴 네트워크는 제1 현미경 영상을 입력으로 상기 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크; 상기 제1 디블러링 영상을 입력으로 상기 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크; 디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 상기 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크; 상기 제3 현미경 영상을 입력으로 상기 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크; 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하는 제1 판별기; 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하는 제2 판별기를 포함할 수 있다.The neural network may include: a first neural network configured to output a first deblurred image corresponding to the first microscope image as an input of a first microscope image; A second neural network for outputting a second microscope image corresponding to the first deblurred image by receiving the first deblurred image; A third neural network configured to output a third microscope image corresponding to the first high-resolution image by receiving a first high-resolution image corresponding to the deblurring image; A fourth neural network for outputting a second high-resolution image corresponding to the third microscope image as an input of the third microscope image; A first discriminator for distinguishing the first microscope image from the third microscope image; And a second discriminator for distinguishing the first high-resolution image from the first deblurring image.

상기 영상 처리 장치는 상기 제1 현미경 영상과 상기 제2 현미경 영상 간의 사이클 손실(cyclic loss), 상기 제1 고해상도 영상과 상기 제2 고해상도 영상 간의 사이클 손실, 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하기 위한 상기 제1 판별기의 적대 손실(adversarial loss) 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하기 위한 상기 제2 판별기의 적대 손실에 기초하여 상기 제1 뉴럴 네트워크 내지 상기 제4 뉴럴 네트워크, 상기 제1 판별기 및 상기 제2 판별기를 학습하고, 상기 복원부는 상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링 영상으로 복원할 수 있다.The image processing apparatus includes a cyclic loss between the first microscope image and the second microscope image, a cycle loss between the first high-resolution image and the second high-resolution image, the first microscope image and the third microscope image The first neural network based on an adversarial loss of the first discriminator for discriminating between and an adversarial loss of the second discriminator for discriminating between the first high-resolution image and the first deblurring image. To the fourth neural network, the first discriminator, and the second discriminator, and the restoration unit restores the microscope image to a deblurring image corresponding to the microscope image using the learned first neural network can do.

상기 제2 뉴럴 네트워크와 상기 제4 뉴럴 네트워크는 점 확산 함수(point spread function)를 모델링하기 위하여 단일 컨볼루션 레이어를 포함할 수 있다.The second neural network and the fourth neural network may include a single convolutional layer to model a point spread function.

상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.The neural network may include any one of a neural network based on a convolution framelet and a neural network including a pooling layer and an unpooling layer.

본 발명의 실시예들에 따르면, 점 확산 함수에 의해 처리된 현미경 영상을 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 디컨볼루션 처리함으로써, 현미경 영상에 대응하는 고해상도의 디블러링 영상으로 복원할 수 있다.According to embodiments of the present invention, by deconvolution processing a microscope image processed by a point spread function using an unsupervised learning-based neural network learned using unmatched data, a high resolution corresponding to the microscope image It can be restored as a deblurred image.

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명의 방법에 따른 전체적인 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 3은 도 2에 도시된 생성기 GAB의 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 4는 3D 판별기의 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 5는 도 2에 도시된 다중 판별기의 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 방법과 기존 방법들을 비교한 다른 일 예시도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것이다.1 is a flowchart illustrating an operation of an image processing method according to an embodiment of the present invention.
2 shows an exemplary diagram of the overall network structure according to the method of the present invention.
FIG. 3 shows an exemplary diagram of the network structure of the generator G AB shown in FIG. 2.
4 shows an exemplary diagram of a network structure of a 3D discriminator.
5 shows an exemplary diagram of a network structure of the multiple discriminator shown in FIG. 2.
6 shows an exemplary diagram comparing the method of the present invention and the existing method.
7 shows another exemplary diagram comparing the method of the present invention and the existing method.
8 shows a configuration of an image processing apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terms used in this specification are for describing exemplary embodiments, and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements, and/or elements, steps, actions and/or elements mentioned. Or does not exclude additions.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.

디컨볼루션 현미경은 넓은 영역의 형광 현미경 해상도를 향상시키기 위해 광범위하게 사용되어 왔다. 일반적으로 점 확산 함수(PSF) 측정이나 블라인드 추정이 필요한 기존의 접근방식은 계산적으로 비싸다. 최근 CNN에 기반을 둔 접근방식이 빠르고 높은 성능의 대안으로 모색되고 있다.The deconvolution microscope has been used extensively to improve the resolution of a large-area fluorescence microscope. Conventional approaches that typically require point spread function (PSF) measurements or blind estimation are computationally expensive. Recently, the CNN-based approach is being sought as a fast and high-performance alternative.

본 발명의 실시예들은, 점 확산 함수(PSF)에 의해 처리된 현미경 영상을 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 디컨볼루션 처리함으로써, 현미경 영상에 대응하는 고해상도의 디블러링 영상으로 복원하는 것을 그 요지로 한다.Embodiments of the present invention, by deconvolution processing a microscope image processed by a point spread function (PSF) using an unsupervised learning-based neural network learned using unmatched data, high resolution corresponding to the microscope image The gist is to restore the deblurred image of.

여기서, 본 발명은 선명한 고해상도 영상을 이용하여 현미경 영상을 학습함으로써, 현미경 영상을 디컨볼루션 처리하고 이를 통해 현미경 영상에 포함된 블러(blur)를 디블러링하여 고해상도 영상인 디블러링 영상으로 복원할 수 있다.Here, in the present invention, by learning a microscope image using a clear high-resolution image, the microscope image is deconvoluted, and the blur included in the microscope image is deblurred to restore a high-resolution image, which is a deblurred image. can do.

본 발명은 A, B가 두 개의 서로 다른 도메인(현미경 영상 및 선명한 고해상도 영상)에 해당하는 두 네트워크

Figure pat00001
와
Figure pat00002
를 트레이닝한다. 여기서, GAB는 A를 입력으로 B를 출력하는 네트워크를 의미하고, GBA는 B를 입력으로 A를 출력하는 네트워크를 의미할 수 있다. 그런 다음, 트레이닝 목표는 GAB와 GBA가 서로 역방향이라는 것, 즉
Figure pat00003
와
Figure pat00004
이다. 역방향 경로가 존재하기 때문에 생성적 적대 네트워크(GAN)에서 맵핑의 퇴화(degeneracy) 문제를 피할 수 있다. In the present invention, A and B correspond to two different domains (microscopic image and clear high-resolution image).
Figure pat00001
Wow
Figure pat00002
To train. Here, G AB may mean a network that outputs B as an input, and G BA may mean a network that outputs A as an input. Then, the training goal is that G AB and G BA are opposite each other, i.e.
Figure pat00003
Wow
Figure pat00004
to be. Since there is a reverse path, it is possible to avoid the problem of mapping degeneracy in a generative hostile network (GAN).

여기서, 본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있다.Here, the neural network used in the present invention includes a neural network based on a convolution framelet, a neural network including a pooling layer and an unpooling layer, for example, U-Net. I can.

컨볼루션 프레임렛은 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 의미하는 것으로, 딥 컨볼루션 뉴럴 네트워크의 블랙박스 특성을 밝히기 위해 딥 컨볼루션 프레임렛의 새로운 수학 이론에 대한 연구(Ye, JC., Han, Y., Cha, E.: Deep convolutional framelets: a general deep learning framework for inverse problems. SIAM Journal on Imaging Sciences 11(2), 991-1048(2018))에 상세하게 설명되어 있다.Convolutional framelet refers to a method of expressing an input signal through a local basis and a non-local basis, and a study on a new mathematical theory of the deep convolutional framelet to reveal the black box characteristics of a deep convolutional neural network (Ye , JC., Han, Y., Cha, E.: Deep convolutional framelets: a general deep learning framework for inverse problems.SIAM Journal on Imaging Sciences 11(2), 991-1048(2018)). .

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.1 is a flowchart illustrating an operation of an image processing method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 방법은 현미경 영상을 수신하는 단계(S110)와 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 현미경 영상을 현미경 영상에 대응하는 디블러링 영상으로 복원하는 단계(S120)를 포함한다.Referring to FIG. 1, the method according to an embodiment of the present invention is a method of receiving a microscope image (S110) and deconvolution of a microscope image using an unsupervised learning-based neural network learned using unmatched data. By performing (deconvolution) processing, the microscopic image is restored to a deblurred image corresponding to the microscopic image (S120).

여기서, 단계 S110에서 수신되는 현미경 영상은 점 확산 함수(PSF) 처리된 영상을 의미할 수 있다.Here, the microscope image received in step S110 may mean an image processed with a point spread function (PSF).

여기서, 단계 S120에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛 기반의 뉴럴 네트워크와 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있으며, 이 뿐만 아니라 본 발명의 방법을 수행할 수 있는 모든 종류의 뉴럴 네트워크를 포함할 수 있다. 또한, 단계 S120에서 사용하는 뉴럴 네트워크는 현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.Here, the neural network used in step S120 may include a neural network based on a convolutional framelet and a neural network including a pooling layer and an unpooling layer, for example, U-Net, as well as the method of the present invention. It may include all types of neural networks capable of performing. Also, the neural network used in step S120 may be learned based on predefined cyclic loss and adversarial loss for high-resolution images corresponding to the microscope image and the deblurring image.

나아가, 본 발명에 따른 방법에서 사용하는 뉴럴 네트워크는 제1 현미경 영상을 입력으로 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크, 제1 디블러링 영상을 입력으로 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크, 디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크, 제3 현미경 영상을 입력으로 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크, 제1 현미경 영상과 제3 현미경 영상을 구별하는 제1 판별기 및 제1 고해상도 영상과 제1 디블러링 영상을 구별하는 제2 판별기를 포함할 수 있다.Furthermore, the neural network used in the method according to the present invention is a first neural network for outputting a first deblurred image corresponding to the first microscope image as an input, and a first deblurring image as an input. A second neural network that outputs a second microscope image corresponding to the first deblurred image, and a second neural network that outputs a third microscope image corresponding to the first high-resolution image by inputting a first high-resolution image corresponding to the deblurred image. 3 neural network, a fourth neural network that outputs a second high-resolution image corresponding to a third microscope image by inputting a third microscope image, a first discriminator for distinguishing the first microscope image from the third microscope image, and a first high resolution It may include a second discriminator that distinguishes between the image and the first deblurred image.

더 나아가, 본 발명에 따른 방법은 제1 현미경 영상과 제2 현미경 영상 간의 사이클 손실(cyclic loss), 제1 고해상도 영상과 제2 고해상도 영상 간의 사이클 손실, 제1 현미경 영상과 제3 현미경 영상을 구별하기 위한 제1 판별기의 적대 손실(adversarial loss) 및 제1 고해상도 영상과 제1 디블러링 영상을 구별하기 위한 제2 판별기의 적대 손실에 기초하여 제1 뉴럴 네트워크 내지 제4 뉴럴 네트워크, 제1 판별기 및 제2 판별기를 학습할 수 있으며, 상기 단계 S120은 학습된 제1 뉴럴 네트워크를 이용하여 현미경 영상을 현미경 영상에 대응하는 디블러링 영상으로 복원할 수 있다.Further, the method according to the present invention is characterized by a cyclic loss between the first microscope image and the second microscope image, a cycle loss between the first high-resolution image and the second high-resolution image, and distinguish between the first and third microscope images. The first to fourth neural networks, based on the adversarial loss of the first discriminator and the adversarial loss of the second discriminator for discriminating the first high-resolution image from the first deblurred image. The first discriminator and the second discriminator may be learned, and in step S120, the microscope image may be restored to a deblurring image corresponding to the microscope image by using the learned first neural network.

이러한 본 발명에 따른 방법에 대해 아래에서 상세히 설명한다.The method according to the present invention will be described in detail below.

도 2는 본 발명의 방법에 따른 전체적인 네트워크 구조에 대한 일 예시도를 나타낸 것이다.2 shows an exemplary diagram of the overall network structure according to the method of the present invention.

도 2에 도시된 A는 블러 영상 도메인 즉, 현미경 영상을 의미하고, B는 블러가 제거된 디블러링 영상 도메인을 의미하며, 생성기 GAB는 A의 블러 영상을 입력으로 B의 디블러링 영상을 출력하는 네트워크를 의미하고, 생성기 GBA는 디블러링 영상을 입력으로 A의 블러 영상을 출력하는 네트워크를 의미한다. 여기서, 생성기 GAB는 A에서 B로의 매핑을 의미하고, GBA는 B에서 A로의 매핑을 의미할 수 있다. 블라인드 디컨볼루션을 위한 기존의 cycle-GAN 아키텍처와는 대조적으로, 본 발명은 실제 PSF 값들이 트레이닝 데이터로부터 추정되는 맵 GBA에 대해 PSF 레이어를 사용할 수 있다.A shown in FIG. 2 refers to a blur image domain, that is, a microscope image, B refers to a deblurred image domain from which blur is removed, and a generator G AB is a deblurred image of B by inputting the blurred image of A. It means a network that outputs A, and the generator G BA means a network that outputs the blurred image of A as an input of the deblurred image. Here, the generator G AB may mean mapping from A to B, and G BA may mean mapping from B to A. In contrast to the existing cycle-GAN architecture for blind deconvolution, the present invention can use the PSF layer for the map G BA where actual PSF values are estimated from training data.

생성기(GAB, GBA)는 각각 현미경 영상을 디블러링 영상처럼 복원하는 뉴럴 네트워크와 디블러링 영상과 같은 고해상도의 영상을 현미경 영상처럼 점 확산 함수로 처리하는 뉴럴 네트워크이다.Generators (G AB , G BA ) are neural networks that restore microscope images like deblurring images and neural networks that process high-resolution images such as deblurred images with a point spread function like microscope images.

생성기에 관하여, 현미경 영상을 디컨볼루션하기 위해 최적화된 네트워크를 사용할 수 있으며, 입력 영상과 생성기로부터의 합성 영상을 구별하는 2개의 적대 판별기(discriminator) multi-DA, multi-DB를 포함한다.Regarding the generator, an optimized network can be used to deconvolve the microscope image, and it includes two discriminators, multi-D A and multi-D B , that distinguish the input image from the composite image from the generator. do.

즉, 도 2에 도시된 프레임워크는 제1 생성기(GAB), 제2 생성기(GBA), 제1 판별기(multi-DA) 및 제2 판별기(multi-DB)를 포함하며, 정확히 매칭되는 영상이 없으므로 두 개의 네트워크(GAB, GBA)를 동시에 학습시켜 두 도메인 분포(distribution)을 매칭하는 것이다. 여기서, 도 2에 도시된 뉴럴 네트워크는 현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.That is, the framework shown in FIG. 2 includes a first generator (G AB ), a second generator (G BA ), a first discriminator (multi-D A ) and a second discriminator (multi-D B ), , Since there is no image that matches exactly, two networks (G AB , G BA ) are trained at the same time to match two domain distributions. Here, the neural network shown in FIG. 2 may be learned based on predefined cyclic loss and adversarial loss for high-resolution images corresponding to the microscope image and the deblurring image.

제1 생성기(GAB)는 촬영된 현미경 영상(XA)를 입력으로 하여 현미경 영상(XA)에서 블러를 디컨볼루션한 고해상도 영상인 디블러링 영상(XAB)을 출력하며, 제2 생성기(GBA)에 의해 출력된 점 확산 함수로 처리된 현미경 영상(XBA)에서 블러를 디컨볼루션한 고해상도 영상인 디블러링 영상(XBAB)을 출력한다.The first generator (G AB ) inputs the photographed microscope image (X A ) and outputs a deblurring image (X AB ), which is a high-resolution image obtained by deconvolving the blur from the microscope image (X A ), and the second A deblurring image (X BAB ), which is a high-resolution image obtained by deconvolving blur from the microscope image (X BA ) processed with the point spread function output by the generator (G BA ), is output.

제2 생성기(GBA)는 촬영된 고해상도 영상 즉, 디블러링 영상에 대응하는 고해상도 영상(XB)를 입력으로 하여 고해상도 영상(XB)를 점 확산 함수로 처리함으로써, 고해상도 영상(XB)에 대응하는 현미경 영상(XBA)을 출력하며, 제1 생성기(GAB)에 의해 출력된 고해상도 영상인 디블러링 영상(XAB)을 입력으로 하여 디블러링 영상(XAB)을 점 확산 함수로 처리함으로써, 디블러링 영상(XAB)에 대응하는 현미경 영상(XABA)을 출력한다. 즉, 제2 생성기(GBA)는 점 확산 함수 컨볼루션 기능을 가지는 뉴럴 네트워크일 수 있다.A second generator (G BA) is by treatment by a high-resolution image (X B) corresponding to the recorded high resolution image that is, de-blurring image as an input a high-resolution image (X B) to the point spread function, a high resolution image (X B ) Outputs the microscope image (X BA ) corresponding to ), and points the deblurring image (X AB ) by inputting the deblurring image (X AB ), which is a high-resolution image output by the first generator (G AB ). By processing with a diffusion function, a microscope image (X ABA ) corresponding to the deblurring image (X AB ) is output. That is, the second generator G BA may be a neural network having a point spread function convolution function.

제1 판별기(multi-DA)는 촬영된 현미경 영상(XA)과 고해상도 영상(XB)에 대응하는 현미경 영상(XBA)을 구별하는 뉴럴 네트워크이며, 제2 판별기(multi-DB)는 고해상도 영상인 디블러링 영상(XAB)과 디블러링 영상에 대응하는 고해상도 영상(XB)을 구별하는 뉴럴 네트워크이다.The first discriminator (multi-D A ) is a neural network that distinguishes between the photographed microscope image (X A ) and the microscope image (X BA ) corresponding to the high-resolution image (X B ), and the second discriminator (multi-D B ) is a neural network that distinguishes between a deblurring image (X AB ) that is a high-resolution image and a high-resolution image (X B ) corresponding to the deblurring image.

여기서, 제1 판별기(multi-DA)와 제2 판별기(multi-DB)는 3개의 다른 스케일들을 가진 패치들을 입력 받는 3개의 독립적인 판별기들을 포함할 수 있다.Here, the first discriminator (multi-D A ) and the second discriminator (multi-D B ) may include three independent discriminators that receive patches having three different scales.

즉, 본 발명에서 사이클 지속성은 손상된 현미경 영상 XA로부터 시작하여 디컨볼루션 기능을 가진 GAB네트워크로 입력되고 디컨볼루션 처리된 XAB 결과를 다시 PSF 컨볼루션 기능을 가진 GBA로 입력하여 XABA로 돌아온다. XA와 XABA가 서로 같아지도록 컨볼루션 뉴럴 네트워크를 순환 방식으로 학습시킨다. 비지도 학습 방식은 최소 제곱 생성적 적대 신경망(LS-GAN)을 사용하여 multi-DA, multi-DB들을 학습 시키며, LS-GAN은 서로 매칭 되지 않는 타겟 도메인 데이터들과 입력 도메인 데이터들의 확률분포를 맞추어준다That is, in the present invention, the cycle persistence starts from the damaged microscope image X A and is input to the G AB network with the deconvolution function, and the deconvoluted X AB result is again input to the G BA with the PSF convolution function. Return to ABA . The convolutional neural network is trained in a circular fashion so that X A and X ABA are equal to each other. The unsupervised learning method trains multi-DA and multi-DBs using a least squares generative adversarial neural network (LS-GAN), and LS-GAN calculates the probability distribution of target domain data and input domain data that do not match each other. Match

PSF 레이어의 사용은 PSF의 일반성을 줄일 수 있는 위험이 있을 수 있지만, 본 발명은 미리 결정된 광학 장치를 사용하는 일반적인 현미경 셋업에서 PSF가 일반적으로 고정되어 있어서 샘플에 의존하는 PSF 적응이 별로 필요하지 않다. 대신, 명시적(explicit) PSF 레이어를 사용하면 알고리즘의 안정성이 크게 향상될 수 있다.The use of the PSF layer may have the risk of reducing the generality of the PSF, but the present invention does not require much sample dependent PSF adaptation as the PSF is generally fixed in a typical microscope setup using a predetermined optical device. . Instead, the use of an explicit PSF layer can greatly improve the stability of the algorithm.

또한, 판별기(discriminator) DA는 입력 영상 즉, 현미경 영상과 합성적으로 생성된 블러 영상을 구별(또는 판별)하도록 설계될 수 있으며, 마찬가지로 판별기 DB는 생성기에 의해 생성된 디블러링 영상과 선명한 영상 분포(sharp image distribution)을 구별하도록 설계될 수 있다. 여기서, 선명한 영상 분포를 위해, 본 발명은 비매칭된 고해상도 영상을 사용할 수 있는데, 이것들은 이것들은 초해상도 현미경이나 상업적으로 이용 가능한 디컨볼루션 소프트웨어에서 획득될 수 있다. 그리고, 본 발명은 아래 <수학식 1>과 같은 최적화 문제를 해결함으로써, 생성기들과 판별기들을 교대 방식으로 동시에 트레이닝시킬 수 있다.In addition, the discriminator D A can be designed to discriminate (or discriminate) the input image, that is, the microscopic image and the synthetically generated blur image, and similarly, the discriminator D B is the deblurring generated by the generator. It can be designed to distinguish between images and sharp image distributions. Here, for clear image distribution, the present invention can use unmatched high-resolution images, which can be obtained in super-resolution microscopes or commercially available deconvolution software. In addition, the present invention solves the optimization problem as shown in Equation 1 below, so that generators and discriminators can be simultaneously trained in an alternating manner.

[수학식 1][Equation 1]

Figure pat00005
Figure pat00005

손실 함수는 아래 <수학식 2>와 같이 정의될 수 있다.The loss function can be defined as in Equation 2 below.

[수학식 2][Equation 2]

Figure pat00006
Figure pat00006

여기서, λ1, λ2는 하이퍼파라미터들을 의미하고, LGAN, LCyclic은 적대 손실(adversarial loss)과 사이클 손실(cyclic loss)을 의미하며, ||GBA||1은 블러 커널의 정규화에 대한 L1-놈(norm)을 의미한다.Here, λ 1 and λ 2 refer to hyperparameters , L GAN and L Cyclic refer to adversarial loss and cyclic loss, and ||G BA || 1 stands for the L1-norm for normalization of the blur kernel.

적대 손실과 사이클 손실 각각에 대해 상세히 설명하면 다음과 같다.Each of the hostile losses and cycle losses will be described in detail as follows.

적대 손실(adversarial loss)Adversarial loss

본 발명은 로그 우도(log-likelihood) 함수를 최소 제곱근 GAN(LSGAN; least squares GAN)에서와 같이 최소 제곱 손실을 사용하여 수정된 GAN 손실을 사용할 수 있다. 구체적으로, GAN 트레이닝을 위한 최소 최대 최적화 문제는 아래 <수학식 3> 및 <수학식 4>와 같이 두 가지의 개별적인 최소화 문제로 구성될 수 있다.The present invention can use the modified GAN loss by using the log-likelihood function using the least squares loss as in the least squares GAN (LSGAN). Specifically, the minimum and maximum optimization problem for GAN training may consist of two separate minimization problems as shown in Equation 3 and Equation 4 below.

[수학식 3][Equation 3]

Figure pat00007
Figure pat00007

[수학식 4][Equation 4]

Figure pat00008
Figure pat00008

여기서, PA와 PB는 도메인 A와 B에 대한 분포를 의미할 수 있다.Here, P A and P B may mean distributions for domains A and B.

본 발명은 적대 손실을 최적화함으로써, 생성된 선명한 영상 볼륨이 가능한 한 현실적이 되도록 생성기들을 레귤레이트할 수 있으며, 동시에 판별기들은 생성된 디컨볼루션 영상 볼륨과 실제 고해상도 영상을 구분하도록 최적화된다. 또한 동일한 적대 손실이 합성된 블러 데이터의 생성을 속이기 위하여 GBA에 부과될 수 있다.The present invention can regulate the generators so that the generated clear image volume becomes as realistic as possible by optimizing the hostile loss, and at the same time, the discriminators are optimized to distinguish between the generated deconvolutional image volume and the actual high-resolution image. Also, the same hostile losses can be imposed on the G BA to deceive the generation of synthesized blur data.

사이클 손실(cyclic loss)Cyclic loss

(A)와 (B) 사이의 매핑은 잘 트레이닝된 적대 네트워크에 의해 추정될 수 있지만, 많은 입력 영상을 고정된 출력 영상으로 가져오는 모드 실패 문제에 여전히 취약하다. 또한, 딥 뉴럴 네트워크의 용량이 크기 때문에 네트워크는 타겟 분포가 일치할 가능성이 있는 도메인 (B)의 출력 임의 순열로 (A)를 매핑할 수 있다. 즉, 적대 손실만으로는 두 도메인의 반전을 보장할 수 없다. 이러한 문제를 해결하기 위해 사이클 일관성 손실을 이용할 수 잇다. 본 발명의 경우 사이클 일관성 손실은 블러 영상 볼륨과 디컨볼루션 볼륨 사이의 일대일 대응성을 지원한다. 특정 사이클 일관성 손실은 아래 <수학식 5>와 같이 나타낼 수 있다.The mapping between (A) and (B) can be estimated by a well-trained hostile network, but it is still vulnerable to the problem of mode failure, which brings many input images as fixed output images. In addition, since the capacity of the deep neural network is large, the network can map (A) to an output random permutation of domain (B) in which the target distribution is likely to match. In other words, the reversal of the two domains cannot be guaranteed only by hostile losses. Cycle coherence loss can be used to solve this problem. In the case of the present invention, the cycle coherence loss supports a one-to-one correspondence between a blur image volume and a deconvolution volume. The specific cycle coherence loss can be expressed as in Equation 5 below.

[수학식 5][Equation 5]

Figure pat00009
Figure pat00009

사이클 GAN의 멀티 패치 GAN(patchGAN)Cycle GAN's multi-patch GAN (patchGAN)

본 발명은 판별기에 대해서 크기가 다른 입력 패치를 가지는 멀티 패치 GAN을 사용하여 오리지널 사이클 GAN에서 개선된 모델을 제공한다. 패치 GAN은 일반적으로 전체 영상에 대한 로컬 패치를 포함함으로써 고주파 구조에 초점을 맞춘다. 서로 다른 스케일을 가진 패치는 서로 다른 고주파 구조를 포함할 수 있기 때문에 본 발명은 다른 스케일로 패치를 취하는 다중 판별기를 사용할 수 있다. 구체적으로, 본 발명은 다중 판별기를

Figure pat00010
로 정의한다. 여기서, fi는 i번째 스케일 패치를 의미할 수 있다. 그런 다음 멀티스케일 패치들을 가지는 적대 손실은 아래 <수학식 6>과 같이 공식화될 수 있다.The present invention provides an improved model from the original cycle GAN using a multi-patch GAN having input patches of different sizes for the discriminator. Patch GANs typically focus on high-frequency structures by including local patches for the entire image. Since patches having different scales may include different high-frequency structures, the present invention can use multiple discriminators that take patches with different scales. Specifically, the present invention
Figure pat00010
Is defined as Here, f i may mean the i-th scale patch. Then, the hostile loss with multiscale patches can be formulated as shown in Equation 6 below.

[수학식 6][Equation 6]

Figure pat00011
Figure pat00011

여기서, N은 총 스케일 수를 의미할 수 있다.Here, N may mean the total number of scales.

LGAN(GAB, DB, A, B)도 이와 유사하게 정의될 수 있다.L GAN (G AB , D B , A, B) can be defined similarly.

네트워크 아키텍처Network architecture

생성기 GAB의 네트워크 아키텍처를 위하여, 본 발명은 도 3에 도시된 바와 같이 3D-Unet 구조를 사용할 수 있다. 생성기 GAB에 대한 U-net 구조는 수축하고 확장되는 경로로 구성될 수 있다. 수축 경로는 3D 컨볼루션 레이어-인스턴스 정규화 레이어-ReLU(rectified linear unit) 레이어 블록들의 반복으로 구성된다. 여기서, 3D 컨볼루션 레이어는 3D 선형 변환(linear transform) 연산을 수행하고, 인스턴스 정규화 레이어는 정규화 연산을 수행하며, ReLU 레이어는 비선형 함수(nonlinear function) 연산을 수행할 수 있다. 여기서, 컨볼루션 레이어는 3 Х 3 Х 3 컨볼루션 커널을 사용할 수 있으며, 첫 번째 레이어에서 특성 맵(feature map)의 채널은 64일 수 있다. 그리고, U-Net은 풀링 레이어와 언풀링 레이어를 포함하고, 인코더와 디코더 간의 스킵 연결(또는 바이패스 연결)을 포함할 수 있다. 여기서, 스킵 연결은 풀링 중에 손실된 고주파를 보상할 수 있다.For the network architecture of the generator G AB , the present invention can use a 3D-Unet structure as shown in FIG. 3. The U-net structure for the generator G AB can consist of paths that contract and expand. The contraction path is composed of repetitions of 3D convolutional layer-instance normalized layer-ReLU (rectified linear unit) layer blocks. Here, the 3D convolution layer may perform a 3D linear transform operation, the instance normalization layer may perform a normalization operation, and the ReLU layer may perform a nonlinear function operation. Here, a 3 Х 3 Х 3 convolution kernel may be used as the convolution layer, and a channel of the feature map may be 64 in the first layer. In addition, the U-Net may include a pooling layer and an unpooling layer, and may include a skip connection (or bypass connection) between the encoder and the decoder. Here, the skip connection can compensate for high frequencies lost during pooling.

판별기

Figure pat00012
의 네트워크 아키텍처는 도 4에 도시된 바와 같이, 3D 컨볼루션 레이어(Conv), 인스턴스 정규화 레이어(Instance Norm)와 ReLU 레이어로 구성된 4개의 모듈들로 구성될 수 있으며, 모든 컨볼루션 레이어는 스트라이드 2를 가지고 입력 볼륨을 다운 샘플링하고, 마지막 레이어에서의 출력 채널 수는 1이다. 멀티 판별기는 패치 GAN이며, 도 5에 도시된 바와 같이, 3 개의 다른 스케일로 패치를 처리하는 3개의 판별기들을 사용할 수 있다. 각 판별기는 다른 스케일들에서 패치들을 가져온다. 특히, Dfull은 오리지널 크기로 패치들을 가지고 오고, Dhalf은 오리지널 패치 크기의 절반 크기로 무작위로 자른 패치(crop 0.5x)를 가지고 오며, Dquarter은 오리지널 패치 크기의 1/4 크기로 무작위로 자른 패치(crop 0.25x)를 가지고 온다.Discriminator
Figure pat00012
The network architecture of FIG. 4 can be composed of 4 modules consisting of a 3D convolution layer (Conv), an instance normalization layer (Instance Norm), and a ReLU layer, and all convolution layers have stride 2 And down-samples the input volume, and the number of output channels in the last layer is 1. The multi discriminator is a patch GAN, and as shown in FIG. 5, three discriminators that process patches in three different scales can be used. Each discriminator fetches patches at different scales. In particular, D full brings patches in the original size, D half brings patches that are randomly cut to half the size of the original patch (crop 0.5x), and D quarter brings patches randomly to 1/4 the size of the original patch. Bring a cropped patch (crop 0.25x).

반면, 생성기 GBA는 3D 블러링 커널을 모델링하기 위하여 단일 3D 컨볼루션 레이어를 사용한다. 3D PSF 모델링 레이어의 크기는 트레이닝 셋에 따라 선택될 수 있다.On the other hand, generator G BA uses a single 3D convolution layer to model the 3D blurring kernel. The size of the 3D PSF modeling layer may be selected according to the training set.

방법Way

본 발명은 트레이닝을 위하여 512 Х 512 Х 30 크기를 가지는 튜블린(tubulin)의 EPF(epifluorescence) 샘플들을 사용할 수 있다. 비매칭 선명한 영상 볼륨에 대하여, 본 발명은 상용 소프트웨어 예를 들어, AutoQuant X3(Media Cybernetics, Rockville)를 이용하여 생성된 블러가 제거된 영상 즉, 디블러링 영상을 사용할 수 있다. 볼륨 깊이는 반사가 있는 패딩으로 64로 증가될 수 있다. 메모리의 제한으로 인하여, 볼륨은 64 Х 64 Х 64 패치로 분할될 수 있다. 데이터 증대를 위하여, 입력 패치에 회전, 플립, 변환 및 스케일이 부과될 수 있다. β1=0.9와 β2=0.999를 가진 아담 최적화기는 상기 수학식 1을 최적화하는데 사용될 수 있으며, 학습 레이트는 0.0001일 수 있다. 학습 레이트는 40 에포크(epoch) 이후 선형적으로 감소하며, 에포크의 총 수는 200일 수 있다. 모델 오실레이션을 줄이기 위하여, 판별기들은 이전에 생성된 50개의 볼륨들을 포함하는 프레임 버퍼로부터 생성된 볼륨들의 히스토리를 사용할 수 있다.The present invention may use EPF (epifluorescence) samples of tubulin having a size of 512 Х 512 Х 30 for training. For a non-matching clear image volume, the present invention can use a de-blurred image, that is, a deblurred image, generated using a commercial software, for example, AutoQuant X3 (Media Cybernetics, Rockville). The volume depth can be increased to 64 with reflective padding. Due to memory limitations, the volume can be divided into 64 x 64 x 64 patches. In order to increase the data, rotation, flip, transformation and scale may be imposed on the input patch. The Adam optimizer with β 1 =0.9 and β 2 =0.999 may be used to optimize Equation 1, and the learning rate may be 0.0001. The learning rate decreases linearly after 40 epochs, and the total number of epochs may be 200. To reduce model oscillation, the discriminators can use the history of volumes created from a frame buffer containing 50 volumes created previously.

본 발명은 패치를 표준화하여 [0,1]로 설정할 수 있으며, PSF 크기는 20으로 설정할 수 있다. 본 발명은 Tensorflow와 함께 Python에서 구현될 수 있으며, GeForce GTX 1080 Ti GPU는 네트워크 트레이닝과 테스트에 모두 사용될 수 있다. 본 발명에 따른 방법의 성능을 검증하기 위하여, AutoQuant X3, 지도 학습 및 다른 CNN 예를 들어, 비PSF 레이어의 멀티 PatchGAN과 GBA를 모두 갖춘 원래의 사이클 GAN을 사용하여 상용 디컨볼루션 방법과 비교한다. 정규 CNN을 사용하는 방법과는 대조적으로 본 발명의 모델은 GBA에서 단일 PSF 모델링 레이어만 사용함으로써 트레이닝 과정을 훨씬 쉽게 만들 수 있다. 지도 학습 네트워크를 위해, L1-손실이 덜 블러링하게 하므로, 본 발명은 AutoQuant X3의 일치된 라벨 데이터가 있는 3D U-Net을 트레이닝시킨다. 모든 재구성 결과는 적응형 히스토그램 평준화보다 더 나은 시각화를 위하여 후 처리될 수 있다.In the present invention, the patch can be standardized and set to [0,1], and the PSF size can be set to 20. The present invention can be implemented in Python with Tensorflow, and the GeForce GTX 1080 Ti GPU can be used for both network training and testing. In order to verify the performance of the process according to the invention, compared with AutoQuant X3, supervised learning and another CNN, for example, the non-PatchGAN the original commercial deconvolution method using the cycle GAN of a combination of G BA of PSF layer do. In contrast to the method using a regular CNN, the model of the present invention can make the training process much easier by using only a single PSF modeling layer in G BA . For the supervised learning network, the present invention trains a 3D U-Net with the matched label data of AutoQuant X3, as the L1-loss makes less blurring. All reconstruction results can be post-processed for better visualization than adaptive histogram equalization.

도 6은 본 발명의 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것으로, Transverse view 결과를 나타낸 것이다.6 shows an exemplary diagram comparing the method of the present invention with the existing method, and shows the result of a transverse view.

도 6에 도시된 바와 같이, AutoQuantX3(상용 디컨볼루션 소프트웨어), Supervised (지도 학습), Non-PSF layer (GBA에 일반 다른 컨볼루션 뉴럴 네트워크 사용) 방법들과 본 발명의 방법을 비교한 결과를 통해 알 수 있듯이, 본 발명의 방법이 다른 방법들보다 보다 더 선명하고 구조적으로 연결성이 뚜렷하게 결과를 복원하는 것을 알 수 있다.As shown in Figure 6, AutoQuantX3 (commercial deconvolution software), Supervised (supervised learning), Non-PSF layer (General different convolutional neural network used in the G BA) method and the result of comparing the process of the invention As can be seen through, it can be seen that the method of the present invention restores the results more clearly and structurally than other methods, and the connectivity is distinct.

도 7은 본 발명의 방법과 기존 방법들을 비교한 다른 일 예시도를 나타낸 것으로, 도 6에 도시된 샘플 3의 sagittal view에 대한 결과를 나타낸 것이다. 여기서, 도 7에 도시된 방법은 도 6에 도시된 방법과 그 순서가 동일하다.FIG. 7 shows another exemplary diagram comparing the method of the present invention with the conventional method, and shows the result of the sagittal view of Sample 3 shown in FIG. 6. Here, the method illustrated in FIG. 7 has the same order as the method illustrated in FIG. 6.

도 7에 도시된 바와 같이, 본 발명에 따른 방법은 sagittal view에서도 다른 기존 방법들보다 더 선명하고 구조적으로 연결성이 뚜렷하게 결과를 복원하는 것을 알 수 있다.As shown in FIG. 7, it can be seen that the method according to the present invention restores the result more clearly and structurally than other conventional methods even in a sagittal view, and the connection is distinct.

이와 같이, 본 발명의 실시예에 따른 방법은 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 현미경 영상을 디컨볼루션 처리함으로써, 현미경 영상을 현미경 영상에 대응하는 고해상도 영상인 디블러링 영상으로 복원할 수 있다.As described above, the method according to an embodiment of the present invention deconvolves a microscope image using an unsupervised learning-based neural network learned using unmatched data, so that the microscope image is a high-resolution image corresponding to the microscope image. It can be restored as a deblurred image.

저 선량 엑스선 전산단층 촬영 영상에서 노이즈를 제거하여 고화질의 영상으로 복원할 수 있다. Noise can be removed from a low-dose X-ray computed tomography image to restore a high-quality image.

또한, 본 발명의 실시예에 따른 방법은 컨볼루션 프레임렛(convolution framelet)에 따른 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있다.In addition, the method according to an embodiment of the present invention improves reconstruction performance by configuring a neural network using a local basis and a non-local basis according to a convolution framelet. And, it is possible to reduce the amount of computation required for restoration and to improve the restoration speed.

도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것으로, 상술한 도 1 내지 도 7을 수행하는 장치에 대한 구성을 나타낸 것이다.8 is a diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention, and illustrates a configuration of an apparatus performing the above-described FIGS. 1 to 7.

도 8을 참조하면, 본 발명의 실시예에 따른 영상 처리 장치(800)는 수신부(810) 및 복원부(820)를 포함한다.Referring to FIG. 8, an image processing apparatus 800 according to an embodiment of the present invention includes a receiving unit 810 and a reconstructing unit 820.

수신부(810)는 현미경 영상을 수신한다.The receiving unit 810 receives a microscope image.

복원부(820)는 비매칭 데이터를 이용하여 학습된 비지도 학습 기반의 뉴럴 네트워크를 이용하여 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 현미경 영상을 현미경 영상에 대응하는 디블러링 영상으로 복원한다.The reconstruction unit 820 deconvolutions the microscope image using an unsupervised learning-based neural network learned using unmatched data, thereby restoring the microscope image to a deblurring image corresponding to the microscope image. do.

여기서, 뉴럴 네트워크는 컨볼루션 프레임렛 기반의 뉴럴 네트워크와 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있다.Here, the neural network may include a neural network based on a convolutional framelet, and a neural network including a pooling layer and an unpooling layer, for example, U-Net.

나아가, 본 발명에 따른 장치에서 사용하는 뉴럴 네트워크는 제1 현미경 영상을 입력으로 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크, 제1 디블러링 영상을 입력으로 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크, 디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크, 제3 현미경 영상을 입력으로 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크, 제1 현미경 영상과 제3 현미경 영상을 구별하는 제1 판별기 및 제1 고해상도 영상과 제1 디블러링 영상을 구별하는 제2 판별기를 포함할 수 있다.Further, the neural network used in the apparatus according to the present invention is a first neural network that outputs a first deblurred image corresponding to the first microscope image as an input, and a first deblurred image as an input. A second neural network that outputs a second microscope image corresponding to the first deblurred image, and a second neural network that outputs a third microscope image corresponding to the first high-resolution image by inputting a first high-resolution image corresponding to the deblurred image. 3 neural network, a fourth neural network that outputs a second high-resolution image corresponding to a third microscope image by inputting a third microscope image, a first discriminator for distinguishing the first microscope image from the third microscope image, and a first high resolution It may include a second discriminator that distinguishes between the image and the first deblurred image.

더 나아가, 본 발명에 따른 장치에서 사용하는 뉴럴 네트워크는 현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있으며, 도 2에 도시된 네트워크 구조에서 학습될 수 있다.Furthermore, the neural network used in the apparatus according to the present invention is to be learned based on predefined cyclic loss and adversarial loss for high-resolution images corresponding to the microscope image and the deblurring image. And can be learned in the network structure shown in FIG. 2.

비록, 도 8의 장치에서 그 설명이 생략되었더라도, 도 8을 구성하는 각 구성 수단을 도 1 내지 도 7에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.Even though the description of the device of FIG. 8 is omitted, each component constituting FIG. 8 may include all the contents described in FIGS. 1 to 7, which is obvious to those skilled in the art.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It can be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

Claims (13)

현미경 영상을 수신하는 단계; 및
비매칭 데이터를 이용하여 학습된 비지도 학습(unsupervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 단계
를 포함하는 영상 처리 방법.
Receiving a microscope image; And
Deblurring the microscope image corresponding to the microscope image by deconvolution processing the microscope image using a neural network based on unsupervised learning learned using unmatched data. ) Steps to restore to an image
Image processing method comprising a.
 제1항에 있어서,
상기 뉴럴 네트워크는
현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습되는 것을 특징으로 하는 영상 처리 방법.
The method of claim 1,
The neural network is
An image processing method, characterized in that the high-resolution images corresponding to the microscope image and the deblurring image are learned based on predefined cyclic loss and adversarial loss.
 제1항에 있어서,
상기 뉴럴 네트워크는
제1 현미경 영상을 입력으로 상기 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크;
상기 제1 디블러링 영상을 입력으로 상기 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크;
디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 상기 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크;
상기 제3 현미경 영상을 입력으로 상기 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크;
상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하는 제1 판별기; 및
상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하는 제2 판별기
를 포함하는 것을 특징으로 하는 영상 처리 방법.
The method of claim 1,
The neural network is
A first neural network for outputting a first deblurred image corresponding to the first microscope image as an input of a first microscope image;
A second neural network for outputting a second microscope image corresponding to the first deblurred image by receiving the first deblurred image;
A third neural network for outputting a third microscope image corresponding to the first high-resolution image by receiving a first high-resolution image corresponding to the deblurring image;
A fourth neural network for outputting a second high-resolution image corresponding to the third microscope image as an input of the third microscope image;
A first discriminator for distinguishing between the first microscope image and the third microscope image; And
A second discriminator to distinguish between the first high-resolution image and the first deblurring image
Image processing method comprising a.
 제3항에 있어서,
상기 제1 현미경 영상과 상기 제2 현미경 영상 간의 사이클 손실(cyclic loss), 상기 제1 고해상도 영상과 상기 제2 고해상도 영상 간의 사이클 손실, 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하기 위한 상기 제1 판별기의 적대 손실(adversarial loss) 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하기 위한 상기 제2 판별기의 적대 손실에 기초하여 상기 제1 뉴럴 네트워크 내지 상기 제4 뉴럴 네트워크, 상기 제1 판별기 및 상기 제2 판별기를 학습하는 단계
를 더 포함하고,
상기 복원하는 단계는
상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링 영상으로 복원하는 것을 특징으로 하는 영상 처리 방법.
The method of claim 3,
Cyclic loss between the first microscope image and the second microscope image, a cycle loss between the first high-resolution image and the second high-resolution image, the first microscope image and the third microscope image The first neural network to the fourth neural network based on an adversarial loss of a first discriminator and an adversarial loss of the second discriminator for distinguishing the first high-resolution image from the first deblurring image. Learning a network, the first discriminator and the second discriminator
Including more,
The restoring step
And reconstructing the microscope image into a deblurring image corresponding to the microscope image by using the learned first neural network.
 제3항에 있어서,
상기 제2 뉴럴 네트워크와 상기 제4 뉴럴 네트워크는
점 확산 함수(point spread function)를 모델링하기 위하여 단일 컨볼루션 레이어를 포함하는 것을 특징으로 하는 영상 처리 방법.
The method of claim 3,
The second neural network and the fourth neural network
An image processing method comprising a single convolutional layer to model a point spread function.
 제1항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
The method of claim 1,
The neural network is
An image processing method comprising a neural network based on a convolution framelet and a neural network including a pooling layer and an unpooling layer.
 현미경 영상을 수신하는 단계; 및
비지도 학습(unsupervised learning) 기반의 디컨볼루션(deconvolution) 처리하는 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 단계
를 포함하는 영상 처리 방법.
Receiving a microscope image; And
Restoring the microscope image to a deblurring image corresponding to the microscope image using a neural network that processes deconvolution based on unsupervised learning
Image processing method comprising a.
 현미경 영상을 수신하는 수신부; 및
비매칭 데이터를 이용하여 학습된 비지도 학습(unsupervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 현미경 영상을 디컨볼루션(deconvolution) 처리함으로써, 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링(deblurring) 영상으로 복원하는 복원부
를 포함하는 영상 처리 장치.
A receiver for receiving a microscope image; And
Deblurring the microscope image corresponding to the microscope image by deconvolution processing the microscope image using a neural network based on unsupervised learning learned using unmatched data. ) Restoration unit to restore image
Image processing apparatus comprising a.
 제8항에 있어서,
상기 뉴럴 네트워크는
현미경 영상과 디블러링 영상에 대응하는 고해상도 영상에 대하여, 미리 정의된 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습되는 것을 특징으로 하는 영상 처리 장치.
The method of claim 8,
The neural network is
An image processing apparatus, characterized in that the high-resolution images corresponding to the microscope image and the deblurring image are learned based on predefined cyclic loss and adversarial loss.
 제8항에 있어서,
상기 뉴럴 네트워크는
제1 현미경 영상을 입력으로 상기 제1 현미경 영상에 대응하는 제1 디블러링 영상을 출력하는 제1 뉴럴 네트워크;
상기 제1 디블러링 영상을 입력으로 상기 제1 디블러링 영상에 대응하는 제2 현미경 영상을 출력하는 제2 뉴럴 네트워크;
디블러링 영상에 대응하는 제1 고해상도 영상을 입력으로 상기 제1 고해상도 영상에 대응하는 제3 현미경 영상을 출력하는 제3 뉴럴 네트워크;
상기 제3 현미경 영상을 입력으로 상기 제3 현미경 영상에 대응하는 제2 고해상도 영상을 출력하는 제4 뉴럴 네트워크;
상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하는 제1 판별기; 및
상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하는 제2 판별기
를 포함하는 것을 특징으로 하는 영상 처리 장치.
The method of claim 8,
The neural network is
A first neural network for outputting a first deblurred image corresponding to the first microscope image as an input of a first microscope image;
A second neural network for outputting a second microscope image corresponding to the first deblurred image by receiving the first deblurred image;
A third neural network configured to output a third microscope image corresponding to the first high-resolution image by receiving a first high-resolution image corresponding to the deblurring image;
A fourth neural network for outputting a second high-resolution image corresponding to the third microscope image as an input of the third microscope image;
A first discriminator for distinguishing between the first microscope image and the third microscope image; And
A second discriminator to distinguish between the first high-resolution image and the first deblurring image
Image processing apparatus comprising a.
 제10항에 있어서,
상기 영상 처리 장치는
상기 제1 현미경 영상과 상기 제2 현미경 영상 간의 사이클 손실(cyclic loss), 상기 제1 고해상도 영상과 상기 제2 고해상도 영상 간의 사이클 손실, 상기 제1 현미경 영상과 상기 제3 현미경 영상을 구별하기 위한 상기 제1 판별기의 적대 손실(adversarial loss) 및 상기 제1 고해상도 영상과 상기 제1 디블러링 영상을 구별하기 위한 상기 제2 판별기의 적대 손실에 기초하여 상기 제1 뉴럴 네트워크 내지 상기 제4 뉴럴 네트워크, 상기 제1 판별기 및 상기 제2 판별기를 학습하고,
상기 복원부는
상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 현미경 영상을 상기 현미경 영상에 대응하는 디블러링 영상으로 복원하는 것을 특징으로 하는 영상 처리 장치.
The method of claim 10,
The image processing device
Cyclic loss between the first microscope image and the second microscope image, a cycle loss between the first high-resolution image and the second high-resolution image, the first microscope image and the third microscope image The first neural network to the fourth neural network based on an adversarial loss of a first discriminator and an adversarial loss of the second discriminator for distinguishing the first high-resolution image from the first deblurring image. Learning a network, the first discriminator and the second discriminator,
The restoration unit
And reconstructing the microscope image into a deblurring image corresponding to the microscope image by using the learned first neural network.
 제10항에 있어서,
상기 제2 뉴럴 네트워크와 상기 제4 뉴럴 네트워크는
점 확산 함수(point spread function)를 모델링하기 위하여 단일 컨볼루션 레이어를 포함하는 것을 특징으로 하는 영상 처리 장치.
The method of claim 10,
The second neural network and the fourth neural network
An image processing apparatus comprising a single convolutional layer to model a point spread function.
 제8항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.The method of claim 8,
The neural network is
An image processing apparatus comprising a neural network based on a convolution framelet and a neural network including a pooling layer and an unpooling layer.
KR1020190133480A 2019-04-30 2019-10-25 Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore KR102319643B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190050393 2019-04-30
KR20190050393 2019-04-30

Publications (2)

Publication Number Publication Date
KR20200126881A true KR20200126881A (en) 2020-11-09
KR102319643B1 KR102319643B1 (en) 2021-11-01

Family

ID=73429702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190133480A KR102319643B1 (en) 2019-04-30 2019-10-25 Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore

Country Status (1)

Country Link
KR (1) KR102319643B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273377B1 (en) * 2020-12-14 2021-07-06 국방기술품질원 Method for synthesizing image
CN114255387A (en) * 2021-12-28 2022-03-29 山东捷讯通信技术有限公司 Image identification method of all-optical nonlinear convolutional neural network
KR20220129956A (en) * 2021-03-17 2022-09-26 전남대학교산학협력단 Method and apparatus for generating progression disease image using conditional cycle generative adversarial networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053612A (en) * 2014-11-05 2016-05-13 삼성전자주식회사 Device and method to generate image using image learning model
KR20180065950A (en) * 2016-12-07 2018-06-18 아이데미아 아이덴티티 앤드 시큐리티 프랑스 System for processing images
KR20190024636A (en) * 2017-08-30 2019-03-08 한국과학기술원 Method and apparatus for reconstructing image based on neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053612A (en) * 2014-11-05 2016-05-13 삼성전자주식회사 Device and method to generate image using image learning model
KR20180065950A (en) * 2016-12-07 2018-06-18 아이데미아 아이덴티티 앤드 시큐리티 프랑스 System for processing images
KR20190024636A (en) * 2017-08-30 2019-03-08 한국과학기술원 Method and apparatus for reconstructing image based on neural network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Lu, Boyu, Jun-Cheng Chen, and Rama Chellappa. Unsupervised Domain-Specific Deblurring via Disentangled Representations. arXiv:1903.01594v1. arXiv. 2019.3.5.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273377B1 (en) * 2020-12-14 2021-07-06 국방기술품질원 Method for synthesizing image
US11983843B2 (en) 2020-12-14 2024-05-14 Defense Agency For Technology And Quality Method for synthesizing image
KR20220129956A (en) * 2021-03-17 2022-09-26 전남대학교산학협력단 Method and apparatus for generating progression disease image using conditional cycle generative adversarial networks
CN114255387A (en) * 2021-12-28 2022-03-29 山东捷讯通信技术有限公司 Image identification method of all-optical nonlinear convolutional neural network
CN114255387B (en) * 2021-12-28 2024-05-14 山东捷讯通信技术有限公司 Image recognition method of all-optical nonlinear convolutional neural network

Also Published As

Publication number Publication date
KR102319643B1 (en) 2021-11-01

Similar Documents

Publication Publication Date Title
Yue et al. Dual adversarial network: Toward real-world noise removal and noise generation
Krull et al. Noise2void-learning denoising from single noisy images
Prabhakar et al. Towards practical and efficient high-resolution HDR deghosting with CNN
Setzer et al. Deblurring Poissonian images by split Bregman techniques
Pan et al. Deep blind video super-resolution
Zhang et al. Gated fusion network for degraded image super resolution
KR102319643B1 (en) Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore
Li et al. Learning disentangled feature representation for hybrid-distorted image restoration
Wang et al. Training very deep CNNs for general non-blind deconvolution
WO2022100490A1 (en) Methods and systems for deblurring blurry images
Upadhyay et al. A mixed-supervision multilevel gan framework for image quality enhancement
Zhang et al. High‐Order Total Bounded Variation Model and Its Fast Algorithm for Poissonian Image Restoration
Zhao et al. Crnet: Unsupervised color retention network for blind motion deblurring
Wang et al. Non-uniform motion deblurring with blurry component divided guidance
Zareapoor et al. Learning depth super-resolution by using multi-scale convolutional neural network
Lim et al. Blind deconvolution microscopy using cycle consistent CNN with explicit PSF layer
Zheng et al. Empowering low-light image enhancer through customized learnable priors
Fu et al. Multistage supervised contrastive learning for hybrid-degraded image restoration
Chen et al. Deep Richardson–Lucy deconvolution for low-light image deblurring
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
Lee et al. Wide receptive field and channel attention network for jpeg compressed image deblurring
KR102357350B1 (en) Statistical image restoration for low-dose ct image using deep learning
KR102434689B1 (en) Unsupervised learning method for general inverse problem and apparatus therefor
KR102463778B1 (en) Method and Apparatus for Reconstruction of Holistic 3D Body from a Blurred Single Image
Rajeshwari et al. Pixel attention based deep neural network for chest CT image super resolution

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant