KR102348863B1 - Method and Apparatus for Registration of Image data Using Unsupervised Learning Model - Google Patents

Method and Apparatus for Registration of Image data Using Unsupervised Learning Model Download PDF

Info

Publication number
KR102348863B1
KR102348863B1 KR1020200049295A KR20200049295A KR102348863B1 KR 102348863 B1 KR102348863 B1 KR 102348863B1 KR 1020200049295 A KR1020200049295 A KR 1020200049295A KR 20200049295 A KR20200049295 A KR 20200049295A KR 102348863 B1 KR102348863 B1 KR 102348863B1
Authority
KR
South Korea
Prior art keywords
image data
transformed
feature
map
learning
Prior art date
Application number
KR1020200049295A
Other languages
Korean (ko)
Other versions
KR20210131020A (en
Inventor
박상현
이경민
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200049295A priority Critical patent/KR102348863B1/en
Publication of KR20210131020A publication Critical patent/KR20210131020A/en
Application granted granted Critical
Publication of KR102348863B1 publication Critical patent/KR102348863B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/0012—
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치에 관한 것으로, 제1 영상데이터 및 제2 영상데이터를 획득하는 단계, 제1 영상데이터와 제2 영상데이터를 기반으로 복수의 레벨에 대응되는 변위맵을 추정하는 단계, 변위맵을 기반으로 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하는 단계, 제1 영상데이터로부터 추출된 제1 특징맵으로 복수의 제1 변환특징맵을 생성하는 단계, 쌍(pair)을 이루는 복수의 제1 변환특징맵과 제2 영상데이터로부터 추출된 제2 특징맵을 이용하여 학습을 수행하는 단계 및 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and apparatus for matching image data using an unsupervised learning technique, comprising the steps of: acquiring first image data and second image data; Estimating a corresponding displacement map, generating a plurality of first transformed image data by transforming the first image data based on the displacement map, and a plurality of first transformations with a first feature map extracted from the first image data Generating a feature map, performing learning using a plurality of first transformed feature maps that form a pair and a second feature map extracted from second image data, and a plurality of It includes the step of matching the image data, and can be applied to other embodiments.

Description

비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치{Method and Apparatus for Registration of Image data Using Unsupervised Learning Model}Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

본 발명은 비지도 학습 기법을 이용하여 복수의 영상데이터를 정합하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for matching a plurality of image data using an unsupervised learning technique.

최근에는 딥러닝(deep learning) 알고리즘을 적용하여 빅데이터를 처리하는 다양한 기법들이 개발되고 있으며, 이를 적용한 성공사례도 점점 증가하고 있다. 특히, X-ray, 초음파, CT(computed tomography), MRI(magnetic resonance imaging), PET(positron emission tomography), 광각안저카메라(ultra-widefield fundus imaging) 등의 진단기기들로부터 획득된 의료영상데이터를 인공지능 알고리즘에 적용하여 의사의 의사결정에 도움을 주는 방법이 개발되고 있다. 이 중에서도 최근에는 안구의 상태를 진단하기 위해 광각안저카메라에서 획득된 멀티 위상(multi-phase) 초광각(ultra-widefield) 망막 영상을 이용한다. Recently, various techniques for processing big data by applying a deep learning algorithm are being developed, and successful cases of applying them are also increasing. In particular, medical image data obtained from diagnostic devices such as X-ray, ultrasound, computed tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and ultra-widefield fundus imaging Methods to help doctors make decisions by applying artificial intelligence algorithms are being developed. Among them, in recent years, a multi-phase ultra-widefield retinal image acquired from a wide-angle fundus camera is used to diagnose eye conditions.

이와 같은 멀티 위상 초광각 망막 영상의 분석을 위해서는 위상에 따라 변화되는 영상의 특성을 파악하는 것이 중요한데 이를 위해서는 각각의 영상에서 발생되는 왜곡 및 위치가 보정되어야 한다. 이를 위해, 딥러닝 기법을 이용하여 영상간 왜곡과 위치 변화를 보정하는 정합 기법에 대한 연구가 진행되고 있다. 그러나 이러한 연구는 영상의 종류가 유사한 경우를 가정하여 진행되고 있으므로, 동영상데이터와 정지영상데이터와 같이 서로 다른 종류의 영상을 정합하고자 할 때에는 영상간 왜곡 및 위치 변화가 효율적이지 못한 문제가 발생한다. In order to analyze such a multi-phase ultra-wide-angle retina image, it is important to understand the characteristics of images that change according to the phase, and for this, distortion and position generated in each image must be corrected. To this end, research on a matching technique for correcting distortion and position change between images using deep learning techniques is being conducted. However, since these studies are conducted on the assumption that the types of images are similar, when trying to match different types of images such as moving image data and still image data, distortion and position change between images are not efficient.

또한, 이를 위해 혈관 및 분기점 검출기, SIFT 및 에지기반 해리스 코너 검출기를 이용하여 연관성을 찾고, 가장 가까운 포인트 또는 스플라인 기반 방법을 이용하여 영상 정합을 수행하였다. 그러나, 이러한 방식은 정합하고자 하는 영상 사이의 강력한 연관성을 찾기 용이하지 않은 문제점이 존재한다. In addition, for this purpose, correlation was found using vessel and bifurcation detectors, SIFT, and edge-based Harris corner detectors, and image registration was performed using the nearest point or spline-based method. However, this method has a problem in that it is not easy to find a strong correlation between images to be matched.

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 서로 다른 종류의 영상데이터를 복수의 인코더와 디코더를 갖는 네트워크 구조에 적용하여 위상별 변위맵을 추정함으로써 딥러닝 기반 정합 기법을 이용하여 멀티 위상을 갖는 동영상데이터와 정지영상데이터의 정합을 수행할 수 있는 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치를 제공하는 것이다. Embodiments of the present invention for solving these conventional problems apply different types of image data to a network structure having a plurality of encoders and decoders to estimate a displacement map for each phase, so that multi-phase using a deep learning-based matching technique To provide a method and apparatus for matching image data using an unsupervised learning technique capable of performing matching between moving image data and still image data having

아울러, 본 발명의 실시 예들은 서로 다른 종류의 영상데이터에서 추출된 혈관, 분기점 및 특징점을 포함하는 특징맵을 이용하여 복수의 영상데이터 정합 시의 손실율을 고려하면서 복수의 영상데이터를 정합할 수 있는 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치를 제공하는 것이다. In addition, embodiments of the present invention can match a plurality of image data while considering a loss rate when matching a plurality of image data using a feature map including blood vessels, bifurcation points, and feature points extracted from different types of image data. It is to provide a method and apparatus for matching image data using an unsupervised learning technique.

본 발명의 실시 예에 따른 비지도 학습 기법을 이용한 영상데이터의 정합 방법은, 제1 영상데이터 및 제2 영상데이터를 획득하는 단계, 상기 제1 영상데이터와 상기 제2 영상데이터를 기반으로 복수의 레벨에 대응되는 변위맵을 추정하는 단계, 상기 변위맵을 기반으로 상기 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하는 단계, 상기 제1 영상데이터로부터 추출된 제1 특징맵으로 복수의 제1 변환특징맵을 생성하는 단계, 쌍(pair)을 이루는 상기 복수의 제1 변환특징맵과 상기 제2 영상데이터로부터 추출된 제2 특징맵을 이용하여 학습을 수행하는 단계 및 상기 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 단계를 포함하는 것을 특징으로 한다.A method of matching image data using an unsupervised learning technique according to an embodiment of the present invention includes: acquiring first image data and second image data; Estimating a displacement map corresponding to a level, converting the first image data based on the displacement map to generate a plurality of first transformed image data, using a first feature map extracted from the first image data generating a plurality of first transform feature maps; performing learning using the plurality of first transform feature maps forming a pair and a second feature map extracted from the second image data; and the learning It characterized in that it comprises the step of matching a plurality of image data based on the performance result.

또한, 제1 영상데이터는 복수의 위상을 갖는 동영상데이터, 상기 제2 영상데이터는 정지영상데이터인 것을 특징으로 한다.Further, the first image data is moving image data having a plurality of phases, and the second image data is still image data.

또한, 변위맵을 추정하는 단계는, 상기 복수의 레벨을 갖는 인코더와 디코더를 포함하는 네트워크를 이용하여 상기 복수의 위상 각각에 대응되는 변위맵을 추정하는 단계인 것을 특징으로 한다.In addition, the step of estimating the displacement map is characterized in that the step of estimating the displacement map corresponding to each of the plurality of phases using a network including the encoder and the decoder having the plurality of levels.

또한, 제1 변환 영상데이터를 생성하는 단계는, 상기 제1 영상데이터에 상기 변위맵을 각각 적용하여 복수의 제1 변환 영상데이터를 생성하는 단계인 것을 특징으로 한다.In addition, the generating of the first transformed image data may include generating a plurality of first transformed image data by applying the displacement map to the first image data, respectively.

또한, 제1 변환특징맵을 생성하는 단계는, 상기 제1 영상데이터를 이용하여 제1 특징맵을 추출하는 단계 및 상기 제1 특징맵에 상기 변위맵을 각각 적용하여 복수의 제1 변환특징맵을 생성하는 단계를 포함하는 것을 특징으로 한다.In addition, the generating of the first transform feature map may include extracting a first feature map using the first image data and applying the displacement map to the first feature map, respectively, to form a plurality of first transform feature maps. It characterized in that it comprises the step of generating.

또한, 학습을 수행하는 단계는, 쌍(pair)을 이루는 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터의 차이값이 최소가 될 때까지 학습하는 단계 및 상기 복수의 제1 변환특징맵과 상기 제2 특징맵의 차이값이 최소가 될 때까지 학습하는 단계를 포함하는 것을 특징으로 한다.In addition, the performing of the learning includes: learning until a difference value between the plurality of first transformed image data and the second image data forming a pair becomes a minimum, and the plurality of first transformed feature maps and learning until a difference value between the second feature map is minimized.

또한, 학습을 수행하는 단계는, 상기 복수의 레벨에 대응되는 변위맵에 대한 손실 함수, 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터 사이의 손실 함수 및 상기 복수의 제1 변환특징맵과 상기 제2 특징맵 사이의 손실 함수를 고려하여 최종 손실 함수를 정의하는 단계를 포함하는 것을 특징으로 한다. In addition, the performing of the learning includes a loss function for the displacement map corresponding to the plurality of levels, a loss function between the plurality of first transformed image data and the second image data, and the plurality of first transformed feature maps. and defining a final loss function in consideration of a loss function between and the second feature map.

또한, 제1 특징맵 및 상기 제2 특징맵은 상기 제1 영상데이터와 상기 제2 영상데이터 각각에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함하는 것을 특징으로 한다. In addition, the first feature map and the second feature map are characterized in that they include at least one of blood vessels, bifurcation points, and feature points identified in each of the first image data and the second image data.

아울러, 본 발명의 실시 예에 따른 비지도 학습 기법을 이용한 영상데이터의 정합 장치는, 적어도 하나의 영상획득장치에서 획득된 제1 영상데이터 및 제2 영상데이터를 기반으로 복수의 레벨에 따른 변위맵을 추정하는 변위맵추정기, 상기 제1 영상데이터로부터 제1 특징맵을 추출하고, 상기 제2 영상데이터로부터 제2 특징맵을 추출하는 특징추출기, 상기 변위맵을 기반으로 상기 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하고, 상기 제1 특징맵을 변환하여 복수의 제1 변환특징맵을 생성하는 공간변환기 및 쌍(pair)을 이루는 상기 복수의 제1 변환특징맵과 상기 제2 특징맵을 이용하여 학습을 수행하고, 상기 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 손실확인기를 포함하는 것을 특징으로 한다.In addition, the apparatus for matching image data using the unsupervised learning technique according to an embodiment of the present invention provides a displacement map according to a plurality of levels based on the first image data and the second image data obtained by at least one image acquisition apparatus. A displacement map estimator that estimates to generate a plurality of first transformed image data, and a spatial transformer that transforms the first feature map to generate a plurality of first transformed feature maps, and a pair of the plurality of first transformed feature maps and the first transformed feature map 2 It is characterized in that it includes a loss checker that performs learning using the feature map, and matches a plurality of image data based on the result of the learning.

상술한 바와 같이 본 발명에 따른 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치는, 서로 다른 종류의 영상데이터를 복수의 인코더와 디코더를 갖는 네트워크 구조에 적용하여 위상별 변위맵을 추정함으로써 딥러닝 기반 정합 기법을 이용하여 멀티 위상을 갖는 동영상데이터와 정지영상데이터의 정합을 수행할 수 있는 효과가 있다. As described above, the method and apparatus for matching image data using an unsupervised learning technique according to the present invention apply different types of image data to a network structure having a plurality of encoders and decoders to estimate a displacement map for each phase to obtain a deep There is an effect of performing matching of moving image data and still image data having multi-phase using a learning-based matching technique.

또한, 본 발명에 따른 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치는, 서로 다른 종류의 영상데이터에서 추출된 혈관, 분기점 및 특징점을 포함하는 특징맵을 이용하여 복수의 영상데이터 정합 시의 손실율을 고려함으로써, 복수의 영상데이터의 밝기 분포가 상이하더라도 복수의 영상데이터의 정합 일치도를 향상시킬 수 있고, 다양한 종류의 영상데이터의 정합에 적용할 수 있는 효과가 있다. In addition, the method and apparatus for matching image data using an unsupervised learning technique according to the present invention uses a feature map including blood vessels, bifurcation points, and feature points extracted from different types of image data to perform matching of a plurality of image data. By considering the loss ratio, even if the brightness distribution of the plurality of image data is different, the matching degree of matching of the plurality of image data can be improved, and there is an effect that can be applied to the matching of various types of image data.

도 1은 본 발명의 실시 예에 따른 영상데이터의 정합 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 변위맵을 추정하는 네트워크의 구조를 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 영상데이터의 정합 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 영상데이터의 정합 방법 및 다른 방법으로 영상데이터를 정합한 결과를 나타낸 도면이다. 1 is a diagram illustrating a system for matching image data according to an embodiment of the present invention.
2 is a diagram showing the structure of a network for estimating a displacement map according to an embodiment of the present invention.
3 is a flowchart illustrating a method of matching image data according to an embodiment of the present invention.
4 is a diagram illustrating the result of matching image data using the method for matching image data and another method according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In order to clearly explain the present invention in the drawings, parts not related to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more. For example, “A or B” or “at least one of A and B” may include only one of A or B, or both A and B.

도 1은 본 발명의 실시 예에 따른 영상데이터의 정합 시스템을 나타낸 도면이다. 1 is a diagram illustrating a system for matching image data according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 정합 시스템(10)은 영상획득장치(10) 및 정합 장치(200)를 포함하고, 영상획득장치(100)는 제1 영상획득장치(110), 제2 영상획득장치(120)를 포함하며, 정합 장치(200)는 변위맵추정기(210), 공간변환기(220), 손실확인기(230) 및 특징추출기(240)를 포함한다. Referring to FIG. 1 , a matching system 10 according to the present invention includes an image acquisition device 10 and a matching device 200 , and the image acquisition device 100 includes a first image acquisition device 110 and a second The image acquisition device 120 is included, and the matching device 200 includes a displacement map estimator 210 , a space transformer 220 , a loss checker 230 , and a feature extractor 240 .

영상획득장치(100)는 멀티 위상(multi-phase) 초광각(ultra-widefield) 망막 영상데이터를 획득하는 광각안저카메라일 수 있다. 이때, 제1 영상획득장치(110)는 광각안저카메라에서 동영상데이터인 제1 영상데이터(M; moving image data)를 획득하는 이미지 센서로, 획득된 제1 영상데이터를 변위맵추정기(210) 및 특징추출기(240)로 제공한다. 아울러, 제2 영상획득장치(120)는 광각안저카메라에서 정지영상데이터인 제2 영상데이터(F; fixed image data)를 획득하는 이미지 센서로, 획득된 제2 영상데이터를 변위맵추정기(210) 및 특징추출기(240)로 제공한다. The image acquisition device 100 may be a wide-angle fundus camera for acquiring multi-phase ultra-widefield retinal image data. In this case, the first image acquisition device 110 is an image sensor that acquires moving image data (M), which is moving image data, from the wide-angle fundus camera, and uses the acquired first image data with a displacement map estimator 210 and It is provided to the feature extractor 240 . In addition, the second image acquisition device 120 is an image sensor that acquires second image data (F; fixed image data), which is still image data, from the wide-angle fundus camera, and uses the acquired second image data with the displacement map estimator 210 . and a feature extractor 240 .

아울러, 본 발명의 실시 예에서는 영상획득장치(100)가 서로 다른 제1 영상획득장치(110)와 제2 영상획득장치(120)를 포함하는 것을 예로 설명하고 있으나, 이는 설명의 편의를 위한 것이다. 즉, 제1 영상획득장치(110)와 제2 영상획득장치(120)는 하나의 이미지 센서로 구성되되, 영상획득장치(100)를 이용하는 사용자에 의해 동영상데이터 획득 시 특정 시점에 동영상데이터를 캡쳐하여 정지영상데이터를 획득할 수 있다. 또한, 본 발명의 실시 예에서는 설명의 편의를 위해 광각안저카메라를 예로 설명하고 있으나, 반드시 이에 한정되는 것은 아니며, X-ray, 초음파, CT(computed tomography), MRI(magnetic resonance imaging), PET(positron emission tomography) 등과 같이 동영상데이터와 정지영상데이터를 획득할 수 있는 의료영상획득장치에 변경적용이 가능하다. In addition, in the embodiment of the present invention, it is described as an example that the image acquisition apparatus 100 includes the first image acquisition apparatus 110 and the second image acquisition apparatus 120 that are different from each other, but this is for convenience of description. . That is, the first image acquisition device 110 and the second image acquisition device 120 are configured as one image sensor, and capture the moving image data at a specific point in time when the moving image data is acquired by a user using the image acquisition device 100 . Thus, still image data can be obtained. In addition, in the embodiment of the present invention, a wide-angle fundus camera is described as an example for convenience of explanation, but is not necessarily limited thereto, and X-ray, ultrasound, computed tomography (CT), magnetic resonance imaging (MRI), PET (PET) It is possible to change and apply it to a medical image acquisition device that can acquire moving image data and still image data, such as positron emission tomography).

정합 장치(200)는 제1 영상획득장치(110)와 제2 영상획득장치(120)에서 제공된 제1 영상데이터(M)와 제2 영상데이터(F)의 정합을 수행한다. 이를 위해, 정합 장치(200)는 변위맵추정기(210), 공간변환기(220), 손실확인기(230) 및 특징추출기(240)를 포함할 수 있고, 정합 장치(200)는 컴퓨터, 태블릿 PC(personal computer) 등의 장치일 수 있다.The matching apparatus 200 matches the first image data M and the second image data F provided from the first image acquisition apparatus 110 and the second image acquisition apparatus 120 . To this end, the matching device 200 may include a displacement map estimator 210 , a space converter 220 , a loss checker 230 , and a feature extractor 240 , and the matching device 200 is a computer or a tablet PC. It may be a device such as a personal computer.

변위맵추정기(210)는 복수의 인코더 및 디코더를 포함하여 구현된 네트워크 예컨대, U-Net을 이용할 수 있다. 변위맵추정기(210)는 네트워크를 이용하여 멀티 위상을 갖는 제1 영상데이터(M)와 제2 영상데이터(F)의 변위맵을 추정한다. 변위맵추정기(210)의 동작은 하기의 도 2를 이용하여 구체적으로 설명하기로 한다. 도 2는 본 발명의 실시 예에 따른 변위맵을 추정하는 네트워크의 구조를 나타내는 도면이다. The displacement map estimator 210 may use a network implemented including a plurality of encoders and decoders, for example, U-Net. The displacement map estimator 210 estimates a displacement map of the first image data M and the second image data F having multi-phases using a network. The operation of the displacement map estimator 210 will be described in detail with reference to FIG. 2 below. 2 is a diagram showing the structure of a network for estimating a displacement map according to an embodiment of the present invention.

도 2를 참조하면, 제1 영상획득장치(110)에서 획득된 제1 영상데이터(M) 및 제2 영상데이터(F)는 변위맵추정기(210)에 구현된 네트워크에 적용되어 디코더의 각 레벨에서 제1 영상데이터(M)가 갖는 멀티 위상별로 제1 영상데이터(M) 및 제2 영상데이터(F)를 기반으로 하는 위상별 변위맵(displacement map)(

Figure 112020041885529-pat00001
내지
Figure 112020041885529-pat00002
)을 추정한다. 이때, 변위맵은 제1 영상데이터(M)와 제2 영상데이터(F) 사이의 변위를 매칭하기 위해 추정된다. 이를 위해, 제1 영상데이터(M)와 제2 영상데이터(F)는 인코딩 블록을 위한 채널과 역순으로 디코딩 블록을 위한 채널을 형성하는 6개의 인코더와 디코더를 통과한다. 이때, 인코더와 디코더의 개수는 6개로 한정되지 않음을 명확히 하는 바이다. 아울러, 변위맵추정기(210)에서 추정된 변위맵(
Figure 112020041885529-pat00003
내지
Figure 112020041885529-pat00004
)은 공간변환기(220) 및 손실확인기(230)로 제공된다. Referring to FIG. 2 , the first image data M and the second image data F acquired by the first image acquisition device 110 are applied to a network implemented in the displacement map estimator 210 to each level of the decoder. A displacement map for each phase based on the first image data M and the second image data F for each multi-phase of the first image data M in (
Figure 112020041885529-pat00001
inside
Figure 112020041885529-pat00002
) is estimated. At this time, the displacement map is estimated to match the displacement between the first image data (M) and the second image data (F). To this end, the first image data (M) and the second image data (F) pass through six encoders and decoders that form a channel for the decoding block in the reverse order of the channel for the encoding block. In this case, it is clear that the number of encoders and decoders is not limited to six. In addition, the displacement map estimated by the displacement map estimator 210 (
Figure 112020041885529-pat00003
inside
Figure 112020041885529-pat00004
) is provided to the space converter 220 and the loss checker 230 .

보다 구체적으로, 디코더의 각 레벨에서의 특징맵은 다른 해상도들과 함께 변위를 추정하기 위해서 컨벌루션 블록에 포함된 LeakyReLU 활성화 기능을 가진 3X3 컨벌루션을 통과한다. 4X4커널사이즈와 2X2스트라이드를 포함한 컨벌루션 레이어는 인코딩 블록내에서 풀링없이 사용되고, 디코딩 블록에서 X2 업샘플링이 사용된다. 저해상도의 변위맵(예컨대,

Figure 112020041885529-pat00005
또는
Figure 112020041885529-pat00006
)은 선형 보간에 의해 제2 영상데이터(F)의 크기로 업샘플링된다. More specifically, the feature map at each level of the decoder is passed through 3X3 convolution with LeakyReLU activation function included in the convolution block to estimate the displacement with different resolutions. A convolutional layer with 4X4 kernel size and 2X2 stride is used without pooling in the encoding block, and X2 upsampling is used in the decoding block. A low-resolution displacement map (e.g.,
Figure 112020041885529-pat00005
or
Figure 112020041885529-pat00006
) is up-sampled to the size of the second image data F by linear interpolation.

공간변환기(220)는 경사하강법(gradient-descent)을 사용하는 최적화에서 손실 함수와 관련된 매개 변수를 차별화한다. 이를 위해, 공간변환기(220)는 쌍선형(bilinear) 보간을 이용하여 이미지의 픽셀 사이의 값을 계산한다. 그리고 공간변환기(220)는 변위맵추정기(210)에서 추정된 복수의 변위맵(

Figure 112020041885529-pat00007
내지
Figure 112020041885529-pat00008
)을 이용하여 복수의 제1 변환 영상데이터(M
Figure 112020041885529-pat00009
내지 M(
Figure 112020041885529-pat00010
)를 생성한다. 보다 구체적으로, 공간변환기(220)는 제1 영상데이터(M)에 복수의 변위맵(
Figure 112020041885529-pat00011
내지
Figure 112020041885529-pat00012
)을 각각 적용하여 복수의 제1 변환 영상데이터(M
Figure 112020041885529-pat00013
내지 M(
Figure 112020041885529-pat00014
)를 생성하고, 이를 손실확인기(230)로 제공한다. 제1 변환 영상데이터 생성 시 공간변환기(220)는 제1 변환 영상데이터(M
Figure 112020041885529-pat00015
내지 M(
Figure 112020041885529-pat00016
각각의 픽셀 값들을 샘플링한다. 이때, 공간변환기(220)는 선형 보간을 이용하여 불연속 이미지를 연속 그리드로 변환할 수 있다. 아울러, 공간변환기(220)는 특징추출기(240)로부터 제공된 제1 특징맵(Mv)에 복수의 변위맵(
Figure 112020041885529-pat00017
내지
Figure 112020041885529-pat00018
)을 각각 적용하여 복수의 제1 변환특징맵(Mv
Figure 112020041885529-pat00019
내지 Mv(
Figure 112020041885529-pat00020
)를 생성한다. The spatial transformer 220 differentiates parameters related to the loss function in optimization using gradient-descent. To this end, the spatial transformer 220 calculates a value between pixels of an image using bilinear interpolation. And the space transformer 220 is a plurality of displacement maps estimated by the displacement map estimator 210 (
Figure 112020041885529-pat00007
inside
Figure 112020041885529-pat00008
) using a plurality of first transformed image data (M
Figure 112020041885529-pat00009
to M (
Figure 112020041885529-pat00010
) is created. More specifically, the spatial converter 220 is a plurality of displacement maps (M) in the first image data (M).
Figure 112020041885529-pat00011
inside
Figure 112020041885529-pat00012
) by applying a plurality of first transformed image data (M
Figure 112020041885529-pat00013
to M (
Figure 112020041885529-pat00014
) and provides it to the loss checker 230 . When generating the first transformed image data, the spatial converter 220 is the first transformed image data (M
Figure 112020041885529-pat00015
to M (
Figure 112020041885529-pat00016
Samples each pixel value. In this case, the spatial converter 220 may convert the discontinuous image into a continuous grid using linear interpolation. In addition, the space transformer 220 includes a plurality of displacement maps (
Figure 112020041885529-pat00017
inside
Figure 112020041885529-pat00018
) by applying a plurality of first transform feature maps (Mv
Figure 112020041885529-pat00019
to Mv (
Figure 112020041885529-pat00020
) is created.

손실확인기(230)는 제2 영상획득장치(120)에서 수신된 제2 영상데이터(F)와 변위맵추정기(210)로부터 제공된 제1 변환 영상데이터(M

Figure 112020041885529-pat00021
내지 M(
Figure 112020041885529-pat00022
)를 비교하여 차이가 최소화가 될 때까지 학습을 수행한다. 이를 위해, 손실확인기(230)는 제2 영상데이터(F)와 제1 변환 영상데이터(M
Figure 112020041885529-pat00023
내지 M(
Figure 112020041885529-pat00024
)의 쌍(pair)을 생성하여 비교할 수 있다. 또한, 손실확인기(230)는 특징추출기(240)로부터 제공된 제2 특징맵(Fv)과 공간변환기(220)로부터 제공된 복수의 제1 변환특징맵(Mv
Figure 112020041885529-pat00025
내지 Mv(
Figure 112020041885529-pat00026
)을 비교하여 차이가 최소화될 때까지 학습을 수행한다. 이를 위해, 손실확인기(230)는 제2 특징맵(Fv)과 제1 변환특징맵(Mv
Figure 112020041885529-pat00027
내지 Mv(
Figure 112020041885529-pat00028
)의 쌍(pair)을 생성하여 비교할 수 있다. 이를 통해, 손실확인기(230)는 영상데이터 정합 시에 손실율을 최소로 할 수 있는 영상데이터를 선택하여 영상데이터를 정합할 수 있다. The loss checker 230 includes the second image data F received from the second image acquisition device 120 and the first transformed image data M provided from the displacement map estimator 210 .
Figure 112020041885529-pat00021
to M (
Figure 112020041885529-pat00022
) and learning is performed until the difference is minimized. To this end, the loss checker 230 includes the second image data F and the first converted image data M
Figure 112020041885529-pat00023
to M (
Figure 112020041885529-pat00024
) can be created and compared. In addition, the loss checker 230 includes a second feature map Fv provided from the feature extractor 240 and a plurality of first transform feature maps Mv provided from the space transformer 220 .
Figure 112020041885529-pat00025
to Mv (
Figure 112020041885529-pat00026
) and learning until the difference is minimized. To this end, the loss checker 230 includes a second feature map (Fv) and a first transform feature map (Mv).
Figure 112020041885529-pat00027
to Mv (
Figure 112020041885529-pat00028
) can be created and compared. Through this, the loss checker 230 may select image data capable of minimizing a loss rate during image data matching and match the image data.

아울러, 특징추출기(240)는 제1 영상획득장치(110)에서 획득된 제1 영상데이터(M)를 이용하여 적어도 하나의 제1 특징맵(Mv)를 추출한다. 또한, 특징추출기(240)는 제2 영상획득장치(120)에서 획득된 제2 영상데이터(F)를 이용하여 제2 특징맵(Fv)를 추출한다. 이때, 제1 특징맵(Mv)은 제1 영상데이터(M)에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함할 수 있고, 제2 특징맵(Fv)는 제2 영상데이터(F)에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함할 수 있다. 이를 위해, 특징추출기(240)는 프랜지 필터(frangi filter), 혈관 및 분기점 검출기, SIFT 및 에지기반 해리스 코너 검출기 등을 포함하는 다양한 특징추출기를 적용할 수 있다. In addition, the feature extractor 240 extracts at least one first feature map Mv by using the first image data M obtained by the first image acquisition device 110 . Also, the feature extractor 240 extracts the second feature map Fv by using the second image data F obtained by the second image acquisition device 120 . In this case, the first feature map Mv may include at least one of blood vessels, bifurcation points, and feature points identified in the first image data M, and the second feature map Fv is It may include at least one of the identified blood vessels, bifurcation points, and feature points. To this end, the feature extractor 240 may apply various feature extractors including a frangi filter, a blood vessel and bifurcation detector, a SIFT and an edge-based Harris corner detector, and the like.

보다 구체적으로, 손실확인기(230)는 제1 영상데이터(M)을 기반으로 생성된 제1 변환 영상데이터(M(

Figure 112020041885529-pat00029
))와 제2 영상데이터(F) 사이의 유사성 손실(Lsim)을 이용하여 손실 함수를 정의한다. 이때, 유사성 손실(Lsim)은 제1 변환 영상데이터(M
Figure 112020041885529-pat00030
))와 제2 영상데이터(F)의 일부 영역의 음의 상호상관(CC; cross-correlation)으로써 정의되고 이는 하기의 수학식 1과 같다. More specifically, the loss checker 230 is the first converted image data M (M() generated based on the first image data (M)
Figure 112020041885529-pat00029
)) and the similarity loss (Lsim) between the second image data (F) to define a loss function. In this case, the similarity loss Lsim is the first transformed image data M
Figure 112020041885529-pat00030
)) and a negative cross-correlation (CC) of a partial region of the second image data F, which is expressed in Equation 1 below.

Figure 112020041885529-pat00031
Figure 112020041885529-pat00031

(단,

Figure 112020041885529-pat00032
와
Figure 112020041885529-pat00033
는 n*n 패치의 평균 밝기를 나타내고, pi는 p주위의 n*n패치를 반복하는 횟수를 의미한다.)(only,
Figure 112020041885529-pat00032
Wow
Figure 112020041885529-pat00033
denotes the average brightness of n*n patches, and pi denotes the number of repetitions of n*n patches around p.)

이때, 상호상관값이 높아질수록 정렬이 좋아지며, 손실 함수는 Lsim(F, M(

Figure 112020041885529-pat00034
))=-CC(F, M(
Figure 112020041885529-pat00035
))의 형식으로 사용된다. 또한, 다른 특성을 갖는 제1 변환 영상데이터(M(
Figure 112020041885529-pat00036
))와 제2 영상데이터(F)를 매치하기 위하여 제1 변환특징맵(Mv(
Figure 112020041885529-pat00037
))과 제2 특징맵(Fv) 사이의 상호상관도 손실 함수에 추가된다. At this time, the higher the cross-correlation value, the better the alignment, and the loss function is Lsim(F, M(
Figure 112020041885529-pat00034
))=-CC(F, M(
Figure 112020041885529-pat00035
)) in the form of In addition, the first transformed image data (M (
Figure 112020041885529-pat00036
)) to match the second image data F with the first transform feature map Mv(
Figure 112020041885529-pat00037
)) and the cross-correlation between the second feature map Fv is also added to the loss function.

변위맵추정기(210)에 의해 추정된 변위맵(

Figure 112020041885529-pat00038
)은 제1 변환특징맵(Mv(
Figure 112020041885529-pat00039
))을 생성하기 위해 제1 특징맵(Mv)에 적용된다. 이때, 제1 변환특징맵(Mv(
Figure 112020041885529-pat00040
))과 제2 특징맵(Fv) 사이의 상호상관은 Lvessel(Fv, Mv(
Figure 112020041885529-pat00041
)) = -CC(Fv, Mv(
Figure 112020041885529-pat00042
))로 계산된다. The displacement map estimated by the displacement map estimator 210 (
Figure 112020041885529-pat00038
) is the first transformation feature map (Mv(
Figure 112020041885529-pat00039
))) is applied to the first feature map Mv. At this time, the first transformation feature map (Mv(
Figure 112020041885529-pat00040
)) and the cross-correlation between the second feature map (Fv) is Lvessel(Fv, Mv(
Figure 112020041885529-pat00041
)) = -CC(Fv, Mv(
Figure 112020041885529-pat00042
)) is calculated as

아울러, 손실확인기(230)는 하기의 수학식 2와 같이 Lsim과 Lvessel과 함께 평탄화 손실인 Lsmooth를 이용하여 변위맵(

Figure 112020041885529-pat00043
내지
Figure 112020041885529-pat00044
)에 대한 손실 함수를 정의하고 변형 필드의 기울기를 기반으로 부자연스러운 변위를 정규화한다. In addition, the loss checker 230 is a displacement map (
Figure 112020041885529-pat00043
inside
Figure 112020041885529-pat00044
) and normalize the unnatural displacement based on the slope of the strain field.

Figure 112020041885529-pat00045
Figure 112020041885529-pat00045

마지막으로, 손실확인기(230)는 하기의 수학식 3을 이용하여 최종 손실값을 산출한다. Finally, the loss checker 230 calculates a final loss value using Equation 3 below.

Figure 112020041885529-pat00046
Figure 112020041885529-pat00046

(단, λ는 정규화 변수이다.)(However, λ is a regularization variable.)

이와 같이, 손실확인기(230)는 최종적으로 산출된 최종 손실값이 가장 작을 때까지 반복적으로 학습을 수행한다. 그리고, 손실확인기(230)에서 최종 손실값이 0에 가장 가깝게 산출되면 정합 장치(200)는 학습이 완료된 것으로 확인하고, 학습 완료 시점에 입력된 제1 영상데이터와 제2 영상데이터를 정합한다. In this way, the loss checker 230 repeatedly performs learning until the finally calculated final loss value is the smallest. Then, when the final loss value is calculated closest to 0 by the loss checker 230, the matching device 200 confirms that the learning is completed, and matches the first image data and the second image data input at the learning completion time. .

도 3은 본 발명의 실시 예에 따른 영상데이터의 정합 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of matching image data according to an embodiment of the present invention.

도 3을 참조하면, 301단계에서 정합 장치(200)는 제1 영상획득장치(110)와 제2 영상획득장치(120)에서 획득된 제1 영상데이터와 제2 영상데이터를 수신한다. 303단계에서 정합 장치(200)에 포함된 변위맵추정기(210)는 복수의 인코더와 디코더로 구현된 네트워크를 이용하여 멀티 위상을 갖는 제1 영상데이터(M)와 제2 영상데이터(F)를 기반으로 하는 변위맵(displacement map)(

Figure 112020041885529-pat00047
내지
Figure 112020041885529-pat00048
))을 추정한다.Referring to FIG. 3 , in step 301 , the matching device 200 receives the first image data and the second image data acquired by the first image acquisition device 110 and the second image acquisition device 120 . In step 303, the displacement map estimator 210 included in the matching device 200 combines the first image data M and the second image data F having multi-phase using a network implemented with a plurality of encoders and decoders. A displacement map based on (
Figure 112020041885529-pat00047
inside
Figure 112020041885529-pat00048
)) is estimated.

305단계에서 정합 장치(200)에 포함된 공간변환기(220)는 제1 영상데이터(M)에 복수의 변위맵(

Figure 112020041885529-pat00049
내지
Figure 112020041885529-pat00050
)을 각각 적용하여 복수의 제1 변환 영상데이터(M
Figure 112020041885529-pat00051
내지 M(
Figure 112020041885529-pat00052
)를 생성한다. 307단계에서 특징추출기(240)는 제1 영상데이터(M)를 이용하여 제1 특징맵(Mv)을 추출한다. 이때, 제1 특징맵(Mv)은 제1 영상데이터(M)에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함할 수 있다. In step 305 , the spatial transformer 220 included in the matching device 200 includes a plurality of displacement maps (
Figure 112020041885529-pat00049
inside
Figure 112020041885529-pat00050
) by applying a plurality of first transformed image data (M
Figure 112020041885529-pat00051
to M (
Figure 112020041885529-pat00052
) is created. In step 307, the feature extractor 240 extracts the first feature map Mv by using the first image data M. In this case, the first feature map Mv may include at least one of blood vessels, bifurcation points, and feature points identified in the first image data M.

309단계에서 정합 장치(200)에 포함된 공간변환기(220)는 특징추출기(240)에서 추출된 제1 특징맵(Mv)에 복수의 변위맵(

Figure 112020041885529-pat00053
내지
Figure 112020041885529-pat00054
)을 각각 적용하여 복수의 제1 변환특징맵(Mv
Figure 112020041885529-pat00055
내지 Mv(
Figure 112020041885529-pat00056
)를 생성한다. 이어서, 311단계에서 특징추출기(240)는 제2 영상데이터(F)를 이용하여 제2 특징맵(Fv)를 추출한다. 이때, 제2 특징맵(Fv)는 제2 영상데이터(F)에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함할 수 있다.In step 309, the spatial transformer 220 included in the matching device 200 adds a plurality of displacement maps (
Figure 112020041885529-pat00053
inside
Figure 112020041885529-pat00054
) by applying a plurality of first transform feature maps (Mv
Figure 112020041885529-pat00055
to Mv (
Figure 112020041885529-pat00056
) is created. Next, in step 311 , the feature extractor 240 extracts the second feature map Fv using the second image data F. In this case, the second feature map Fv may include at least one of blood vessels, bifurcation points, and feature points identified in the second image data F.

이어서, 313단계에서 정합 장치(200)의 손실확인기(230)는 학습을 수행하고 315단계를 수행한다. 315단계에서 정합 장치(200)는 학습이 완료됨이 확인되면 317단계를 수행하여 영상데이터를 정합하고, 학습이 완료됨이 확인되지 않으면 313단계로 회귀하여 학습이 완료될 때까지 반복적으로 학습을 수행한다. Subsequently, in step 313 , the loss checker 230 of the matching device 200 performs learning and performs step 315 . In step 315, when it is confirmed that the learning is complete, the matching device 200 matches the image data by performing step 317. If it is not confirmed that the learning is completed, the matching device 200 returns to step 313 and repeats learning until the learning is completed. carry out

보다 구체적으로, 손실확인기(230)는 제2 영상획득장치(120)에서 수신된 제2 영상데이터(F)와 변위맵추정기(210)로부터 제공된 제1 변환 영상데이터(M

Figure 112020041885529-pat00057
내지 M(
Figure 112020041885529-pat00058
)를 비교하여 차이가 최소화가 될 때까지 학습을 수행한다. 또한, 손실확인기(230)는 특징추출기(240)로부터 제공된 제2 특징맵(Fv)과 공간변환기(220)로부터 제공된 복수의 제1 변환특징맵(Mv
Figure 112020041885529-pat00059
내지 Mv(
Figure 112020041885529-pat00060
)을 비교하여 차이가 최소화될 때까지 학습을 수행한다. 이는 상기의 수학식 1 내지 수학식 3에서 설명하였으므로 구체적인 설명을 생략하기로 한다. 손실확인기(230)에서 정의된 변위맵(
Figure 112020041885529-pat00061
내지
Figure 112020041885529-pat00062
)에 대한 손실 함수, 제1 변환 영상데이터(M(
Figure 112020041885529-pat00063
))와 제2 영상데이터(F) 사이의 손실 함수 및 제1 변환특징맵(Mv(
Figure 112020041885529-pat00064
))과 제2 특징맵(Fv) 사이의 손실 함수를 고려하여 산출된 최종 손실값이 0에 가장 가까워지면 정합 장치(200)는 학습이 완료된 것으로 확인하고, 학습 완료 시점에 입력된 제1 영상데이터와 제2 영상데이터를 정합한다. More specifically, the loss checker 230 includes the second image data F received from the second image acquisition device 120 and the first transformed image data M provided from the displacement map estimator 210 .
Figure 112020041885529-pat00057
to M (
Figure 112020041885529-pat00058
) and learning is performed until the difference is minimized. In addition, the loss checker 230 includes a second feature map Fv provided from the feature extractor 240 and a plurality of first transform feature maps Mv provided from the space transformer 220 .
Figure 112020041885529-pat00059
to Mv (
Figure 112020041885529-pat00060
) and learning until the difference is minimized. Since this has been described in Equations 1 to 3 above, a detailed description thereof will be omitted. The displacement map defined in the loss checker 230 (
Figure 112020041885529-pat00061
inside
Figure 112020041885529-pat00062
The loss function for ), the first transformed image data (M(
Figure 112020041885529-pat00063
)) and the loss function between the second image data (F) and the first transformation feature map (Mv(
Figure 112020041885529-pat00064
)) and the final loss value calculated in consideration of the loss function between the second feature map (Fv) is closest to 0, the matching apparatus 200 confirms that the learning is completed, and the first image input at the completion of learning The data and the second image data are matched.

도 4는 본 발명의 실시 예에 따른 영상데이터의 정합 방법 및 다른 방법으로 영상데이터를 정합한 결과를 나타낸 도면이다. 4 is a diagram illustrating the result of matching image data using the method for matching image data and another method according to an embodiment of the present invention.

도 4를 참조하면, 도 4는 본 발명의 정합 방법과 이전의 affine정합, B-spline, SIFT-RANSAC, VoxelMorph를 이용하였을 때 확인되는 평균 리콜, 정밀도, DSC(dice similarity coefficient), 거리 점수를 나타낸 표이며, 이동(moving)은 동영상데이터와 정지영상데이터 사이의 정확도 점수를 나타낸다. 4, the average recall, precision, DSC (dice similarity coefficient), distance score confirmed when using the matching method of the present invention and previous affine matching, B-spline, SIFT-RANSAC, and VoxelMorph It is a table shown, and moving indicates the accuracy score between moving image data and still image data.

도 4를 참조하면, affine 변환의 경우, 변환 전과 변환 후의 거리가 크게 변화가 없으며, affine+b-spline의 경우, 밝기 분포 차이가 커서 매칭이 실패한 경우가 많다. 아울러, VoxelMorph는 DSC와 거리 점수에서 보다 나은 성능을 달성하였으나, 대응 사이의 거리에 대한 개선은 상대적으로 낮음을 확인할 수 있다. Referring to FIG. 4 , in the case of affine transformation, the distance before and after transformation does not change significantly, and in the case of affine+b-spline, there are many cases in which matching fails due to a large difference in brightness distribution. In addition, it can be seen that VoxelMorph achieved better performance in DSC and distance scores, but improvement in distance between counterparts was relatively low.

반면, 본 발명의 정합 방법은 최고의 성능을 달성하였음을 확인할 수 있다. 예컨대, 분기점 사이의 거리가 감소한 것은 본 발명의 정합 방법의 결과가 자연 변위 맵을 획득하였음을 나타내고, 디코더의 멀티 레벨에서 변위 추정이 수행되었을 때 DSC가 2%의 성능이 향상되었고, VoxelMorph와 비교한 거리의 오차가 1정도 향상되었음을 확인할 수 있다. 또한, 혈관에 의해 계산된 손실이 사용될 때 DSC가 3%의 성능이 향상되었고, 거리의 오차가 2정도 향상되었음을 확인할 수 있다. On the other hand, it can be confirmed that the matching method of the present invention achieved the best performance. For example, the decrease in the distance between junctions indicates that the result of the matching method of the present invention obtained a natural displacement map, and when displacement estimation was performed at multi-level of the decoder, the performance of DSC was improved by 2%, and compared with VoxelMorph It can be seen that the error of one distance is improved by about one. In addition, it can be seen that when the loss calculated by the blood vessel is used, the performance of the DSC is improved by 3%, and the error of the distance is improved by 2%.

상기의 도 4는 당뇨병성 망막증 환자 30명에 대한 3900*3076크기의 영상데이터를 이용하여 실험을 진행한 결과이다. 이때, 획득한 영상데이터는 1) 당뇨병성 망막증 환자 30명으로부터 3900*3076크기를 갖는 30쌍의 초기 위상 및 후기 위상 UWF FA(fluorescein angiography)이미지, 2) 다른 망막 혈관 질환이 있는 34명의 환자로부터 4000*4000크기를 갖는 5 내지 10개의 멀티 위상 UWF FA 이미지를 포함한다. 4 is a result of an experiment using image data of 3900*3076 size for 30 patients with diabetic retinopathy. At this time, the acquired image data were 1) 30 pairs of early and late phase UWF FA (fluorescein angiography) images with a size of 3900*3076 from 30 diabetic retinopathy patients, 2) 34 patients with other retinal vascular diseases. It contains 5 to 10 multi-phase UWF FA images with a size of 4000*4000.

1)과 2)의 이미지들의 크기를 동일하게 조정하고 [0, 1]의 밝기 범위를 조정하기 위해 히스토그램 이퀄라이제이션을 수행하였다. 정합 정확도를 측정하기 위해 이미지의 쌍으로부터 혈관과 분기점을 추출하였다. 혈관 추출을 위해, 프랜지 필터링에 의해 획득된 혈관 지수의 임계값을 계산하고 수동으로 오류를 수정하여 이진 분할을 수행하였다. 그리고 분기점에도 수동으로 주석을 달았다. Histogram equalization was performed to adjust the size of the images in 1) and 2) to be the same and to adjust the brightness range of [0, 1]. Vessels and bifurcations were extracted from pairs of images to measure registration accuracy. For blood vessel extraction, binary segmentation was performed by calculating the threshold value of the blood vessel index obtained by Flange filtering and manually correcting the error. I also manually annotated the branch points.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples to easily explain the technical content of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modifications derived based on the technical spirit of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.

Claims (9)

제1 영상데이터 및 제2 영상데이터를 획득하는 단계;
상기 제1 영상데이터와 상기 제2 영상데이터를 기반으로 복수의 레벨에 대응되는 변위맵을 추정하는 단계;
상기 변위맵을 기반으로 상기 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하는 단계;
상기 제1 영상데이터로부터 추출된 제1 특징맵으로 복수의 제1 변환특징맵을 생성하는 단계;
쌍(pair)을 이루는 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터의 차이값이 최소가 될 때까지 학습하는 단계;
상기 복수의 제1 변환특징맵과 상기 제2 영상데이터로부터 추출된 제2 특징맵의 차이값이 최소가 될 때까지 학습하는 단계; 및
상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터를 이용한 학습 및 상기 복수의 제1 변환특징맵과 상기 제2 특징맵을 이용한 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 단계;
를 포함하는 것을 특징으로 하는 영상데이터 정합 방법. obtaining first image data and second image data;
estimating a displacement map corresponding to a plurality of levels based on the first image data and the second image data;
generating a plurality of first transformed image data by transforming the first image data based on the displacement map;
generating a plurality of first transformed feature maps using a first feature map extracted from the first image data;
learning until a difference value between the plurality of first transformed image data and the second image data forming a pair becomes a minimum;
learning until a difference value between the plurality of first transformed feature maps and a second feature map extracted from the second image data is minimized; and
matching a plurality of image data based on the results of learning using the plurality of first transformed image data and the second image data and learning using the plurality of first transformed feature maps and the second feature map;
Image data matching method comprising a. 제1항에 있어서,
상기 제1 영상데이터는 복수의 위상을 갖는 동영상데이터, 상기 제2 영상데이터는 정지영상데이터인 것을 특징으로 하는 영상데이터 정합 방법. According to claim 1,
The image data matching method, characterized in that the first image data is moving image data having a plurality of phases, and the second image data is still image data. 제2항에 있어서,
상기 변위맵을 추정하는 단계는,
상기 복수의 레벨을 갖는 인코더와 디코더를 포함하는 네트워크를 이용하여 상기 복수의 위상 각각에 대응되는 변위맵을 추정하는 단계인 것을 특징으로 하는 영상데이터 정합 방법. 3. The method of claim 2,
The step of estimating the displacement map comprises:
and estimating a displacement map corresponding to each of the plurality of phases using a network including an encoder and a decoder having the plurality of levels. 제3항에 있어서,
상기 제1 변환 영상데이터를 생성하는 단계는,
상기 제1 영상데이터에 상기 변위맵을 각각 적용하여 복수의 제1 변환 영상데이터를 생성하는 단계인 것을 특징으로 하는 영상데이터 정합 방법. 4. The method of claim 3,
The step of generating the first transformed image data comprises:
and generating a plurality of first transformed image data by applying the displacement map to the first image data, respectively. 제4항에 있어서,
상기 제1 변환특징맵을 생성하는 단계는,
상기 제1 영상데이터를 이용하여 제1 특징맵을 추출하는 단계; 및
상기 제1 특징맵에 상기 변위맵을 각각 적용하여 복수의 제1 변환특징맵을 생성하는 단계;
를 포함하는 것을 특징으로 하는 영상데이터 정합 방법. 5. The method of claim 4,
The step of generating the first transformation feature map comprises:
extracting a first feature map using the first image data; and
generating a plurality of first transform feature maps by applying the displacement map to the first feature map, respectively;
Image data matching method comprising a. 삭제delete 제1항에 있어서,
상기 학습을 수행하는 단계는,
상기 복수의 레벨에 대응되는 변위맵에 대한 손실 함수, 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터 사이의 손실 함수 및 상기 복수의 제1 변환특징맵과 상기 제2 특징맵 사이의 손실 함수를 고려하여 최종 손실 함수를 정의하는 단계;
를 포함하는 것을 특징으로 하는 영상데이터 정합 방법. According to claim 1,
The step of performing the learning is,
A loss function for a displacement map corresponding to the plurality of levels, a loss function between the plurality of first transformed image data and the second image data, and a loss between the plurality of first transformed feature maps and the second feature map defining a final loss function by considering the function;
Image data matching method comprising a. 제1항에 있어서,
상기 제1 특징맵 및 상기 제2 특징맵은 상기 제1 영상데이터와 상기 제2 영상데이터 각각에서 확인되는 혈관, 분기점 및 특징점 중 적어도 하나를 포함하는 것을 특징으로 하는 영상데이터 정합 방법. According to claim 1,
The image data matching method according to claim 1, wherein the first feature map and the second feature map include at least one of blood vessels, bifurcation points, and feature points identified in each of the first image data and the second image data. 적어도 하나의 영상획득장치에서 획득된 제1 영상데이터 및 제2 영상데이터를 기반으로 복수의 레벨에 따른 변위맵을 추정하는 변위맵추정기;
상기 제1 영상데이터로부터 제1 특징맵을 추출하고, 상기 제2 영상데이터로부터 제2 특징맵을 추출하는 특징추출기;
상기 변위맵을 기반으로 상기 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하고, 상기 제1 특징맵을 변환하여 복수의 제1 변환특징맵을 생성하는 공간변환기; 및
쌍(pair)을 이루는 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터의 차이값이 최소가 될 때까지 학습하고, 상기 복수의 제1 변환특징맵과 상기 제2 영상데이터로부터 추출된 제2 특징맵의 차이값이 최소가 될 때까지 학습하며, 상기 복수의 제1 변환 영상데이터와 상기 제2 영상데이터를 이용한 학습 및 상기 복수의 제1 변환특징맵과 상기 제2 특징맵을 이용한 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 손실확인기;
를 포함하는 것을 특징으로 하는 영상데이터 정합 장치.a displacement map estimator for estimating a displacement map according to a plurality of levels based on the first image data and the second image data acquired by at least one image acquisition device;
a feature extractor for extracting a first feature map from the first image data and for extracting a second feature map from the second image data;
a spatial converter that transforms the first image data based on the displacement map to generate a plurality of first transformed image data, and transforms the first feature map to generate a plurality of first transformed feature maps; and
Learning is performed until the difference between the plurality of first transformed image data and the second image data forming a pair is minimized, and the first transformed feature map and the second image data extracted from the plurality of first transformed feature maps and the second image data are studied. Learning is performed until the difference between the two feature maps is minimized, learning using the plurality of first transformed image data and the second image data, and learning using the plurality of first transformed feature maps and the second feature map a loss checker for matching a plurality of image data based on the performance result of ;
Image data matching device comprising a.
KR1020200049295A 2020-04-23 2020-04-23 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model KR102348863B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049295A KR102348863B1 (en) 2020-04-23 2020-04-23 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049295A KR102348863B1 (en) 2020-04-23 2020-04-23 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

Publications (2)

Publication Number Publication Date
KR20210131020A KR20210131020A (en) 2021-11-02
KR102348863B1 true KR102348863B1 (en) 2022-01-11

Family

ID=78476261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049295A KR102348863B1 (en) 2020-04-23 2020-04-23 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

Country Status (1)

Country Link
KR (1) KR102348863B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939349B1 (en) 2018-07-09 2019-04-11 장현민 Around view video providing method based on machine learning for vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133425A (en) * 2018-05-23 2019-12-03 (주)휴톰 Program and method for displaying surgical assist image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939349B1 (en) 2018-07-09 2019-04-11 장현민 Around view video providing method based on machine learning for vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lei et al. 4D-CT deformable image registration using multiscale unsupervised deep learning. Physics in Medicine & Biology, 2020년 4월 20일. pp. 1-12. 1부.*
Zhou et al. Unsupervised Deformable Medical Image Registration via Pyramidal Residual Deformation Fields Estimation. arXiv, 2020년 4월 16일, pp. 1-9. 1부.*

Also Published As

Publication number Publication date
KR20210131020A (en) 2021-11-02

Similar Documents

Publication Publication Date Title
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
Yu et al. Computed tomography super-resolution using convolutional neural networks
CN109523584B (en) Image processing method and device, multi-modality imaging system, storage medium and equipment
US8842936B2 (en) Method, apparatus, and program for aligning images
CN109978037B (en) Image processing method, model training method, device and storage medium
US8515146B2 (en) Deformable motion correction for stent visibility enhancement
CN107194912B (en) Brain CT/MR image fusion method based on sparse representation and improved coupled dictionary learning
JP2002032735A (en) Method and device for aligning image
US20240212811A1 (en) Method and apparatus for processing of multi-modal data
Upadhyay et al. Uncertainty-guided progressive GANs for medical image translation
JP2008511395A (en) Method and system for motion correction in a sequence of images
CN111899165A (en) Multi-task image reconstruction convolution network model based on functional module
Wang et al. Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks
JP4274400B2 (en) Image registration method and apparatus
Mizusawa et al. Computed tomography image reconstruction using stacked U-Net
CN108038840B (en) Image processing method and device, image processing equipment and storage medium
CN111696042B (en) Image super-resolution reconstruction method based on sample learning
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN117237196A (en) Brain MRI super-resolution reconstruction method and system based on implicit neural characterization
Lu et al. Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images
KR102348863B1 (en) Method and Apparatus for Registration of Image data Using Unsupervised Learning Model
Malczewski PET image reconstruction using compressed sensing
KR102505908B1 (en) Medical Image Fusion System
CN112634224B (en) Focus detection method and device based on target image
US20240153089A1 (en) Systems and methods for processing real-time cardiac mri images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant