KR102165915B1 - Apparatus and method for reconstructing digital breast tomosynthesis - Google Patents
Apparatus and method for reconstructing digital breast tomosynthesis Download PDFInfo
- Publication number
- KR102165915B1 KR102165915B1 KR1020180082151A KR20180082151A KR102165915B1 KR 102165915 B1 KR102165915 B1 KR 102165915B1 KR 1020180082151 A KR1020180082151 A KR 1020180082151A KR 20180082151 A KR20180082151 A KR 20180082151A KR 102165915 B1 KR102165915 B1 KR 102165915B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- convolution
- outputting
- dbt
- digital breast
- Prior art date
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003325 tomography Methods 0.000 claims abstract description 46
- 239000002131 composite material Substances 0.000 claims abstract description 31
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 16
- 206010028980 Neoplasm Diseases 0.000 abstract description 11
- 230000000740 bleeding effect Effects 0.000 abstract description 10
- 230000003902 lesion Effects 0.000 abstract description 10
- 206010006187 Breast cancer Diseases 0.000 abstract description 9
- 208000026310 Breast neoplasm Diseases 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000007480 spreading Effects 0.000 abstract description 3
- 102100034033 Alpha-adducin Human genes 0.000 description 3
- 101000799076 Homo sapiens Alpha-adducin Proteins 0.000 description 3
- 101000629598 Rattus norvegicus Sterol regulatory element-binding protein 1 Proteins 0.000 description 3
- 238000009607 mammography Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 238000000333 X-ray scattering Methods 0.000 description 1
- 201000008274 breast adenocarcinoma Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
- A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10112—Digital tomosynthesis [DTS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법은 인공 신경망 중 하나인 심층 잔여 네트워크를 수정한 수정 심층 잔여 네트워크를 이용하여, 디지털 유방 단층촬영합성 영상을 재구성함으로써, 번짐 현상의 로우 레벨 특징 및 하이 레벨 특징을 모두 효과적으로 제거할 수 있도록 한다. 특히 신속하게 번짐 현상을 저감할 수 있으며, 포아송 잡음에 취약하지 않고, 재구성된 디지털 유방 단층촬영합성 영상 내의 종양의 위치와 관계없이 종양의 검출능이 향상된다. 그러므로, 디지털 유방 단층촬영합성 영상을 제공할 수 있어, 유방암과 같은 병변을 조기에 정확하게 진단하고 치료할 수 있도록 한다.The apparatus and method for reconstructing a digital breast tomography synthesis image according to an embodiment of the present invention is a bleeding phenomenon by reconstructing a digital breast tomography composite image using a modified deep residual network modified from a deep residual network, which is one of artificial neural networks. It enables effective removal of both low-level features and high-level features. In particular, it is possible to quickly reduce the spreading phenomenon, and is not susceptible to Poisson noise, and the detection ability of the tumor is improved regardless of the location of the tumor in the reconstructed digital breast tomography composite image. Therefore, it is possible to provide a digital breast tomography composite image, which enables early and accurate diagnosis and treatment of lesions such as breast cancer.
Description
본 발명은 영상의 재구성 장치 및 방법에 관한 것으로, 특히 제한된 각도 범위에서 촬영되는 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for reconstructing an image, and more particularly, to an apparatus and method for reconstructing a digital breast tomography composite image photographed in a limited angular range.
유방에 생긴 암세포로 이루어진 종괴를 의미하는 유방 선암 또는 유방암은 여성에게 중요한 의학적인 문제이다. 이러한 유방암은 여성의 사망률을 높이는 주요 원인일 뿐만 아니라 장애, 심리적 충격 및 경제적 손실의 원인이 된다.Breast adenocarcinoma or breast cancer, which is a mass made of cancer cells in the breast, is an important medical problem for women. Such breast cancer is not only a major cause of increased mortality in women, but also a cause of disability, psychological shock and economic loss.
기존의 유방암 진단은 주로 단일 방향에서 유방을 X선 촬영하는 유방 조영술(mammography)에 의해 수행되었다. 그러나 유방 조영술은 이차원의 영상으로 획득되어 관심영역의 종양이 정상조직과 겹쳐서 촬영된다. 따라서 유방암 조기 진단의 중요한 요소인 미세 석회화의 검출에 많은 어려움이 있다는 한계가 있다.Conventional breast cancer diagnosis has been mainly performed by mammography in which the breast is x-rayed from a single direction. However, mammography is acquired as a two-dimensional image, and the tumor in the region of interest is superimposed on the normal tissue and photographed. Therefore, there is a limitation in that there are many difficulties in detecting microcalcification, which is an important factor in early breast cancer diagnosis.
이에 유방암을 조기에 발견할 수 있도록, 단일 방향에서 촬영하는 유방 조영술을 보완하여, 여러 각도에서 유방을 촬영하고 촬영된 단층 영상을 합성하여 진단 효과를 대폭 높인 디지털 유방 단층촬영합성(Digital Breast Tomosynthesis) 시스템이 개발되었다.In order to detect breast cancer early, Digital Breast Tomosynthesis, which significantly enhances the diagnosis effect by compensating mammography taken from a single direction, taking breasts from multiple angles and synthesizing the captured tomography images. The system was developed.
디지털 유방 단층촬영합성 영상은 삼차원으로 영상을 복원하므로 유방 조직의 중첩 영역이 줄어, 종양을 유방조직과 용이하게 구분하여 확인할 수 있으므로 종양의 검출능이 높다.Since the digital breast tomography composite image restores the image in three dimensions, the overlapping area of the breast tissue is reduced, and the tumor can be easily distinguished from and identified from the breast tissue, so the detection ability of the tumor is high.
그러나 디지털 유방 단층촬영합성 영상의 경우, 제한된 각도 범위에서 촬영되어 합성된다. 따라서 디지털 유방 단층촬영합성 영상은 합성 영상에 360도 전방향에서 회전하며 촬영한 후 촬영된 단층 영상을 합성하여 획득하는 유방 콘빔 단층촬영(Breast Cone-beam CT) 영상에 비해 각도 데이터 샘플링이 충분하게 수행되지 않는다. 이로 인해 일부 주파수 범위에서 데이터 누락이 발생하고, 누락된 데이터는 디지털 유방 단층촬영합성 영상 전체가 흐려지게 하는 번짐 현상(Blurring artifact, 아티팩트 확산 현상이라고도 함)을 발생시킨다. 디지털 유방 단층촬영합성 영상에 번짐 현상은, 디지털 유방 단층촬영합성 영상으로부터 병변을 정확하게 판별할 수 없게 하므로, 진단 정확성을 떨어뜨리는 요인이 된다. However, in the case of digital breast tomography composite images, they are captured and synthesized in a limited angle range. Therefore, the digital breast tomography composite image has sufficient angle data sampling compared to the breast cone-beam CT (Breast Cone-beam CT) image obtained by synthesizing the photographed tomography image after rotating 360 degrees to the composite image. Not performed. As a result, data omission occurs in some frequency ranges, and the missing data causes a blurring phenomenon (also called a blurring artifact) that blurs the entire digital breast tomography composite image. The bleeding phenomenon in a digital breast tomography composite image makes it impossible to accurately discriminate a lesion from a digital breast tomography composite image, and thus becomes a factor of deteriorating diagnosis accuracy.
그러나 유방 콘빔 단층촬영(Breast Cone-beam CT)은 피험자가 대량의 방사선에 노출되는 문제가 있다. 따라서 제한된 각도 범위에서 촬영되는 디지털 유방 단층촬영합성 영상의 번짐 현상을 효과적으로 제거하는 알고리즘이 요구되고 있다.However, breast cone-beam CT (Breast Cone-beam CT) has a problem in that the subject is exposed to a large amount of radiation. Therefore, there is a need for an algorithm that effectively removes the blurring phenomenon of a digital breast tomography composite image captured in a limited angle range.
본 발명의 목적은 제한된 각도 범위에서 촬영된 디지털 유방 단층촬영합성 영상의 번짐 현상을 효과적으로 저감할 수 있는 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide an apparatus and method for reconstructing a digital breast tomography composite image capable of effectively reducing the blurring phenomenon of a digital breast tomography composite image captured in a limited angle range.
본 발명의 다른 목적은 디지털 유방 단층촬영합성 영상의 품질을 향상 시켜, 유방암과 같은 병변을 용이하게 검출할 수 있도록 하는 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and method for reconstructing a digital breast tomography composite image to improve the quality of a digital breast tomography composite image so that lesions such as breast cancer can be easily detected.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치는 디지털 유방 단층촬영합성(Digital Breast Tomosynthesis: 이하 DBT) 영상을 인가받아 기설정된 크기의 다수의 패치 영상으로 분할하는 패치 분할부; 미리 학습된 패턴 추정 방식에 따라 상기 다수의 패치 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력하는 디블러링부; 상기 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하는 패치 결합부; 및 미리 학습된 패턴 추정 방식에 따라 상기 결합 DBT 영상에서 노이즈를 제거하여 재구성 DBT 영상을 출력하는 디노이징부; 를 포함한다.The apparatus for reconstructing a digital breast tomography synthesis image according to an embodiment of the present invention for achieving the above object receives a digital breast tomosynthesis (DBT) image and converts a plurality of patch images of preset sizes to A patch divider to divide; A deblurring unit for outputting a plurality of blur removal patch images by removing blurring from each of the plurality of patches according to a previously learned pattern estimation method; A patch combiner configured to combine the plurality of blur removal patch images to generate a combined DBT image; And a denoising unit outputting a reconstructed DBT image by removing noise from the combined DBT image according to a previously learned pattern estimation method. Includes.
여기서 디블러링부는 입력되는 영상의 특징을 추정하는 다수의 컨볼루션 모듈; 및 상기 다수의 컨볼루션 모듈 사이에 배치되어 이전 컨볼루션 모듈에서 출력되는 영상과 상기 다수의 컨볼루션 모듈 중 이전 기설정된 개수의 컨볼루션 모듈로 인가되는 입력 영상을 가산하여 다음 컨볼루션 모듈로 전달하는 다수의 가산기; 를 포함한다.Here, the deblurring unit includes a plurality of convolution modules for estimating characteristics of the input image; And an image that is disposed between the plurality of convolution modules to add an image output from a previous convolution module and an input image that is applied to a previously preset number of convolution modules among the plurality of convolution modules, and transmits it to the next convolution module. Multiple adders; Includes.
상기 다수의 컨볼루션 모듈 각각은 입력되는 영상을 기지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 다수의 컨볼루션 레이어; 를 포함할 수 있다.Each of the plurality of convolution modules includes a plurality of convolution layers for outputting an input image by performing a convolution operation with a weight filter having a predetermined weight; It may include.
상기 다수의 컨볼루션 모듈 각각은 상기 다수의 컨볼루션 레이어 사이에 배치되어 상기 다수의 컨볼루션 레이어의 출력을 기설정된 함수로 필터링하는 다수의 활성화 함수; 를 더 포함할 수 있다.A plurality of activation functions, each of the plurality of convolution modules, being disposed between the plurality of convolution layers to filter outputs of the plurality of convolution layers using a preset function; It may further include.
상기 다수의 활성화 함수는 ReLU((Rectified Linear Unit) 함수로 구현될 수 있다.The plurality of activation functions may be implemented as a ReLU (Rectified Linear Unit) function.
상기 다수의 가산기 각각은 상기 다수의 가산기 중 이전 기설정된 가산기의 출력을 숏컷 연결로 인가받아, 상기 다수의 컨볼루션 모듈 중 대응하는 컨볼루션 모듈의 출력과 가산하여 다음 컨볼루션 모듈의 입력으로 전달할 수 있다.Each of the plurality of adders receives the output of the previously set adder among the plurality of adders through a shortcut connection, adds the output of the corresponding convolution module among the plurality of convolution modules, and transfers it to the input of the next convolution module. have.
상기 디노이징부는 입력되는 영상의 특징을 추정하는 다수의 부가 컨볼루션 모듈; 및 상기 다수의 부가 컨볼루션 모듈 사이에 배치되어 이전 부가 컨볼루션 모듈에서 출력되는 영상과 상기 다수의 부가 컨볼루션 모듈 중 이전 기설정된 개수의 부가 컨볼루션 모듈로 인가되는 입력 영상을 가산하여 다음 부가 컨볼루션 모듈로 전달하는 다수의 가산기; 를 포함할 수 있다.The denoising unit includes a plurality of additional convolution modules for estimating characteristics of an input image; And an image disposed between the plurality of additional convolution modules and output from a previous additional convolution module and an input image applied to a previously preset number of additional convolution modules among the plurality of additional convolution modules to be added to the next additional convolution. A plurality of adders passed to the lution module; It may include.
상기 디노이징부는 기지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 다수의 컨볼루션 레이어를 포함하는 컨볼루션 신경망으로 구현될 수 있다.The denoising unit may be implemented as a convolutional neural network including a weight filter having a predetermined weight and a plurality of convolutional layers that perform convolution operations and output.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 방법은 디지털 유방 단층촬영합성(Digital Breast Tomosynthesis: 이하 DBT) 영상을 인가받아 기설정된 크기의 다수의 패치 영상으로 분할하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 다수의 패치 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력하는 단계; 상기 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 상기 결합 DBT 영상에서 노이즈를 제거하여 재구성 DBT 영상을 출력하는 단계; 를 포함한다.A method for reconstructing a digital breast tomography synthesis image according to another embodiment of the present invention for achieving the above object is to obtain a digital breast tomosynthesis (DBT) image to obtain a plurality of patch images having a preset size. Dividing; Outputting a plurality of blur removal patch images by removing blurring from each of the plurality of patches according to a previously learned pattern estimation method; Generating a combined DBT image by combining the plurality of blur removal patch images; And outputting a reconstructed DBT image by removing noise from the combined DBT image according to a previously learned pattern estimation method. Includes.
여기서 번짐 제거 패치 영상을 출력하는 단계는 각각 입력되는 입력 영상에 대해 다수의 컨볼루션 연산을 수행하여 특징을 추정하여 특징 영상을 출력하는 단계; 및 상기 특징 영상을 출력하는 단계에서 출력되는 특징 영상과 이전 특징 영상을 추정하기 위해 입력되는 다수의 입력 영상을 가산하여, 다음 특징 영상을 추정하기 위한 입력 영상으로서 전달하는 단계; 를 포함한다.The outputting of the smear-removing patch image may include performing a plurality of convolution operations on each input image to estimate a feature and output a feature image; And adding a feature image output in the step of outputting the feature image and a plurality of input images input to estimate a previous feature image, and transmitting the feature image as an input image for estimating a next feature image. Includes.
따라서, 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법은 인공 신경망 중 하나인 심층 잔여 네트워크를 수정한 수정 심층 잔여 네트워크를 이용하여, 디지털 유방 단층촬영합성 영상을 재구성함으로써, 번짐 현상의 로우 레벨 특징 및 하이 레벨 특징을 모두 효과적으로 제거할 수 있다. 특히 신속하게 번짐 현상을 저감할 수 있으며, 포아송 잡음에 취약하지 않고, 재구성된 디지털 유방 단층촬영합성 영상 내의 종양의 위치와 관계없이 종양의 검출능이 향상된다. 그러므로, 디지털 유방 단층촬영합성 영상을 제공할 수 있어, 유방암과 같은 병변을 조기에 정확하게 진단하고 치료할 수 있도록 한다.Accordingly, the apparatus and method for reconstructing a digital breast tomography composite image according to an embodiment of the present invention reconstruct a digital breast tomography composite image using a modified deep residual network modified from a deep residual network, which is one of artificial neural networks, Both low-level features and high-level features of bleeding can be effectively removed. In particular, it is possible to quickly reduce the spreading phenomenon, and is not susceptible to Poisson noise, and the detection ability of the tumor is improved regardless of the location of the tumor in the reconstructed digital breast tomography composite image. Therefore, it is possible to provide a digital breast tomography composite image, which enables early and accurate diagnosis and treatment of lesions such as breast cancer.
도1 은 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치의 개략적 구성을 나타낸다.
도2 는 도1 의 디지털 유방 단층촬영합성 영상의 재구성 장치의 상세 구성을 나타낸다.
도3 은 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 방법을 나타낸다.
도4 는 본 발명의 실시예에 따란 재구성된 DBT 영상의 성능을 설명하기 위한 도면이다.1 shows a schematic configuration of an apparatus for reconstructing a digital breast tomography composite image according to an embodiment of the present invention.
FIG. 2 shows a detailed configuration of an apparatus for reconstructing the digital breast tomography composite image of FIG. 1.
3 shows a method of reconstructing a digital breast tomography composite image according to an embodiment of the present invention.
4 is a diagram for explaining the performance of a reconstructed DBT image according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean units that process at least one function or operation, which is hardware, software, or hardware. And software.
디지털 유방 단층촬영합성(Digital Breast Tomosynthesis: 이하 DBT) 영상의 번짐 현상을 저감하기 위한 알고리즘은 기존에도 제안된 바 있다. 일예로 Total Variation regularization, Higher-order derivative-based models, curvelet-based sparse models와 같은 여러 방법이 제안되었다. 그러나 이러한 방법들은 번짐 제거에 오랜 시간을 소요할 뿐만 아니라, X-선 산란 인공음영과 빔 경화 인공음영 및 잡음이 심한 DBT 영상에 적용될 때 번짐 현상이 잘 저감되지 않는 한계가 있다.An algorithm for reducing the blurring of a Digital Breast Tomosynthesis (DBT) image has been previously proposed. As an example, several methods such as Total Variation regularization, Higher-order derivative-based models, and curvelet-based sparse models have been proposed. However, these methods not only take a long time to remove blur, but also have limitations in that blurring is not well reduced when applied to X-ray scattering artifacts, beam hardening artifacts, and DBT images with high noise.
또한 번짐 현상을 저감하기 위해 디콘볼루션 기반 방법들이 제안된 바 있으나, 디콘볼루션 기반 방법의 경우, 번짐 현상 저감 알고리즘을 수행하기 이전에 다른 영상 처리가 선행될 것을 요구하며 알고리즘 수행에 많은 계산 시간을 요구하는 단점이 있다.In addition, deconvolution-based methods have been proposed to reduce bleeding, but in the case of deconvolution-based methods, other image processing is required before performing the bleeding reduction algorithm and requires a lot of computation time to perform the algorithm. There is a downside to asking for it.
도1 은 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치의 개략적 구성을 나타낸다.1 shows a schematic configuration of an apparatus for reconstructing a digital breast tomography composite image according to an embodiment of the present invention.
도1 을 참조하면, 본 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치는 DBT 영상 획득부(100), 패치 분할부(200), 디블러링부(300), 패치 결합부(400) 및 디노이징부(500)를 포함한다.Referring to FIG. 1, the apparatus for reconstructing a digital breast tomography composite image according to the present embodiment includes a DBT
DBT 영상 획득부(100)는 번짐 현상이 제거되어야 하는 DBT 영상을 획득한다. DBT 영상 획득부(100)는 메모리 또는 통신 모듈 등으로 구현되어, DBT 영상이 미리 저장되거나, 외부의 장치로부터 DBT 영상을 획득할 수 있다. 그리고 획득된 DBT 영상을 패치 분할부(200)로 전달한다.The DBT
패치 분할부(200)는 DBT 영상 획득부(100)에서 전달되는 DBT 영상을 미리 지정된 크기의 다수의 패치(patch) 영상으로 분할한다.The
패치 분할부(200)가 DBT 영상을 다수의 패치 영상으로 분할하는 것은 패치 영상 단위로 번짐 현상을 제거할 수 있도록 하여, 디지털 유방 단층촬영합성 영상의 재구성 장치의 번짐 현상 제거 성능을 향상 시키고, 고속으로 번짐 현상을 제거할 수 있도록 하기 위해서이다.Splitting the DBT image into a plurality of patch images by the
특히 DBT 영상을 다수의 패치 영상으로 분할하는 경우, 인공 신경망으로 구현되는 디블러링부(300) 및 디노이징부(500)를 분할된 각 패치 영상 단위로 학습 시킬 수 있어, 적은 수의 학습용 DBT 영상으로도 용이하게 디블러링부(300) 및 디노이징부(500)를 학습시킬 수 있다는 장점이 있다.In particular, when the DBT image is divided into a plurality of patch images, the
일예로 패치 분할부(200)는 128 X 128 크기의 DBT 영상을 인가받아 64 X 64의 크기를 갖는 4개의 패치 영상으로 분할할 수 있다.For example, the
디블러링부(300)는 패치 분할부(200)로부터 다수의 패치 영상을 인가받고, 인가된 다수의 패치 영상을 미리 학습된 패턴 추정 기법에 따라 패턴 추정하여 번짐 현상을 제거한다.The
디블러링부(300)는 미리 학습된 인공 신경망(Artificial Neural Network: ANN) 모델에 따라 구현되어, 인가된 패치 영상 각각에서 패턴을 추정하여 선명해지도록 재구성함으로써 번짐 현상을 제거한다. 즉 디블러링부(300)는 다수의 패치 영상 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력한다.The
패치 결합부(400)는 디블러링부(300)에서 재구성되어 번짐 현상이 제거된 다수의 번짐 제거 패치 영상을 인가받아 결합한다. 패치 분할부(200)가 DBT 영상을 다수의 패치 영상을 분할한 것과 반대로, 패치 결합부(400)는 다수의 번짐 제거 패치 영상을 결합하여, 입력된 DBT 영상과 동일한 크기로 재구성한다. The
상기한 예에 따르면, 패치 결합부(400)는 64 X 64의 크기를 갖는 4개의 번짐 제거 패치 영상을 인가받아 128 X 128 크기의 결합 DBT 영상으로 재구성한다.According to the above example, the
이때 다수의 번짐 제거 패치 영상 각각이 디블러링부(300) 번짐 현상이 제거된 상태이므로, 패치 결합부(400)에서 결합된 결합 DBT 영상은 번짐 현상이 제거된 DBT 영상으로 볼 수 있다.At this time, since the blurring phenomenon of the
디노이징부(500)는 결합 DBT 영상에서 노이즈를 제거한다. 디노이징부(500)는 디블러링부(300)와 마찬가지로, 미리 학습된 인공 신경망(Artificial Neural Network: ANN) 모델에 따라 구현되어, 미리 학습된 패턴 추정 기법에 따라 패턴 추정하여 노이즈를 제거한다.The
결합 DBT 영상을 구성하는 다수의 번짐 제거 패치 영상은 디블러링부(300)에서 독립적으로 번짐 현상이 제거되도록 재구성된 패치이다. 따라서 DBT 영상에서 다수의 번짐 제거 패치 영상의 가장자리, 즉 인접한 재구성 패치와의 경계 영역에서는 체커보드 아티팩트(Checkerboard Artifact)가 발생된다. 또한 획득된 DBT 영상 또는 다수의 번짐 제거 패치 영상에도 다양한 노이즈가 포함될 수 있다.A plurality of blur removal patch images constituting the combined DBT image are patches reconstructed so that the blurring phenomenon is independently removed by the
이에 디노이징부(500)는 학습된 패턴 추정 기법에 따라 결합 DBT 영상에 포함된 각종 노이즈를 제거한다.Accordingly, the
이때 디블러링부(300)와 디노이징부(500)는 동일한 인공 신경망으로 구현될 수 있으나, 서로 다른 인공 신경망으로 구현될 수도 있다.In this case, the
디노이징부(500)에서 노이즈가 제거된 결합 DBT 영상은 디블러링부(300)에서 이미 패치 영상 단위로 번짐 현상이 제거된 상태이므로 번짐 현상이 제거된 DBT 영상이다.The combined DBT image from which noise has been removed by the
결과적으로 도1 에 도시된 디지털 유방 단층촬영합성 영상의 재구성 장치는 DBT 영상의 번짐 현상을 제거하여 품질이 향상된 DBT 영상을 출력할 수 있다.As a result, the apparatus for reconstructing the digital breast tomography synthesis image shown in FIG. 1 may output a DBT image with improved quality by removing blurring of the DBT image.
도2 는 도1 의 디지털 유방 단층촬영합성 영상의 재구성 장치의 상세 구성을 나타낸다.FIG. 2 shows a detailed configuration of an apparatus for reconstructing the digital breast tomography composite image of FIG. 1.
도1 을 참조하여 도2 의 구성을 설명하면, 패치 분할부(200)는 인가된 DBT 영상을 기지정된 크기를 갖는 다수의 패치 영상으로 분할하고, 분할된 다수의 패치 영상 각각을 디블러링부(300)로 전달한다.Referring to FIG. 1 and describing the configuration of FIG. 2, the
디블러링부(300)는 다수의 컨볼루션 모듈(CM1 ~ CMn)과 가산기(AD1 ~ ADn-1)를 포함한다. 다수의 컨볼루션 모듈(CM1 ~ CMn) 중 제1 컨볼루션 모듈(CM1)은 패치 분할부(200)에서 인가되는 패치 영상을 인가받아 컨볼루션 연산을 수행하며, 나머지 컨볼루션 모듈(CM2 ~ CMn)은 다수의 가산기(AD1 ~ ADn-1) 중 대응하는 가산기의 출력을 인가받아 컨볼루션 연산을 수행하여 출력한다.The
여기서 컨볼루션 모듈(CM1 ~ CMn) 각각은 다수의 컨볼루션 레이어(Conv)를 포함한다. 컨볼루션 모듈(CM1 ~ CMn)의 다수의 컨볼루션 레이어 중 제1 컨볼루션 레이어(Conv)는 패치 결합부(400)에서 인가되는 패치 영상 또는 대응하는 가산기의 출력을 인가받고, 기지정된 가중치 필터와 컨볼루션 연산하여 출력한다. 그리고 컨볼루션 모듈(CM1 ~ CMn)의 다수의 컨볼루션 레이어 중 나머지 컨볼루션 레이어(Conv) 각각은 동이한 컨볼루션 모듈(CM1 ~ CMn) 내에서 이전 컨볼루션 레이어(Conv)의 출력을 인가받고, 기지정된 가중치 필터와 컨볼루션 연산하여 출력한다.Here, each of the convolution modules CM1 to CMn includes a plurality of convolution layers Conv. Among the plurality of convolution layers of the convolution modules CM1 to CMn, the first convolution layer Conv receives the patch image applied from the
이때, 다수의 컨볼루션 레이어(Conv) 각각은 미리 수행된 학습에 의해 획득된 적어도 하나의 가중치을 갖는 가중치 필터가 지정될 수 있다. 여기서 다수의 컨볼루션 레이어(Conv) 각각에 대한 가중치 필터는 서로 다른 가중치을 가질 수 있다.In this case, a weight filter having at least one weight obtained by learning previously performed may be designated for each of the plurality of convolutional layers Conv. Here, the weight filters for each of the plurality of convolution layers (Conv) may have different weights.
한편, 컨볼루션 모듈(CM1 ~ CMn)은 다수의 컨볼루션 레이어(Conv) 사이에 활성화 함수(AF)를 더 포함할 수 있다. 활성화 함수(AF)는 이전 컨볼루션 레이어(Conv)에서 출력되는 컨볼루션 연산 결과를 미리 지정된 함수로 필터링하여 출력한다. 활성화 함수(AF)는 일예로 ReLU(Rectified Linear Unit) 함수로 구현될 수 있다.Meanwhile, the convolution modules CM1 to CMn may further include an activation function AF between the plurality of convolution layers Conv. The activation function AF filters the result of the convolution operation output from the previous convolution layer Conv using a predetermined function and outputs it. The activation function AF may be implemented as a ReLU (Rectified Linear Unit) function as an example.
도2 에서는 일예로 다수의 컨볼루션 모듈(CM1 ~ CMn)가 2개의 컨볼루션 레이어(Conv)와 하나의 활성화 함수(AF)를 포함하는 것으로 도시하였으나, 다수의 컨볼루션 모듈(CM1 ~ CMn)는 다수의 컨볼루션 레이어(Conv)와 다수의 활성화 함수(AF)를 포함하도록 구성될 수 있다. 이때 다수의 컨볼루션 모듈(CM1 ~ CMn) 각각에 포함되는 컨볼루션 레이어(Conv)와 활성화 함수(AF)의 개수는 동일하다.In FIG. 2, as an example, a plurality of convolution modules (CM1 to CMn) are shown to include two convolution layers (Conv) and one activation function (AF), but the plurality of convolution modules (CM1 to CMn) It may be configured to include a plurality of convolutional layers (Conv) and a plurality of activation functions (AF). At this time, the number of convolution layers Conv and activation functions AF included in each of the plurality of convolution modules CM1 to CMn is the same.
다수의 가산기(AD1 ~ AD-1)는 각각 다수의 컨볼루션 모듈(CM1 ~ CMn) 중 대응하는 컨볼루션 모듈(CM1 ~ CMn)의 출력과 이전 복수개의 가산기의 출력을 인가받아 가산한다. 다시 말해, 다수의 가산기(AD1 ~ AD-1) 각각은 대응하는 컨볼루션 모듈의 출력과 입력 및 이전 복수개의 컨볼루션 모듈의 입력을 인가받아 가산하여 출력한다. 일예로 i번째 가산기(ADi)는 대응하는 i번째 컨볼루션 모듈(CMi)의 출력과 i-1번째 및 i-2번째 가산기(ADi-1, ADi-2)의 출력(i번째 및 i-1번째 컨볼루션 모듈(CMi, CMi-1)의 입력)을 인가받아 가산한다. 그리고 가산 결과를 i+1번째 컨볼루션 모듈(CMi+1)과 i+1번째 및 i+2번째 가산기(ADi+1, ADi+2)로 출력한다.Each of the plurality of adders AD1 to AD-1 receives and adds the outputs of the corresponding convolution modules CM1 to CMn among the plurality of convolution modules CM1 to CMn and the outputs of the previous plurality of adders. In other words, each of the plurality of adders AD1 to AD-1 receives the outputs and inputs of the corresponding convolution module and inputs of the plurality of previous convolution modules, adds them, and outputs them. As an example, the i-th adder (ADi) is the output of the corresponding i-th convolution module (CMi) and the i-1th and i-2th adders (ADi-1, ADi-2) (i-th and i-1). The second convolution module (CMi, CMi-1) input) is applied and added. The result of the addition is output to the i+1 th convolution module CMi+1 and the i+1 th and i+2 th adders (ADi+1, ADi+2).
즉 다수의 가산기(AD1 ~ AD-1)는 다수의 숏컷 연결(Shortcut connection)을 이용하여 대응하는 컨볼루션 모듈의 출력과 이전 다수의 가산기의 출력을 인가받아 가산한다. 그리고 가산 결과는 이후 다른 가산기가 숏컷 연결을 통해 인가받도록 구성된다.That is, the plurality of adders AD1 to AD-1 receive and add the outputs of the corresponding convolution module and the previous plurality of adders by using a plurality of shortcut connections. And the addition result is configured so that another adder is then applied through the shortcut connection.
다수의 컨볼루션 레이어(Conv)를 컨볼루션 모듈(CM)로 그룹화하고, 각 컨볼루션 모듈(CM) 사이의 가산기(AD)가 숏컷 연결되는 인공 신경망 구조는 ResNet(Residual Network)로 제안된바 있다. 따라서 ResNet은 학습 시에 대응하는 컨볼루션 모듈(CMi) 이전의 인접한 컨볼루션 모듈(CMi-1)이 추출한 특성을 함께 고려하여 학습할 수 있으며, 이로 인해 신경망의 깊이가 매우 깊어진 경우에도, 패턴 추정 시에 왜곡을 발생하지 않으며, 우수한 성능을 나타낼 수 있다.An artificial neural network structure in which multiple convolution layers (Conv) are grouped into a convolution module (CM), and adders (AD) between each convolution module (CM) are connected as a shortcut has been proposed as ResNet (Residual Network). . Therefore, ResNet can be trained by considering the characteristics extracted by the adjacent convolution module (CMi-1) before the corresponding convolution module (CMi) at the time of training, and thus, pattern estimation even when the depth of the neural network is very deep. It does not generate distortion at the time and can exhibit excellent performance.
그러나 ResNet은 다수의 가산기 각각이 대응하는 컨볼루션 모듈의 출력 이외에 이전 하나의 가산기의 출력을 인가받도록 구성된다. 즉 하나의 숏컷 연결만을 구비한다. 그리고 하나의 컨볼루션 모듈(CMi)가 추출하는 특성은 제한된 수준의 로우 레벨 특성이다.However, ResNet is configured so that each of a plurality of adders receives the output of a previous adder in addition to the output of the corresponding convolution module. That is, it has only one shortcut connection. In addition, a characteristic extracted by one convolution module CMi is a low-level characteristic of a limited level.
그에 비해, 본 실시예에서는 가산기(AD1 ~ AD-1) 각각이 다수의 숏컷 연결을 이용하여 대응하는 컨볼루션 모듈(CMi) 및 이전의 다수의 가산기(ADi-1, ADi-2, …)의 출력을 인가받으므로, 하나의 컨볼루션 모듈(CMi)이 추출한 로우 레벨 특성뿐만 아니라, 연속하는 다수의 컨볼루션 모듈(CMi)이 추출한 하이 레벨 특성을 함께 고려하여 학습될 수 있다.In contrast, in the present embodiment, each of the adders AD1 to AD-1 uses a plurality of shortcut connections, and the corresponding convolution module CMi and a plurality of previous adders ADi-1, ADi-2, ... Since the output is applied, not only the low-level characteristics extracted by one convolution module CMi but also the high-level characteristics extracted by a plurality of consecutive convolution modules CMi may be considered and learned.
이는 DBT 영상과 같이 비교적 복잡한 영상에서 번짐 잡음을 효과적으로 제거할 수 있도록 한다. 즉 본 실시예에 따른 디블러링부(300)는 패턴의 로우 레벨 특성을 고려하여 패턴을 추정할 수 있는 ResNet을 수정하여 패턴의 로우 레벨 특성뿐만 아니라 하이 레벨 특성을 추정할 수 있도록 함으로써, 크게 향상된 성능으로 패턴을 추정하여 번짐 현상을 제거할 수 있다. 결과적으로 각 패턴의 번짐 현상 제거 성능을 크게 향상시킬 수 있다.This makes it possible to effectively remove blurring noise from relatively complex images such as DBT images. That is, the
다만 디블러링부(300)의 제1 가산기(AD1)는 이전 컨볼루션 모듈 및 가산기가 존재하지 않으므로, 대응하는 제1 컨볼루션 모듈(CM1)의 입력과 출력만을 결합하여 출력할 수 있다. 여기서 제1 컨볼루션 모듈(CM1)의 입력은 패치 분할부(200)에서 출력되는 패치 영상이다.However, since the first adder AD1 of the
패치 결합부(400)는 디블러링부(300)에서 번짐 현상이 제거된 다수의 번짐 제거패치 영상을 인가받아 누적하여 저장한다. 그리고 저장된 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하여 디노이징부(500)로 출력한다.The
디노이징부(500)는 디블러링부(300)와 유사하게 미리 학습된 인공 신경망으로 구현되어 결합 DBT 영상에서 노이즈를 제거할 수 있다. 도2 에서는 일예로 디노이징부(500)가 디블러링부(300)와 유사하게 다수의 컨볼루션 모듈(CVM1 ~ CVMn)과 다수의 가산기(ADD1 ~ ADDn)를 포함하고, 다수의 가산기(ADD1 ~ ADDn)는 다수의 숏컷 연결을 갖는 수정된 ResNet을 이용하는 것으로 도시하였다. 즉 디노이징부(500)는 디블러링부(300)와 동일한 구조의 인공 신경망으로 구현될 수 있다. 다만 디노이징부(500)는 패치 영상을 인가받는 디블러링부(300)와 달리 크기가 큰 결합 DBT 영상을 인가받으므로, 각 컨볼루션 레이어(Conv)의 크기가 증가되어야 한다. 디블러링부(300)와의 구분을 위해 디노이징부(500)의 컨볼루션 모듈(CVM1 ~ CVMn)을 부가 컨볼루션 모듈이라 하고, 부가 가산기(ADD1 ~ ADDn)를 가산기라 할 수 있다.The
도2 의 예시에서는 디노이징부(500)가 디블러링부(300)와 유사한 구조를 가지므로, 디노이징부(500)의 상세 구성에 대한 설명은 생략한다.In the example of FIG. 2, since the
그러나 디노이징부(500)는 결합 DBT 영상에서 노이즈를 제거하기 위한 구성이므로, 디블러링부(300)과 상이한 인공 신경망으로 구현될 수도 있다. 일예로 디노이징부(500)는 영상 인식, 음성 인식, 자연어 처리, 필기체 인식 등에 주로 이용되는 컨볼루션 신경망(Convolution Neural Network: CNN)으로 구현될 수 있다. 디노이징부(500)가 컨볼루션 신경망(CNN)으로 구현되는 경우, 디노이징부(500)는 컨볼루션 모듈(CM)로 구분되지 않는 다수의 컨볼루션 레이어(Conv)와 다수의 활성화 함수(AF)를 포함할 수 있다.However, since the
도3 은 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 방법을 나타낸다.3 shows a method of reconstructing a digital breast tomography composite image according to an embodiment of the present invention.
도1 및 도2 를 참조하여, 도3 의 디지털 유방 단층촬영합성 영상의 재구성 방법을 설명하면, 우선 DBT 영상 획득부(100)가 DBT 영상을 획득한다(S10). 그리고 패치 분할부(200)가 DBT 영상 획득부(100)에서 획득한 DBT 영상을 인가받아 지정된 크기의 다수의 패치 영상으로 분할한다(S20).Referring to FIGS. 1 and 2, a method of reconstructing the digital breast tomography composite image of FIG. 3 will be described. First, the DBT
디블러링부(300)는 패치 분할부(200)로부터 다수의 패치 영상을 인가받고, 인가된 다수의 패치 영상을 미리 학습된 패턴 추정 기법에 따라 패턴 추정하여 번짐 현상을 제거한다.The
이때 디블러링부(300)는 다수의 컨볼루션 모듈(CM1 ~ CMn)과 다수의 가산기(AD1 ~ ADn)를 포함하여 패턴을 추정하고, 추정된 패턴에 따라 각 패치 영상을 보정하여 번짐 현상을 제거한다. 다수의 컨볼루션 모듈(CM1 ~ CMn) 각각은 포함된 다수의 컨볼루션 레이어를 이용하여 입력 영상 패턴의 로우 레벨 특징을 추출한다. 그리고 가산기(AD1 ~ ADn)는 다수의 컨볼루션 모듈(CM1 ~ CMn) 중 이전 기설정된 개수의 컨볼루션 모듈에 의해 추출된 특징을 누적 결합한다. 즉 이전 다수의 컨볼루션 모듈 각각에서 추출되는 로우 레벨 특징을 누적 결합하여 다음 컨볼루션 모듈이 하이 레벨 특징이 반영된 입력 영상으로부터 패턴 특징을 추출하여 보정할 수 있도록 한다.At this time, the
그리고 번짐 현상이 제거된 다수의 번짐 제거 패치 영상은 패치 결합부(400)로 전달되고, 패치 결합부(400)는 전달된 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성한다(S40).In addition, the plurality of smear-removing patch images from which the smearing phenomenon has been removed are transmitted to the
디노이징부(500)는 결합 DBT 영상을 인가받아, 미리 학습된 패턴 추정 기법에 따라 패턴 추정하여 체커보드 아티팩트 등의 노이즈를 제거한다(S50).The
이때 디노이징부(500) 또한 디블러링부(300)와 유사하게 로우 레벨 및 하이 레벨 특징을 추출하여 보정할 수 있도록 디블러링부(300)와 동일하게 수정된 ResNet로 구성될 수 있다. 그러나 디노이징부(500)는 디블러링부(300)와 다르게 컨볼루션 신경망(CNN)등의 인공 신경망을 이용하여 구성될 수 있다.In this case, the
결과적으로 본 발명의 실시예에 따른 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법은 신속하게 번짐 현상을 저감할 수 있다. 그리고 포아송 잡음과 같은 다양한 잡음이 포함된 DBT 영상에서도 용이하게 패턴을 추정하여 번짐 현상을 제거할 수 있어, 재구성된 DBT 영상 내의 종양의 위치와 관계없이 종양의 검출능이 향상된다.As a result, the apparatus and method for reconstructing a digital breast tomography composite image according to an embodiment of the present invention can quickly reduce the spreading phenomenon. In addition, even in the DBT image containing various noises such as Poisson noise, the pattern can be easily estimated to remove the bleeding phenomenon, so that the tumor detection ability is improved regardless of the location of the tumor in the reconstructed DBT image.
표1 은 본 발명의 실시예에 따른 DBT 영상 재구성 장치 및 방법의 성능을 나타낸다.Table 1 shows the performance of a DBT image reconstruction apparatus and method according to an embodiment of the present invention.
표1 에서는 일반적인 DBT 영상과 본 실시예에 따른 DBT 영상의 구조적 유사 지수(SSIM: Structural SIMilarity Index), 최대 신호 대 잡음비(PSNR: Peak Signal-to-Noise Ratio) 및 평균제곱오차(MSE: mean square error)를 이용한 정량적인 평가를 통해 영상을 검증해보았다.Table 1 shows the structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), and mean square error (MSE) of the general DBT image and the DBT image according to this embodiment. error) was used to verify the image.
표1 에 나타난 바와 같이, 본 실시예에 따른 DBT 영상 재구성 장치 및 방법에 의해 재구성된 DBT 영상은 평균제곱오차(MSE)가 미소하게 증가하지만, 구조적 유사 지수(SSIM), 최대 신호 대 잡음비(PSNR)가 크게 향상되었음을 알 수 있다.As shown in Table 1, the DBT image reconstructed by the DBT image reconstruction apparatus and method according to the present embodiment slightly increases the mean square error (MSE), but the structural similarity index (SSIM), the maximum signal-to-noise ratio (PSNR) ) Has been greatly improved.
도4 는 본 발명의 실시예에 따란 재구성된 DBT 영상의 성능을 설명하기 위한 도면이다.4 is a diagram for explaining the performance of a reconstructed DBT image according to an embodiment of the present invention.
도4 에서 (a)는 DBT 영상에서 왼쪽에 병변이 존재하는 경우를 나타내고, (b)는 오른쪽에 병변이 존재하는 경우를 나타낸다. 그리고 (c)는 병변이 포함되지 않은 경우를 나타낸다.In FIG. 4 (a) shows a case where a lesion exists on the left side of the DBT image, and (b) shows a case where a lesion exists on the right side. And (c) shows the case where the lesion was not included.
그리고 (a) 내지 (c)에서 왼쪽 영상은 기준 영상이고, 가운데 영상은 일반적인 DBT 영상이며, 오른쪽 영상은 본 실시예에 따라 재구성된 DBT 영상을 나타낸다. 도4 에 나타난 바와 같이 가운데 일반적인 DBT 영상은 병변의 식별이 거의 불가능한 형태로 나타나지만, 오른쪽 영상에서는 병변의 식별이 가능함을 확인할 수 있다. 즉 종양과 같은 병변을 용이하게 진단할 수 있도록 한다.And in (a) to (c), the left image is a reference image, the middle image is a general DBT image, and the right image represents a DBT image reconstructed according to the present embodiment. As shown in FIG. 4, the general DBT image in the middle shows a form that makes it impossible to identify the lesion, but it can be seen that the lesion can be identified in the right image. That is, it makes it possible to easily diagnose lesions such as tumors.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Here, the computer-readable medium may be any available medium that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (Read Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
100: DBT 영상 획득부 200: 패치 분할부
300: 디블러링부 400: 패치 결합부
500: 디노이징부 CM: 컨볼루션 모듈
AD: 가산기 Conv: 컨볼루션 레이어
AF: 활성화 함수100: DBT image acquisition unit 200: patch division unit
300: deblurring part 400: patch coupling part
500: denoising unit CM: convolution module
AD: adder Conv: convolution layer
AF: activation function
Claims (13)
미리 학습된 패턴 추정 방식에 따라 상기 다수의 패치 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력하는 디블러링부;
상기 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하는 패치 결합부; 및
미리 학습된 패턴 추정 방식에 따라 상기 결합 DBT 영상에서 노이즈를 제거하여 재구성 DBT 영상을 출력하는 디노이징부; 를 포함하고,
상기 디블러링부는
입력되는 영상의 특징을 추정하는 다수의 컨볼루션 모듈; 및
상기 다수의 컨볼루션 모듈 사이에 배치되어 이전 컨볼루션 모듈에서 출력되는 영상과 상기 다수의 컨볼루션 모듈 중 이전 기설정된 개수의 컨볼루션 모듈로 인가되는 입력 영상을 가산하여 다음 컨볼루션 모듈로 전달하는 다수의 가산기; 를 포함하되,
상기 다수의 가산기 각각은
상기 다수의 가산기 중 이전 기설정된 가산기의 출력을 숏컷 연결로 인가받아, 상기 다수의 컨볼루션 모듈 중 대응하는 컨볼루션 모듈의 출력과 가산하여 다음 컨볼루션 모듈의 입력으로 전달하는 디지털 유방 단층촬영합성 영상의 재구성 장치.
A patch dividing unit that receives a Digital Breast Tomosynthesis (DBT) image and divides it into a plurality of patch images having a preset size;
A deblurring unit for outputting a plurality of blur removal patch images by removing blurring from each of the plurality of patches according to a previously learned pattern estimation method;
A patch combiner configured to combine the plurality of blur removal patch images to generate a combined DBT image; And
A denoising unit outputting a reconstructed DBT image by removing noise from the combined DBT image according to a pre-learned pattern estimation method; Including,
The deblurring unit
A plurality of convolution modules for estimating features of an input image; And
Multiple convolutional modules are disposed between the plurality of convolution modules to add the image output from the previous convolution module and the input image applied to the previously preset number of convolution modules among the plurality of convolution modules, and transmit the added image to the next convolution module. Adder of; Including,
Each of the plurality of adders is
A digital breast tomography synthesis image that receives the output of the previously set adder among the plurality of adders through a shortcut connection, adds it to the output of the corresponding convolution module among the plurality of convolution modules, and transfers it to the input of the next convolution module. Reconstruction device.
입력되는 영상을 기지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 다수의 컨볼루션 레이어; 를 포함하는 디지털 유방 단층촬영합성 영상의 재구성 장치.The method of claim 1, wherein each of the plurality of convolution modules
A plurality of convolutional layers for outputting an input image by performing a convolution operation with a weight filter having a predetermined weight; Digital breast tomography synthesis image reconstruction apparatus comprising a.
상기 다수의 컨볼루션 레이어 사이에 배치되어 상기 다수의 컨볼루션 레이어의 출력을 기설정된 함수로 필터링하는 다수의 활성화 함수; 를 더 포함하는 디지털 유방 단층촬영합성 영상의 재구성 장치.The method of claim 2, wherein each of the plurality of convolution modules
A plurality of activation functions disposed between the plurality of convolutional layers to filter outputs of the plurality of convolutional layers with a preset function; Digital breast tomography synthesis image reconstruction apparatus further comprising a.
ReLU((Rectified Linear Unit) 함수로 구현되는 디지털 유방 단층촬영합성 영상의 재구성 장치.The method of claim 3, wherein the plurality of activation functions are
Digital breast tomography synthesis image reconstruction device implemented with ReLU((Rectified Linear Unit) function.
입력되는 영상의 특징을 추정하는 다수의 부가 컨볼루션 모듈; 및
상기 다수의 부가 컨볼루션 모듈 사이에 배치되어 이전 부가 컨볼루션 모듈에서 출력되는 영상과 상기 다수의 부가 컨볼루션 모듈 중 이전 기설정된 개수의 부가 컨볼루션 모듈로 인가되는 입력 영상을 가산하여 다음 부가 컨볼루션 모듈로 전달하는 다수의 가산기; 를 포함하는 디지털 유방 단층촬영합성 영상의 재구성 장치.The method of claim 1, wherein the denoising unit
A plurality of additional convolution modules for estimating features of an input image; And
The next additional convolution by adding an image disposed between the plurality of additional convolution modules and output from a previous additional convolution module and an input image applied to a previously preset number of additional convolution modules among the plurality of additional convolution modules. A plurality of adders passing to the module; Digital breast tomography synthesis image reconstruction apparatus comprising a.
기지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 다수의 컨볼루션 레이어를 포함하는 컨볼루션 신경망으로 구현되는 디지털 유방 단층촬영합성 영상의 재구성 장치.The method of claim 1, wherein the denoising unit
A digital breast tomography synthesis image reconstruction apparatus implemented by a convolutional neural network including a weight filter having a predetermined weight and a plurality of convolutional layers that perform convolution operations and output.
미리 학습된 패턴 추정 방식에 따라 상기 다수의 패치 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력하는 단계;
상기 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하는 단계; 및
미리 학습된 패턴 추정 방식에 따라 상기 결합 DBT 영상에서 노이즈를 제거하여 재구성 DBT 영상을 출력하는 단계; 를 포함하고,
상기 번짐 제거 패치 영상을 출력하는 단계는
각각 입력되는 입력 영상에 대해 다수의 컨볼루션 연산을 수행하여 특징을 추정하여 특징 영상을 출력하는 단계; 및
상기 특징 영상을 출력하는 단계에서 출력되는 특징 영상과 이전 특징 영상을 추정하기 위해 입력되는 다수의 입력 영상을 가산하여, 다음 특징 영상을 추정하기 위한 입력 영상으로서 전달하는 단계; 를 포함하되,
상기 재구성 DBT 영상을 출력하는 단계는
각각 입력되는 입력 영상에 대해 다수의 컨볼루션 연산을 수행하여 특징을 추정하여 특징 영상을 출력하는 단계; 및
상기 특징 영상을 출력하는 단계에서 출력되는 특징 영상과 이전 특징 영상을 추정하기 위해 입력되는 다수의 입력 영상을 가산하여, 다음 특징 영상을 추정하기 위한 입력 영상으로서 전달하는 단계; 를 포함하는 디지털 유방 단층촬영합성 영상의 재구성 방법.
Receiving a Digital Breast Tomosynthesis (DBT) image and dividing it into a plurality of patch images having a preset size;
Outputting a plurality of blur removal patch images by removing blurring from each of the plurality of patches according to a previously learned pattern estimation method;
Generating a combined DBT image by combining the plurality of blur removal patch images; And
Outputting a reconstructed DBT image by removing noise from the combined DBT image according to a previously learned pattern estimation method; Including,
The step of outputting the blur removal patch image
Outputting a feature image by estimating a feature by performing a plurality of convolution operations on each input image; And
Adding a feature image output in the step of outputting the feature image and a plurality of input images input to estimate a previous feature image, and transmitting the feature image as an input image for estimating a next feature image; Including,
The step of outputting the reconstructed DBT image
Outputting a feature image by estimating a feature by performing a plurality of convolution operations on each input image; And
Adding a feature image output in the step of outputting the feature image and a plurality of input images input to estimate a previous feature image, and transmitting the feature image as an input image for estimating a next feature image; Digital breast tomography synthesis image reconstruction method comprising a.
상기 입력 영상을 기지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 단계; 를 포함하는 디지털 유방 단층촬영합성 영상의 재구성 방법.The method of claim 8, wherein outputting the feature image comprises:
Outputting the input image by performing a convolution operation with a weight filter having a predetermined weight; Digital breast tomography synthesis image reconstruction method comprising a.
상기 컨볼루션 연산되어 출력되는 특징 영상을 기설정된 활성화 함수로 필터링하여 출력하는 단계; 를 더 포함하는 디지털 유방 단층촬영합성 영상의 재구성 방법.The method of claim 9, wherein outputting the feature image comprises:
Filtering and outputting the feature image output by performing the convolution operation by using a preset activation function; Digital breast tomography synthesis image reconstruction method further comprising a.
ReLU((Rectified Linear Unit) 함수인 디지털 유방 단층촬영합성 영상의 재구성 방법.The method of claim 10, wherein the activation function is
A method of reconstructing digital breast tomography synthetic images that is a function of ReLU ((Rectified Linear Unit)).
미리 학습된 패턴 추정 방식에 따라 상기 다수의 패치 각각에서 번짐 현상을 제거하여 다수의 번짐 제거 패치 영상을 출력하는 단계;
상기 다수의 번짐 제거 패치 영상을 결합하여 결합 DBT 영상을 생성하는 단계; 및
미리 학습된 패턴 추정 방식에 따라 상기 결합 DBT 영상에서 노이즈를 제거하여 재구성 DBT 영상을 출력하는 단계; 를 포함하고,
상기 번짐 제거 패치 영상을 출력하는 단계는
각각 입력되는 입력 영상에 대해 다수의 컨볼루션 연산을 수행하여 특징을 추정하여 특징 영상을 출력하는 단계; 및
상기 특징 영상을 출력하는 단계에서 출력되는 특징 영상과 이전 특징 영상을 추정하기 위해 입력되는 다수의 입력 영상을 가산하여, 다음 특징 영상을 추정하기 위한 입력 영상으로서 전달하는 단계; 를 포함하되,
상기 재구성 DBT 영상을 출력하는 단계는
패턴 추정 방식이 학습된 컨볼루션 신경망(convolutional neural network: CNN) 기법을 이용하여, 상기 결합 DBT 영상을 인가받아 지정된 가중치를 갖는 가중치 필터와 컨볼루션 연산하여 출력하는 디지털 유방 단층촬영합성 영상의 재구성 방법.Receiving a Digital Breast Tomosynthesis (DBT) image and dividing it into a plurality of patch images having a preset size;
Outputting a plurality of blur removal patch images by removing blurring from each of the plurality of patches according to a previously learned pattern estimation method;
Generating a combined DBT image by combining the plurality of blur removal patch images; And
Outputting a reconstructed DBT image by removing noise from the combined DBT image according to a previously learned pattern estimation method; Including,
The step of outputting the blur removal patch image
Outputting a feature image by estimating a feature by performing a plurality of convolution operations on each input image; And
Adding a feature image output in the step of outputting the feature image and a plurality of input images input to estimate a previous feature image, and transmitting the feature image as an input image for estimating a next feature image; Including,
The step of outputting the reconstructed DBT image
A method of reconstructing a digital breast tomography composite image that receives the combined DBT image and performs a convolution operation with a weight filter having a specified weight using a convolutional neural network (CNN) technique in which a pattern estimation method is learned .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082151A KR102165915B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus and method for reconstructing digital breast tomosynthesis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082151A KR102165915B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus and method for reconstructing digital breast tomosynthesis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200008251A KR20200008251A (en) | 2020-01-28 |
| KR102165915B1 true KR102165915B1 (en) | 2020-10-14 |
Family
ID=69370234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180082151A KR102165915B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus and method for reconstructing digital breast tomosynthesis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102165915B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220135683A (en) | 2021-03-31 | 2022-10-07 | 연세대학교 산학협력단 | Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102396911B1 (en) | 2020-05-19 | 2022-05-11 | 가천대학교 산학협력단 | The method and system for automatic detection of breast mass |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101871098B1 (en) | 2017-01-12 | 2018-06-25 | 포항공과대학교 산학협력단 | Apparatus and method for image processing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362011B1 (en) * | 2007-08-02 | 2014-02-12 | 삼성전자주식회사 | Method for blur removing ringing-atifactless |
| WO2014119800A1 (en) * | 2013-01-30 | 2014-08-07 | 独立行政法人科学技術振興機構 | Image processing digital filter, image processing device, printing medium, recording medium, image processing method and program |
| KR101838626B1 (en) | 2014-11-18 | 2018-03-14 | 한국과학기술원 | Mammogram synthesizing device and method using digital breast tomosynthetic images |
-
2018
- 2018-07-16 KR KR1020180082151A patent/KR102165915B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101871098B1 (en) | 2017-01-12 | 2018-06-25 | 포항공과대학교 산학협력단 | Apparatus and method for image processing |
Non-Patent Citations (2)
| Title |
|---|
| 논문(Gang Wu 외 2명, Dose Reduction for Digital Breast Tomosynthesis by Patch-Based Denoising in Reconstruction)* |
| 논문(R. Vijay 외 1명, Image Deblurring Using Convolutional Neural Network)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220135683A (en) | 2021-03-31 | 2022-10-07 | 연세대학교 산학협력단 | Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200008251A (en) | 2020-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600568B (en) | A kind of low-dose CT image de-noising method and device | |
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| JP5422761B2 (en) | Data processing device | |
| US8842936B2 (en) | Method, apparatus, and program for aligning images | |
| KR100830263B1 (en) | Method, computer program product and apparatus for enhancing a computerized tomography image | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| KR102039472B1 (en) | Device and method for reconstructing computed tomography image | |
| JP2005522305A (en) | General-purpose filter-corrected backprojection reconstruction in digital tomosynthesis | |
| CN112396672B (en) | Sparse angle cone-beam CT image reconstruction method based on deep learning | |
| US11049230B2 (en) | Feature-based image processing using feature images extracted from different iterations | |
| KR101351583B1 (en) | Medical image imaging method, medical diagnostic apparatus thereof, and recording device thereof | |
| CN111110260B (en) | Image reconstruction method and device and terminal equipment | |
| KR102165915B1 (en) | Apparatus and method for reconstructing digital breast tomosynthesis | |
| JP2007209756A (en) | Noise reduction method in tomographic image data set | |
| US11967066B2 (en) | Method and apparatus for processing image | |
| KR102357350B1 (en) | Statistical image restoration for low-dose ct image using deep learning | |
| Garg et al. | Significance driven inverse distance weighted filter to restore impulsive noise corrupted x-ray image | |
| JP2021065707A (en) | Medical image processing device, learned model and medical image processing method | |
| CN112767273A (en) | Low-dose CT image restoration method and system applying feature decoupling | |
| CN115937345A (en) | Photoacoustic image reconstruction method and device based on deep learning | |
| WO2009004571A1 (en) | Method and apparatus for image reconstruction | |
| CN107886478B (en) | CT image reconstruction method and system, terminal and readable storage medium | |
| KR102160101B1 (en) | Apparatus and method for generating deblurring image based on multi-step residual network and apparatus for transforming deblurring image | |
| Yan et al. | Calcium removal from cardiac CT images using deep convolutional neural network | |
| JP5537266B2 (en) | Energy subtraction processing apparatus and method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |