KR102268758B1 - X-ray Image Processing Method and Computer Readable Storage Medium - Google Patents
X-ray Image Processing Method and Computer Readable Storage Medium Download PDFInfo
- Publication number
- KR102268758B1 KR102268758B1 KR1020190079949A KR20190079949A KR102268758B1 KR 102268758 B1 KR102268758 B1 KR 102268758B1 KR 1020190079949 A KR1020190079949 A KR 1020190079949A KR 20190079949 A KR20190079949 A KR 20190079949A KR 102268758 B1 KR102268758 B1 KR 102268758B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- grid
- ray
- images
- input image
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000003860 storage Methods 0.000 title claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 20
- 230000001629 suppression Effects 0.000 claims abstract description 14
- 239000002131 composite material Substances 0.000 claims abstract description 3
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명의 일 실시예에 따른 X-선 영상 처리 방법은, 그리드 라인 억제가 필요한 입력영상과 그리드 라인 억제된 결과영상을 이용하여 인공지능 모델을 학습시키는 단계; 및 학습된 상기 인공지능 모델 기반으로 입력영상에서 그리드 라인 및 모아레 현상을 제거하는 단계를 포함하며, X-선 그리드를 사용하지 않고 획득한 복수의 영상에 상기 X-선 그리드의 그리드 라인과 유사한 주기성을 가지는 복수의 선들을 합성하여 생성한 복수의 합성 영상 및 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 복수의 영상 중 적어도 하나를 상기 입력영상으로 사용하고, 상기 입력영상에서 주파수 기반 그리드 라인 억제(Frequency-based Grid-line-suppression)에 의해 그리드 라인 및 모아레 현상을 제거한 복수의 영상, 상기 X-선 디텍터에 최적화된 X-선 그리드를 사용하여 획득한 복수의 영상 및 상기 X-선 그리드를 사용하지 않고 획득한 복수의 영상 중 적어도 하나를 상기 결과영상으로 사용하는 것을 특징으로 한다.An X-ray image processing method according to an embodiment of the present invention includes: learning an artificial intelligence model using an input image requiring grid line suppression and a grid line suppressed result image; and removing grid lines and moiré phenomena from the input image based on the learned artificial intelligence model, wherein periodicity similar to the grid lines of the X-ray grid in a plurality of images acquired without using the X-ray grid At least one of a plurality of composite images generated by synthesizing a plurality of lines having A plurality of images obtained by removing grid lines and moiré by frequency-based grid-line suppression, a plurality of images obtained using an X-ray grid optimized for the X-ray detector, and the It is characterized in that at least one of a plurality of images obtained without using an X-ray grid is used as the result image.
Description
본 출원은 X-선 영상 처리 방법 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.The present application relates to an X-ray image processing method and a computer-readable storage medium.
X-선 그리드(X-ray Grid)는 X-선이 피사체에 조사될 때 발생할 수 있는 산란선이 X-선 디텍터(X-ray detector)로 유입되지 않도록 하면서 1차 X-선(primary X-ray)은 X-선 디텍터에 유입될 수 있도록 하는 얇은 판 형태의 필터를 말한다.The X-ray grid prevents scattering rays that can be generated when X-rays are irradiated to the subject from entering the X-ray detector while preventing primary X-rays from entering. ray) refers to a filter in the form of a thin plate that allows it to enter the X-ray detector.
디텍터 최적화(Detector optimization)는 임의의 X-선 디텍터에 대하여 최적의 그리드 사양 및 선밀도(Line pair/cm 또는 Line pair/inch)를 선정하는 작업을 말한다. 예를 들어 임의의 X-선 디텍터를 이용하여 임의의 그리드를 촬영하였을 때, 영상에서 그리드 라인이 보이지 않고 영상을 확대 또는 축소한 경우 영상이 움직이는 것처럼 보이는 맥놀이 현상이 발생하지 않는다면, 이 그리드가 해당 X-선 디텍터에 최적의 사양이 된다.Detector optimization refers to an operation of selecting an optimal grid specification and line density (Line pair/cm or Line pair/inch) for an arbitrary X-ray detector. For example, when an arbitrary grid is photographed using an arbitrary X-ray detector, grid lines are not seen in the image and if the image is enlarged or reduced, if there is no beat phenomenon that the image appears to be moving, this grid is It is an optimal specification for an X-ray detector.
그러나, 일반적으로 X-선 디텍터의 제조시에 X-선 그리드의 사양을 먼저 고려하여 개발하는 것이 아니라, 우선 X-선 디텍터를 제조한 후 최적의 그리드 사양을 선정하기 위해 그리드 제조사에 문의하는 과정으로 진행되므로, 다양한 종류의 X-선 디텍터에 대응하여 디텍터 최적화를 수행하는 것에는 한계가 있다.However, in general, when the X-ray detector is manufactured, it is not developed by considering the specifications of the X-ray grid first, but the process of inquiring with the grid manufacturer to select the optimal grid specification after manufacturing the X-ray detector first. Therefore, there is a limit to performing detector optimization in response to various types of X-ray detectors.
이의 대안으로, 선밀도가 X-선 디텍터의 픽셀밀도보다 매우 높은 High-line 그리드를 제조하는 방안을 고려할 수 있다. 하지만, 선밀도가 상당히 높은 고밀도 그리드를 제조하기 위해서는 많은 비용이 들고, 선밀도가 높아짐에 따라 산란선 차폐 물질의 두께도 얇아지게 되어 산란선을 차단시키는 성능의 감소를 초래할 수 있다.As an alternative to this, a method of manufacturing a high-line grid having a linear density much higher than the pixel density of the X-ray detector may be considered. However, it is costly to manufacture a high-density grid with a fairly high linear density, and as the linear density increases, the thickness of the scattering ray shielding material becomes thin, which may lead to a decrease in the scattering ray blocking performance.
한편, 그리드 라인 억제(Grid-line-suppression) 알고리즘을 이용하여 X-선 디텍터에 최적화된 그리드를 사용하지 않고도 X-선 영상에서 관찰되는 그리드 라인 및 모아레(moire artifact)를 제거하는 기술이 현업에 사용되고 있다. 여기서, 모아레 현상은 디텍터 최적화를 하지 않은 그리드를 사용한 디지털 X-선 영상에서 영상의 확대 또는 축소시에 맥놀이 현상이 일어나 피사체를 왜곡시켜 보이도록 하는 결함을 말한다.On the other hand, a technique for removing grid lines and moire artifacts observed in X-ray images without using a grid optimized for an X-ray detector using a grid-line-suppression algorithm is currently available. is being used Here, the moiré phenomenon refers to a defect in which a beating phenomenon occurs when an image is enlarged or reduced in a digital X-ray image using a grid that has not been optimized with a detector to make a subject appear distorted.
종래의 그리드 라인 억제 기술은 그리드 라인이 주기성을 갖는 점에 착안하여 영상을 주파수 도메인으로 변환한 후 주파수 차원에서 모아레 주파수를 계산하여 처리하는 방식으로 개발되었다.The conventional grid line suppression technology has been developed in a way that an image is converted into a frequency domain by paying attention to the fact that a grid line has periodicity, and then the moiré frequency is calculated and processed in the frequency dimension.
이론적으로 계산되는 모아레 주파수는 하나의 값이지만, 실제 주파수 도메인에서는 두 개 이상의 모아레 주파수가 관찰될 수도 있으며, 이 경우 각 신호의 주파수 대역과 신호 강도는 X-선 디텍터와 그리드의 사양에 따라 다양하게 나타난다. 따라서, 각각의 사양에 최적화하여 그리드 라인 억제 기술을 구현하는데 한계가 있다.Although the theoretically calculated moiré frequency is one value, two or more moiré frequencies may be observed in the actual frequency domain. In this case, the frequency band and signal strength of each signal vary depending on the specifications of the X-ray detector and grid. appear. Therefore, there is a limit in implementing the grid line suppression technology by optimizing for each specification.
뿐만 아니라, 영상을 주파수 도메인으로 변환할 경우 일반적으로 저주파 대역에 진단 대상 피사체가, 고주파 대역에 그리드 라인과 같이 높은 주기성을 가지는 물체가 표현되는데, 경우에 따라 모아레 주파수가 저주파 대역에 나타나는 경우가 있으며, 이를 잘못 제거할 경우 피사체에 영상처리 흔적이 반영되어 영상 손실 및 왜곡이 발생할 수 있다.In addition, when an image is converted into a frequency domain, a diagnostic subject is usually expressed in a low frequency band and an object with high periodicity such as a grid line is expressed in a high frequency band. In some cases, the moiré frequency appears in the low frequency band. , if it is removed incorrectly, image processing traces are reflected on the subject, resulting in image loss and distortion.
따라서, 당해 기술분야에서는 기존의 디텍터 최적화의 한계 및 기존의 그리드 라인 억제의 한계를 극복하여 보다 개선된 품질의 X-선 영상을 획득하기 위한 방안이 요구되고 있다.Therefore, in the art, there is a need for a method for acquiring an X-ray image of improved quality by overcoming the limitations of the existing detector optimization and the existing grid line suppression.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 X-선 영상 처리 방법을 제공한다.In order to solve the above problems, an embodiment of the present invention provides an X-ray image processing method.
상기 X-선 영상 처리 방법은, 그리드 라인 억제가 필요한 입력영상과 그리드 라인 억제된 결과영상을 이용하여 인공지능 모델을 학습시키는 단계; 및 학습된 상기 인공지능 모델 기반으로 입력영상에서 그리드 라인 및 모아레 현상을 제거하는 단계를 포함하며, X-선 그리드를 사용하지 않고 획득한 복수의 영상에 상기 X-선 그리드의 그리드 라인과 유사한 주기성을 가지는 복수의 선들을 합성하여 생성한 복수의 합성 영상 및 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 복수의 영상 중 적어도 하나를 상기 입력영상으로 사용하고, 상기 입력영상에서 주파수 기반 그리드 라인 억제(Frequency-based Grid-line-suppression)에 의해 그리드 라인 및 모아레 현상을 제거한 복수의 영상, 상기 X-선 디텍터에 최적화된 X-선 그리드를 사용하여 획득한 복수의 영상 및 상기 X-선 그리드를 사용하지 않고 획득한 복수의 영상 중 적어도 하나를 상기 결과영상으로 사용하는 것을 특징으로 한다.The X-ray image processing method includes: learning an artificial intelligence model using an input image requiring grid line suppression and a grid line suppressed result image; and removing grid lines and moiré phenomena from the input image based on the learned artificial intelligence model, wherein periodicity similar to the grid lines of the X-ray grid in a plurality of images acquired without using the X-ray grid At least one of a plurality of composite images generated by synthesizing a plurality of lines having A plurality of images obtained by removing grid lines and moiré by frequency-based grid-line suppression, a plurality of images obtained using an X-ray grid optimized for the X-ray detector, and the It is characterized in that at least one of a plurality of images obtained without using an X-ray grid is used as the result image.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.Incidentally, the means for solving the above problems do not enumerate all the features of the present invention. Various features of the present invention and its advantages and effects may be understood in more detail with reference to the following specific embodiments.
본 발명의 일 실시예에 따르면, 상술한 바와 같은 기존의 디텍터 최적화의 한계 및 기존의 그리드 라인 억제의 한계를 극복하여 보다 개선된 품질의 X-선 영상을 획득할 수 있다.According to an embodiment of the present invention, it is possible to obtain an X-ray image of improved quality by overcoming the limitations of the conventional detector optimization and the existing grid line suppression as described above.
도 1은 본 발명의 일 실시예에 따른 X-선 영상 처리 방법의 흐름을 도시하는 도면이다.
도 2는 X-선 그리드를 X-선 디텍터로 실제 촬영한 영상과 실제 촬영한 영상에서 나타나는 줄무늬 패턴을 모방하여 인위적으로 선을 삽입하여 생성한 영상의 예를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 DCT 알고리즘을 적용한 경우의 그리드 라인 억제 과정을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 학습 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 학습에 적용한 U-Net의 구성 및 처리 과정을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 영상 처리 대상이 되는 X-선 그리드를 촬영한 영상과 본 발명의 일 실시예에 따라 영상 처리된 결과영상의 예를 도시하는 도면이다.1 is a diagram illustrating a flow of an X-ray image processing method according to an embodiment of the present invention.
2 is a view showing an example of an image generated by artificially inserting a line by imitating a stripe pattern appearing in an image actually photographed by an X-ray detector using an X-ray grid and an image actually photographed.
3 is a diagram illustrating a grid line suppression process when a DCT algorithm is applied according to an embodiment of the present invention.
4 is a diagram for explaining a method of generating learning data according to an embodiment of the present invention.
5 is a diagram illustrating the configuration and processing of U-Net applied to learning according to an embodiment of the present invention.
6 is a diagram illustrating an example of an image obtained by photographing an X-ray grid to be image processed according to an embodiment of the present invention and a result image processed according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
본 발명에서는 그리드 라인 억제가 필요한 입력영상과 그리드 라인 억제된 결과영상을 이용하여 인공지능 모델을 학습시키고, 학습된 인공지능 모델 기반으로 입력영상에서 그리드 라인 및 모아레 현상을 제거하는 방법을 제안한다.In the present invention, an artificial intelligence model is trained using an input image requiring grid line suppression and a grid line suppressed result image, and a method of removing grid lines and moiré from an input image based on the learned artificial intelligence model is proposed.
이 경우, 인공지능 모델을 학습시키기 위해 충분한 학습 데이터를 필요로 한다. 또한, 다양한 X-선 디텍터와 그리드의 사양, 그리고 다양한 피사체의 특성에 대하여 일반화된 성능을 지원하기 위해서는 실제 X-선 영상에서 나타날 수 있는 형태를 모두 망라할 수 있는 학습 데이터가 필요하다. 그러나, 실제 환경에서 다량의 그리드 라인 영상과 이에 대한 이상적인 출력영상을 확보하는 것은 어려움이 있다.In this case, sufficient training data is required to train the AI model. In addition, in order to support generalized performance for various X-ray detector and grid specifications, and various object characteristics, learning data that can cover all shapes that can appear in an actual X-ray image is required. However, it is difficult to secure a large amount of grid line images and an ideal output image for them in a real environment.
또한, 진단용 디지털 X-선 영상은 통상적으로 512 x 512 이하의 픽셀로 구성된 CT나 MRI 영상과는 달리, 3000 x 3000 내지 4000 x 4000 이상의 픽셀로 구성된 고용량 영상이다. 따라서, 일반적인 인공지능 학습 방식에 따라 학습을 시도할 경우 메모리 부족의 문제로 학습이 불가능할 수 있다.In addition, the digital X-ray image for diagnosis is a high-capacity image composed of 3000 x 3000 to 4000 x 4000 or more pixels, unlike CT or MRI images, which are typically composed of 512 x 512 or less pixels. Therefore, when learning is attempted according to a general AI learning method, learning may not be possible due to a problem of memory shortage.
한편, 컴퓨터 비전 분야에서 주로 사용되는 인공지능 모델인 CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등은 축소(contracting) 과정만으로 구성된다. 이러한 인공지능 모델은 네트워크를 거칠수록 입력영상의 정보손실이 발생하기 때문에, 영상분류 및 진단분야와는 달리 영상처리 분야의 적용에는 한계가 있다.Meanwhile, CNN (Convolutional Neural Network) and SVM (Support Vector Machine), which are artificial intelligence models mainly used in the field of computer vision, consist only of a contracting process. Since this artificial intelligence model causes information loss of input images as it goes through the network, there is a limit to the application of image processing fields, unlike image classification and diagnosis fields.
이하, 도 1 내지 도 6을 참조하여, 상술한 바와 같은 한계를 극복할 수 있는 본 발명의 실시예에 대해 구체적으로 설명한다.Hereinafter, with reference to FIGS. 1 to 6, an embodiment of the present invention that can overcome the above-described limitations will be described in detail.
도 1은 본 발명의 일 실시예에 따른 X-선 영상 처리 방법의 흐름을 도시하는 도면이다.1 is a diagram illustrating a flow of an X-ray image processing method according to an embodiment of the present invention.
도 1을 참조하면, X-선 그리드를 사용하지 않고 획득한 복수의 영상(Non-grid image)(101)에 X-선 그리드의 그리드 라인과 유사한 주기성을 가지는 복수의 선들을 합성(Grid-line synthesis)(102)하여 생성한 복수의 합성 영상(Synthesis image)(103) 및 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 복수의 영상(Grid image)(104) 중 적어도 하나를 인공지능 모델의 학습을 위한 입력영상(108)으로 사용할 수 있다.Referring to FIG. 1 , a plurality of lines having a periodicity similar to that of a grid line of an X-ray grid are synthesized in a plurality of
여기서, 영상의 합성(102)은 실제 영상에서 나타날 수 있는 그리드 라인의 속성, 예를 들어 그리드 라인의 폭, 픽셀값, 간격 및 기울기에 대하여 가능한 모든 조합을 생성하도록 기 설정된 소프트웨어에 의해 수행될 수 있다.Here, the
예를 들어, 그리드 라인의 각 속성은 하기와 같이 결정될 수 있다.For example, each property of the grid line may be determined as follows.
그리드 라인의 폭: 실제 영상에서 나타날 수 있는 형태를 고려하여, 대략 1~3개 범위 내에서 결정Width of grid line: Determined within approximately 1~3 range considering the shape that can appear in the actual image
그리드 라인의 픽셀값: 원 영상과 주파수 분석 기반의 방법을 적용한 결과로부터 평균 변화값을 산출하고, 해당 영상에서 나타나는 최대 픽셀값을 일관되게 적용Pixel value of grid line: Calculate the average change value from the result of applying the method based on the original image and frequency analysis, and apply the maximum pixel value that appears in the image consistently
그리드 라인의 간격: 그리드 라인의 밀도, 영상의 해상도 및 그리드 라인의 폭을 고려하여 다음과 같이 결정, 여기서, a는 X-선 영상에서 관찰되는 그리드 라인의 간격, b는 실제 제품 상에서의 그리드 라인의 밀도, W는 X-선 영상에서 그리드 라인에 대한 직교 방향의 해상도, t는 X-선 영상에서 그리드 라인의 두께를 나타냄Grid line spacing: Determined as follows by considering the grid line density, image resolution, and grid line width, where a is the grid line spacing observed in the X-ray image, and b is the grid line on the actual product Density, W is the resolution in the orthogonal direction to the grid line in the X-ray image, and t is the thickness of the grid line in the X-ray image
그리드 라인의 기울기: 완전한 수평(또는 수직) 방향부터 실제 그리드에서 관찰되는 최대 기울기까지 고려Slope of Grid Lines: From the perfectly horizontal (or vertical) direction to the maximum slope observed in the actual grid
도 2의 (a)는 X-선 그리드를 X-선 디텍터로 실제 촬영한 영상이고, (b) 및 (c)는 실제 촬영한 영상에서 나타나는 줄무늬 패턴을 모방하여 인위적으로 선을 삽입하여 생성한 영상의 예이다.(a) of FIG. 2 is an image actually taken of the X-ray grid with an X-ray detector, and (b) and (c) are generated by artificially inserting lines by imitation of the stripe pattern appearing in the actually photographed image. This is an example of a video.
한편, 상술한 입력영상(103, 104)에서 주파수 기반 그리드 라인 억제(Frequency-based Grid-line-suppression)(105)에 의해 그리드 라인 및 모아레 현상을 제거한 복수의 영상(Grid-line-suppression image)(106), X-선 디텍터에 최적화된 X-선 그리드를 사용하여 획득한 복수의 영상(Optimized Grid image)(107) 및 X-선 그리드를 사용하지 않고 획득한 복수의 영상(101) 중 적어도 하나를 인공지능 모델의 학습을 위한 결과영상(110)으로 사용할 수 있다.On the other hand, a plurality of images (Grid-line-suppression image) in which the grid line and moiré phenomenon are removed by the frequency-based grid-line-
여기서, 주파수 기반 그리드 라인 억제는 입력영상(103, 104)에서 상용의 그리드 라인 억제 알고리즘을 이용하여 그리드 라인 등을 제거하는 것을 의미한다. 예를 들어, 주파수 특성의 분석은 DFT(Discrete Fourier transform), FFT(Fast-FT), DCT(Discrete Cosine Transform) 등에 의해 수행할 수 있다. 도 3에서는 DCT 알고리즘을 적용한 경우를 예를 들어 도시하였으나, 본 발명이 반드시 이로 제한되는 것은 아니다.Here, frequency-based grid line suppression means removing grid lines from the
도 3은 본 발명의 일 실시예에 따라 DCT 알고리즘을 적용한 경우의 그리드 라인 억제 과정을 도시하는 도면이다.3 is a diagram illustrating a grid line suppression process when a DCT algorithm is applied according to an embodiment of the present invention.
도 3을 참조하면, 그리드 라인이 포함된 X-선 영상(31)은 기 정해진 크기(예를 들어, 256 x 256 크기 등)로 분할된 후(image segmentation)(32), DCT(discrete cosine transform)에 따른 주파수 분석을 거치게 된다(33). 여기서, 입력된 원본 X-선 영상(31)의 크기가 기 정해진 크기 보다 작은 영상(예를 들어 CT 영상, X-선 영상의 crop 영상 등)인 경우 분할 과정 없이 바로 DCT가 수행될 수 있다.Referring to FIG. 3 , an
이후, 그리드 라인의 주파수 대역을 검출하고(parameter estimation)(34), 검출된 주파수 대역에 주파수 제거 필터를 적용할 수 있다(band stop filter)(35).Thereafter, a frequency band of the grid line may be detected (parameter estimation) (34), and a frequency removal filter may be applied to the detected frequency band (band stop filter) (35).
이후, 역 DCT(inverse DCT)를 거친 후(36), 분할된 단위 영역의 경계에서 나타나는 영상 왜곡을 제거할 수 있다(blocking effect reduction)(37).Thereafter, after inverse DCT (36), image distortion appearing at the boundary of the divided unit region may be removed (blocking effect reduction) (37).
상술한 바와 같은 과정을 거쳐 그리드 라인이 억제된 영상(Grid line suppressed image)을 획득할 수 있다(38).Through the process as described above, a grid line suppressed image may be obtained ( 38 ).
상술한 바와 같은 입력영상(108) 및 결과영상(110)은 도 4를 참조하여 후술하는 바에 따라 블록 단위로 분할된 후(image blocks)(109) 인공지능 모델의 학습 데이터로 사용될 수 있다.The input image 108 and the
도 4는 본 발명의 일 실시예에 따라 학습 데이터를 생성하는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method of generating learning data according to an embodiment of the present invention.
도 4를 참조하면, 입력영상과 결과영상은 기 설정된 길이(d)의 정방형 블록으로 분할될 수 있다. 임의의 분할영상 Pij는 Oij를 원점으로 하는 폭과 높이가 d인 분할영상이고, 영상의 원점 Oij는 다음의 수식에 따라 결정될 수 있다.Referring to FIG. 4 , an input image and a result image may be divided into square blocks having a preset length d. An arbitrary segmented image P ij is a segmented image whose width and height are d with O ij as the origin, and the origin O ij of the image may be determined according to the following equation.
여기서, c는 영상의 가장자리에 해당하는 일정량의 여백을 의미하며 d/2 보다 작은 정수값이다.Here, c denotes a certain amount of blank space corresponding to the edge of the image and is an integer value smaller than d/2.
또한, k는 샘플링 주기로서, 1에서 W/d 범위의 정수값으로 결정할 수 있다.Also, k is a sampling period and may be determined as an integer value ranging from 1 to W/d.
또한, i, j값은 각각 0에서 최대 (W/d-1)과 (H/d-1)의 값을 가질 수 있다.Also, the values of i and j may have a maximum value of 0 to (W/d-1) and (H/d-1), respectively.
따라서, 하나의 입력영상 또는 결과영상에 대하여 총 ((W-d)/k )((H-d)/k)개의 분할영상을 생성할 수 있다.Accordingly, it is possible to generate a total of ((W-d)/k )((H-d)/k) divided images for one input image or a result image.
예를 들어, 2540 x 3052 크기의 영상에 대하여 d를 128, k를 8로 지정하는 경우, 한 개의 원본영상으로부터 약 1만개 이상의 분할영상을 생성하여 학습 데이터로 사용할 수 있다.For example, when d is 128 and k is 8 for an image having a size of 2540 x 3052, about 10,000 or more divided images can be generated from one original image and used as training data.
본 발명의 실시예에 따른 영상처리 방법은 그리드 라인을 제거하기 위한 것이고, 그리드 라인은 영상 전체에 일정한 패턴으로 분포하기 때문에 영상의 어느 부분을 추출하더라도 주파수 분석이 가능하다. 다시 말해, 입력영상에서 그리드 라인의 특성을 파악할 때 영상의 전체가 필요 없으므로, 상술한 바와 같이 영상을 분할하여 학습 데이터로 사용할 수 있다.The image processing method according to an embodiment of the present invention is for removing grid lines, and since grid lines are distributed in a uniform pattern over the entire image, frequency analysis is possible no matter which part of the image is extracted. In other words, since the entire image is not required to determine the characteristics of grid lines in the input image, the image can be divided and used as training data as described above.
또한, 영상의 각 부분별로 촬영되는 피사체가 상이하므로, 배경이 서로 상이한 학습 데이터가 될 수 있다.Also, since the subject photographed for each part of the image is different, the background may be different learning data.
상술한 바와 같이 일정 비율의 중첩 영역을 둔 형태의 블록 단위로 분할한 분할영상들을 학습 데이터로 이용하여 인공지능 모델을 학습시킬 수 있다(111). 일 실시예에 따르면, 인공지능 모델로서 U-Net 모델을 사용할 수 있다.As described above, the artificial intelligence model can be trained by using the divided images divided into blocks having a predetermined ratio of overlapping regions as training data ( 111 ). According to an embodiment, the U-Net model may be used as the artificial intelligence model.
도 5는 본 발명의 일 실시예에 따라 학습에 적용한 U-Net의 구성 및 처리 과정을 도시하는 도면이다.5 is a diagram illustrating the configuration and processing of U-Net applied to learning according to an embodiment of the present invention.
도 5를 참조하면, U-Net 모델은 CNN(Convolutional Neural Network)의 변형으로, 축소(contracting) 단계와 확장(expanding) 단계로 구성된다. 확장 단계에서는 축소단계의 특징 지도 데이터를 결합함으로써 학습과정에서 발생하는 손실을 보완하여, CNN에 비하여 정교한 위치의 세분화를 가능하게 할 수 있다.Referring to FIG. 5 , the U-Net model is a modification of a Convolutional Neural Network (CNN), and consists of a contracting step and an expanding step. In the expansion step, by combining the feature map data in the reduction step, it is possible to compensate for the loss occurring in the learning process, enabling precise location segmentation compared to CNN.
이후, 사용 단계에서는, 인공지능 모델의 학습에 따른 가중치 파일(Weight file)(112)과 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 영상(113)을 입력받고, 학습 데이터 생성시와 동일하게 블록 단위로 분할한 후(109), 학습된 인공지능 모델에 의해 분할영상에서 그리드 라인이 제거된 영상을 추정하고(114), 추정된 영상을 다시 결합하여 그리드 라인이 제거된 최종 영상(Final suppressed image)(115)를 출력할 수 있다.Then, in the use step, the
도 6의 (a)는 본 발명의 일 실시예에 따라 영상 처리 대상이 되는 X-선 그리드를 촬영한 영상이고, (b)는 본 발명의 일 실시예에 따라 영상 처리된 결과영상의 예를 도시하는 도면으로, 본 발명의 실시예에 따르면 학습된 인공지능 모델 기반으로 입력영상에서 그리드 라인 및 모아레 현상을 효과적으로 제거할 수 있음을 알 수 있다.Fig. 6 (a) is an image obtained by photographing an X-ray grid that is an image processing target according to an embodiment of the present invention, and (b) is an example of an image-processed result image according to an embodiment of the present invention. As shown in the drawings, it can be seen that, according to an embodiment of the present invention, grid lines and moiré phenomena can be effectively removed from an input image based on a learned artificial intelligence model.
도 1 내지 도 6을 참조하여 상술한 영상처리 방법은 X-선 영상처리 및 인공지능 모델의 학습이 가능한 프로세싱 장치에 의해 수행될 수 있다.The image processing method described above with reference to FIGS. 1 to 6 may be performed by a processing apparatus capable of X-ray image processing and learning of an artificial intelligence model.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above embodiments and the accompanying drawings. For those of ordinary skill in the art to which the present invention pertains, it will be apparent that components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.
Claims (6)
새로운 입력 영상이 입력되면, 상기 입력된 입력 영상을 학습 데이터 생성시와 동일하게 분할한 후, 학습된 상기 인공지능 모델 기반을 통해 상기 분할된 입력영상 각각에 포함된 그리드 라인 및 모아레 현상을 제거한 후 다시 하나의 영상을 결합하는 단계를 포함하며,
X-선 그리드를 사용하지 않고 획득한 복수의 영상에 상기 X-선 그리드의 그리드 라인과 유사성을 만족하는 주기성을 가지는 복수의 선들을 합성하여 생성한 복수의 합성 영상 및 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 복수의 영상 중 적어도 하나를 상기 입력영상으로 사용하고,
상기 입력영상에서 주파수 기반 그리드 라인 억제(Frequency-based Grid-line-suppression)에 의해 그리드 라인 및 모아레 현상을 제거한 복수의 영상, 상기 X-선 디텍터에 최적화된 X-선 그리드를 사용하여 획득한 복수의 영상 및 상기 X-선 그리드를 사용하지 않고 획득한 복수의 영상 중 적어도 하나를 상기 결과영상으로 사용하는 것을 특징으로 하는 X-선 영상 처리 방법.
An artificial intelligence model is trained by generating a plurality of training data having an input image requiring grid line suppression and a grid line suppressed result image, and dividing the input image and the result image into blocks having an overlapping area, respectively increasing the number of the training data; and
When a new input image is input, the input image is divided in the same way as when generating training data, and grid lines and moiré phenomena included in each of the divided input images are removed through the learned AI model based Combining one image again,
It is not optimized for a plurality of composite images and an X-ray detector generated by synthesizing a plurality of lines having a periodicity satisfying a similarity to a grid line of the X-ray grid with a plurality of images acquired without using an X-ray grid At least one of a plurality of images acquired using an X-ray grid that is not used is used as the input image,
A plurality of images obtained by removing grid lines and moiré effects by frequency-based grid-line-suppression from the input image, and a plurality of images obtained using an X-ray grid optimized for the X-ray detector An X-ray image processing method, characterized in that using at least one of an image of and a plurality of images obtained without using the X-ray grid as the result image.
상기 입력영상 및 상기 결과영상을 분할한 임의의 분할영상 Pij는 Oij를 원점으로 하는 폭과 높이가 d인 분할영상이고, 상기 원점 Oij는 다음의 수식에 따라 결정되며,
c는 영상의 가장자리에 해당하는 일정량의 여백을 의미하며 d/2 보다 작은 정수값이고, k는 샘플링 주기로서 1에서 W/d 범위의 정수값으로 결정하며, i, j값은 각각 0에서 최대 (W/d-1)과 (H/d-1)의 값을 가지며 가지며, W와 H는 상기 입력영상 또는 상기 결과영상의 폭과 높이를 의미하는 것을 특징으로 하는 X-선 영상 처리 방법.
The method of claim 1,
And the divided image width and height d of the input image and the arbitrary image segment P ij is O ij by dividing a result of the image as the origin, the origin O ij is determined by the following equation,
c denotes a certain amount of blank space corresponding to the edge of the image and is an integer value smaller than d/2, k is the sampling period and is determined as an integer value ranging from 1 to W/d, and i and j values are from 0 to maximum, respectively. It has values of (W/d-1) and (H/d-1), wherein W and H mean the width and height of the input image or the result image.
상기 인공지능 모델은 축소(contracting) 단계 및 확장(expanding) 단계를 포함하는 U-Net 모델인 것을 특징으로 하는 X-선 영상 처리 방법.
The method of claim 1,
The AI model is an X-ray image processing method, characterized in that it is a U-Net model comprising a contracting step and an expanding (expanding) step.
상기 인공지능 모델의 학습에 따른 가중치 파일(Weight file)과 X-선 디텍터에 최적화되지 않은 X-선 그리드를 사용하여 획득한 영상을 입력받고,
상기 학습 데이터의 생성시와 동일하게 블록 단위로 분할한 후,
학습된 상기 인공지능 모델에 의해 분할영상에서 그리드 라인이 제거된 영상을 추정하고,
추정된 영상을 다시 결합하여 그리드 라인이 제거된 최종 영상을 출력하는 것을 특징으로 하는 X-선 영상 처리 방법.
The method of claim 3, wherein removing the grid line and moiré phenomenon from the input image comprises:
receiving an image obtained using a weight file according to the learning of the artificial intelligence model and an X-ray grid that is not optimized for an X-ray detector;
After dividing into blocks in the same way as when generating the training data,
Estimating the image in which the grid line is removed from the segmented image by the learned artificial intelligence model,
An X-ray image processing method, characterized in that by recombining the estimated images, a final image from which grid lines are removed is output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190079949A KR102268758B1 (en) | 2019-07-03 | 2019-07-03 | X-ray Image Processing Method and Computer Readable Storage Medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190079949A KR102268758B1 (en) | 2019-07-03 | 2019-07-03 | X-ray Image Processing Method and Computer Readable Storage Medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210004085A KR20210004085A (en) | 2021-01-13 |
| KR102268758B1 true KR102268758B1 (en) | 2021-06-24 |
Family
ID=74142365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190079949A KR102268758B1 (en) | 2019-07-03 | 2019-07-03 | X-ray Image Processing Method and Computer Readable Storage Medium |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102268758B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101125284B1 (en) * | 2010-02-03 | 2012-03-21 | 주식회사 디알텍 | X-ray grid and manufacturing method therefor |
| KR101207084B1 (en) * | 2011-02-08 | 2012-12-04 | 포항공과대학교 산학협력단 | Method of processing image and apparatus for the same |
| KR101361805B1 (en) * | 2012-06-07 | 2014-02-21 | 조춘식 | Method, System And Apparatus for Compensating Medical Image |
| US11331039B2 (en) * | 2016-02-15 | 2022-05-17 | Keio University | Spinal-column arrangement estimation-apparatus, spinal-column arrangement estimation method, and spinal-column arrangement estimation program |
-
2019
- 2019-07-03 KR KR1020190079949A patent/KR102268758B1/en active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| Lee, Sang-Ho. "Image Analysis Using Grid Suppression Software to Remove Moire Artifact from Micro Lesions of Sprague Dawley Rat." Journal of radiological science and technology 40.4 (2017)* |
| 김동현, et al. "X-ray 영상에서 피사체 경계선 영역의 그리드 라인 제거 기법.", 2019 한국정보과학회 학술발표논문집(2019.06.30.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210004085A (en) | 2021-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3995854B2 (en) | Image processing method and apparatus, and recording medium | |
| Naimi et al. | Medical image denoising using dual tree complex thresholding wavelet transform and Wiener filter | |
| KR100646715B1 (en) | Method for improving a quality of a 2-d ultrasound image by post-processing | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| US8107765B2 (en) | Block-based image restoration system and method | |
| JP6387646B2 (en) | Grayscale image processing method and apparatus | |
| US7751641B2 (en) | Method and system for digital image enhancement | |
| KR101070981B1 (en) | Image Enhancement Method Using Neural Network Model Based on Edge Component Classification | |
| JP2014505491A (en) | Reduction of non-linear resolution of medical images | |
| US20150254814A1 (en) | Globally dominant point spread function estimation | |
| Lee et al. | Three-dimensional visualization of objects in scattering medium using integral imaging and spectral analysis | |
| CN107274350B (en) | Method and system for reducing ringing effects in X-ray images | |
| Mitiche et al. | Medical image denoising using dual tree complex thresholding wavelet transform | |
| JP4244094B2 (en) | Image processing method and apparatus, and recording medium | |
| DE102019205783A1 (en) | Systems and methods for improved 3D data reconstruction from stereo temporal image sequences | |
| Shedbalkar et al. | A comparative analysis of filters for noise reduction and smoothening of brain MRI images | |
| Yoo et al. | Sinogram image completion for limited angle tomography with generative adversarial networks | |
| KR20140109801A (en) | Method and apparatus for enhancing quality of 3D image | |
| JP2001167264A (en) | Method and device for image processing and recording medium | |
| KR102268758B1 (en) | X-ray Image Processing Method and Computer Readable Storage Medium | |
| Paranjape | Fundamental enhancement techniques | |
| Raj et al. | Denoising of medical images using total variational method | |
| Kokaram et al. | Measuring noise correlation for improved video denoising | |
| KR101341617B1 (en) | Apparatus and method for super-resolution based on error model of single image | |
| JP4945533B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |