KR20180056976A - Speckle reduction method using the similar patches in ultrasound image and apparatus thereof - Google Patents
Speckle reduction method using the similar patches in ultrasound image and apparatus thereof Download PDFInfo
- Publication number
- KR20180056976A KR20180056976A KR1020160154984A KR20160154984A KR20180056976A KR 20180056976 A KR20180056976 A KR 20180056976A KR 1020160154984 A KR1020160154984 A KR 1020160154984A KR 20160154984 A KR20160154984 A KR 20160154984A KR 20180056976 A KR20180056976 A KR 20180056976A
- Authority
- KR
- South Korea
- Prior art keywords
- speckle
- ultrasound image
- pixel
- patches
- similar
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 초음파 신호 처리 기술에 관한 것으로서, 특히 B-모드 초음파 영상에서 자기 유사도를 갖는 영상의 특징인 패치 반복(patch recurrence)을 이용하여 대조도를 떨어뜨리고 조직과 병변에 대한 경계를 모호하게 만드는 스페클(speckle)을 제거하는 장치 및 방법에 관한 것이다.The present invention relates to an ultrasound signal processing technique, and more particularly, to a method and apparatus for processing ultrasound signals by using a patch recurrence characteristic of an image having self-similarity in a B-mode ultrasound image to reduce contrast and obscure boundaries for tissue and lesion To an apparatus and method for removing speckle.
의료용 초음파는 1950년대부터 꾸준히 연구되어 현재는 다양한 임상 응용 분야에서 널리 사용되고 있으며, 임상적으로 환자에게 유해하지 않으면서도 중요한 임상 정보를 제공한다는 장점을 갖기에 많은 의료 현장에서 활용되고 있다. 또한 초음파 검사의 실시간 특성은 심장과 같이 빠른 움직임을 갖는 인체 내부 기관들의 분석에 유용하며, 다중 평면을 영상화 할 수 있는 능력은 진료의 유연성을 제공한다.Medical ultrasound has been studied since the 1950s and has been widely used in various clinical applications. It has been used in many medical fields because it has the advantage of providing important clinical information without being harmful to the patient clinically. In addition, the real-time characteristics of ultrasound are useful for analyzing internal organs of the human body that have rapid movements like the heart, and the ability to image multiple planes provides the flexibility of care.
이러한 초음파 영상은 알갱이 모양의 아티팩트인 스페클(speckle)의 영향을 받는다. 스페클은 매질에서 무작위로 산란된 음파에 의해 생기는 간섭으로부터 발생하는데, 많은 연구자들은 자동 진단이나 수동 분석과 같은 진단을 방해하는 스페클의 부정적인 효과를 확인하였다. 예를 들어, 신체 일부에 대하여 취득한 B-모드(mode) 초음파 영상과 CT 영상의 결과를 비교하면, 비록 CT 영상이 초음파 영상보다 해상도가 낮음에도 불구하고 스페클이 없기 때문에 상대적으로 더 선명하게 보인다. 즉, B-모드 초음파 영상의 스페클 노이즈는 해부학적 구조 내부의 경계를 감추고, 초음파 영상에서 표현되는 장기나 조직들 사이의 대비를 감소시킴으로써, 결과적으로 잘못된 정보를 생산한다. 따라서, 초음파 영상이 해상도가 높다는 장점에도 불구하고 실질적 진단에 어려움을 줄 수 있다.Such ultrasound images are influenced by speckle, a granular artifact. Speckle arises from interference caused by randomly scattered sound waves in the medium, and many researchers have identified the negative effects of speckle, which interferes with diagnostics such as automatic diagnosis or manual analysis. For example, comparing the results of a B-mode ultrasound image and a CT image acquired for a part of the body, the CT image is relatively clear because it has no speckle even though the resolution is lower than that of the ultrasound image . That is, the speckle noise of the B-mode ultrasound image conceals the boundary within the anatomical structure and reduces the contrast between organs or tissues expressed in the ultrasound image, resulting in false information. Therefore, ultrasound images may be difficult to diagnose in spite of the advantages of high resolution.
이에 주목하여 초음파 영상에서 스페클을 제거하고자 하는 시도가 존재하였으며, 이하에서 제시되는 선행기술문헌에서는 다수의 영상을 평균하여 스페클 노이즈를 감소시키는 기술적 수단을 제안한 바 있다. 그러나, 여전히 의료 현장에서 활용 가능한 수준으로 초음파 영상에 대해 효과적으로 스페클을 제거할 수 있는 방법의 제시가 이루어지지 못하고 있는 상황이다.Attempts have been made to eliminate speckle in ultrasound images. In the following prior art documents, a technical means for reducing speckle noise by averaging a plurality of images has been proposed. However, there is still no way to effectively remove speckle on ultrasound images at a level that is still available in the medical field.
본 발명의 실시예들이 해결하고자 하는 기술적 과제는, 스페클로 인해 초음파 영상의 해석과 진단에서 발생하는 어려움을 해소하고, 종래의 초음파 영상의 스페클 제거 방식들에 있어서 과도한 연산량과 그에 따라 장시간의 데이터 처리가 요구되는 한계를 극복하고자 한다.It is an object of the present invention to overcome the difficulties encountered in the analysis and diagnosis of ultrasound images due to speckle and to reduce the amount of computation and thus the long data We want to overcome the limitations of processing.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 영상의 스페클 제거 방법은, 초음파 영상을 입력받는 단계; 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하는 단계; 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하는 단계; 및 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of removing speckle of an ultrasound image, the method comprising: receiving an ultrasound image; Searching for similar patches having similar image characteristics to a patch including a position of a pixel to remove speckle in the ultrasound image; Aligning the similar patches to a location with the highest degree of similarity; And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.
일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 유사 패치들을 검색하는 단계는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하는 단계; 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하는 단계; 및 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정하는 단계를 포함할 수 있다.In the method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention, the step of searching for similar patches may include: setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image; Calculating an Euclidean distance between a patch including a pixel to be restored and a patch included in the search area while changing a comparison position within the search area; And determining the similarity patch when the calculated Euclidean distance is less than or equal to the distance threshold value.
일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 유사 패치들을 정렬하는 단계는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킬 수 있다.In the speckle removing method of an ultrasound image according to an exemplary embodiment, the step of aligning the similar patches may include arranging the similar patches on a pixel-by-pixel basis, calculating a cross-correlation coefficient, The position having the largest coefficient can be matched with the center pixel of the patch to be restored.
일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 스페클이 제거된 초음파 영상을 생성하는 단계는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하는 단계; 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하는 단계; 및 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 단계를 포함할 수 있다.In the method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention, the step of generating an ultrasonic image from which the speckle is removed may include calculating an average value ; Calculating and adding a minimum mean square error (MMSE) gain and a speckle compression gain from a difference between a pixel value of the patches and the average value; And calculating the pixel value from which the speckle is removed by adding the average value to the addition result.
일 실시예에 따른 초음파 영상의 스페클 제거 방법은, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 단계를 더 포함하고, 상기 스페클이 제거된 초음파 영상을 생성하는 단계는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출할 수 있다.The method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention may further include generating local statistical information including a local mean and a variance of the ultrasound image for each pixel of the ultrasound image The step of generating the speckle-free ultrasound image may calculate the pixel value from which the speckle is removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.
나아가, 이하에서는 상기 기재된 초음파 영상의 스페클 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Further, in the following, a computer-readable recording medium on which a program for executing the speckle removing method of the ultrasound image described above is recorded in a computer is provided.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 영상의 스페클 제거 장치는, 초음파 영상을 입력받는 입력부; 상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하는 메모리; 및 상기 스페클을 제거하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함한다.According to an aspect of the present invention, there is provided an apparatus for removing speckles in an ultrasound image, the apparatus comprising: an input unit receiving an ultrasound image; A memory for storing a program for removing speckle from the ultrasound image; And at least one processor for driving the speckle removing program, wherein the program stored in the memory includes a patch including a position of a pixel for which speckle is to be removed in the ultrasound image, Similar patches having similar image characteristics are searched, and the similar patches are aligned to a position having the highest similarity. By using patches having similar patches arranged around the patches to be restored, And generating an ultrasound image that has been removed.
일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색할 수 있다.In an apparatus for removing speckles of an ultrasound image according to an embodiment, the processor sets a patch and a search area including a position of a pixel to remove speckle in the ultrasound image, The Euclidean distance between the patch including the pixel to be restored and the patch included in the search area is calculated while the calculated Euclidean distance is equal to or less than the distance threshold, The similar patches can be searched.
일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬할 수 있다.In the speckle removing apparatus for an ultrasound image according to an embodiment of the present invention, the processor moves the similar patches on a pixel-by-pixel basis, calculates a cross-correlation coefficient, calculates a cross- To match the center pixel of the patch to be restored.
일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출할 수 있다.In an apparatus for removing speckles of an ultrasound image according to an exemplary embodiment, the processor may calculate an average value of patches having similar patches arranged around the patch including the pixel to be restored, The minimum mean square error (MMSE) gain and the speckle compression gain are calculated and added from the difference between the average values, and the average value is added to the addition result to calculate the pixel value from which speckle is removed .
일 실시예에 따른 초음파 영상의 스페클 제거 장치는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부를 더 포함하고, 상기 프로세서는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출할 수 있다.The apparatus for removing speckles of an ultrasound image according to an exemplary embodiment of the present invention may further include a storage unit for previously generating and storing local statistical information including local averages and variances of the ultrasound images for each of the ultrasound images And the processor can calculate pixel values from which speckle is removed by adding pre-generated local statistical information for the number of similar patches to pixels to be restored.
본 발명의 실시예들은, 초음파 영상의 자기 유사 특성에 의한 패치 반복성(patch recurrence)를 이용하여 유한한 개수의 유사 패치만을 활용한 스페클 제거를 수행함으로써, 종래의 방식들에 비해 상대적으로 적은 연산량으로 빠른 스페클 제거가 가능하며, 스페클 제거 성능 또한 향상시킴으로써 의료 현장에서 보다 정확한 해석 및 진단의 근거 자료로서 초음파 영상을 제공할 수 있다.Embodiments of the present invention perform speckle removal using only a finite number of similar patches using patch recurrence due to the self-similar characteristics of the ultrasound image, thereby reducing a relatively small amount of computation It is possible to eliminate the fast speckle and improve the speckle removal performance, so that the ultrasound image can be provided as a basis for more accurate analysis and diagnosis in the medical field.
도 1은 B-모드(mode) 의료용 초음파 영상의 유사도를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 방법을 도시한 흐름도이다.
도 3은 패치 반복성을 이용하여 스페클을 제거하는 알고리즘을 도시한 블록도이다.
도 4는 유사 패치를 검색하는 과정을 설명하기 위한 도면이다.
도 5는 패치를 정렬하는 과정을 설명하기 위한 도면이다.
도 6은 유사 패치에 의한 영상 데이터를 예시한 도면이다.
도 7은 3차원으로 표현된 유사 패치 집합의 구조를 설명하기 위한 도면이다.
도 8은 최소 평균 제곱 오차를 이용하여 스페클을 제거하는 과정을 도시한 블록도이다.
도 9는 거리 임계값에 대한 LMSE(Laplacian mean square error)의 변화 및 에지 보존 성능을 예시한 그래프이다.
도 10은 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 장치를 도시한 블록도이다.
도 11은 본 발명의 실시예들에 따른 스페클 제거 기술을 이용하여 초음파 영상으로부터 스페클이 제거된 영상을 예시한 도면이다.FIG. 1 is a view for explaining the similarity of a B-mode medical ultrasound image.
2 is a flowchart illustrating a method for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.
3 is a block diagram illustrating an algorithm for removing speckle using patch repeatability.
4 is a diagram for explaining a process of searching for a similar patch.
5 is a view for explaining a process of aligning patches.
6 is a diagram illustrating image data by a similar patch.
7 is a diagram for explaining the structure of a similar patch set expressed in three dimensions.
8 is a block diagram illustrating a process of removing speckle using a minimum mean square error.
9 is a graph illustrating a change in Laplacian mean square error (LMSE) and edge preservation performance for a distance threshold.
10 is a block diagram showing an apparatus for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.
11 is a diagram illustrating an image in which speckle is removed from an ultrasound image using a speckle removing technique according to embodiments of the present invention.
본 발명의 실시예들을 설명하기에 앞서, 초음파 영상 기술의 일례로서 의료용 B-모드(mode) 초음파 영상을 간략히 소개한 후, 의료 현장에서 이를 운용하는 경우 스페클로 인해 발생하는 문제점과 한계를 극복하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다.Prior to describing the embodiments of the present invention, brief introduction of a medical B-mode ultrasound image as an example of an ultrasound imaging technique, and then overcoming the problems and limitations caused by speckle The technical means employed by the embodiments of the present invention are presented in order.
초음파가 진행하는 그 직선인 스캔라인(scanline)의 위치를 바꾸어 가며 초음파를 방사하고 수신하면서 탐색을 계속하면, 탐색 방향의 평면의 정보를 얻을 수 있으며, 이렇게 평면 위를 순차적으로 탐색하여 돌아오는 에코의 크기를 밝기(brightness)의 차이로 나타낸 영상을 B(brightness)-모드 영상이라고 한다. B-모드 영상은 인체 내의 한 평면의 단층 영상을 실시간으로 보여주기 때문에 현재의 의료용 초음파 시스템에 널리 사용된다. If the ultrasonic wave is emitted while continuing the search while receiving the ultrasonic wave while changing the position of the scan line which is the straight line that the ultrasonic wave advances, information of the plane in the search direction can be obtained, (Brightness) -mode image is referred to as a brightness-mode image. The B-mode image is widely used in current medical ultrasound systems because it displays real-time tomographic images of one plane in the human body.
매질 내에 확산되어 있는 산란체로부터 반사되는 후방 산란(back scattering)에 의해 발생하는 보강 간섭과 상쇄 간섭의 영향으로 알갱이 모양의 스페클 패턴이 나타난다. 의료용 초음파 영상에서 스페클은 매우 중요한 임상적 의의를 갖고, 그 영향 또한 센서 노이즈와 같이 더해지는 형태의 노이즈보다 크다. 따라서, 이하에서 개시되는 본 발명의 실시예들은 초음파 영상, 예를 들어 B-모드 영상에서 발생하는 스페클 패턴에 의해 열화된 영상의 화질을 빠르고 정확하게 개선하는데 집중하고 있다.Shaped speckle pattern appears due to the influence of constructive interference and destructive interference caused by back scattering reflected from the scattering body scattered in the medium. In medical ultrasound images, speckle has a very important clinical significance, and its effect is also larger than the noise of the form added like sensor noise. Therefore, the embodiments of the present invention described below focus on improving the image quality of the image degraded by the speckle pattern generated in an ultrasound image, for example, a B-mode image, quickly and accurately.
현실 세계의 많은 물체들과 현상들은 통계적으로 자기 유사성(self-similarity)을 가지고 있다. 자기 유사성은 동일한 패턴이나 특징이 크기 변화에 상관없이 반복적으로 나타나는 특징을 말한다. 영상도 유사한 특성을 갖기 때문에, 영상이 크기 변화나 노이즈 등에 의해 열화되었을 때 자기 유사성을 이용하여 손실된 정보를 복원할 수 있다.Many objects and phenomena in the real world are statistically self-similar. Self-similarity refers to a feature in which the same pattern or feature repeatedly appears regardless of size change. Since the image has similar characteristics, when the image is degraded due to size change, noise, etc., the lost information can be restored by using the self similarity.
도 1은 B-모드(mode) 의료용 초음파 영상의 유사도를 설명하기 위한 도면으로서, 초음파 영상에서 패치 반복성(patch recurrence)가 나타나는 것을 보여준다. 초음파를 주사한 후 반사되어 오는 신호는 고해상도 특성을 갖지만, 장비에서 영상화하여 보여줄 경우, 예를 들어 256 레벨의 밝기 값을 갖는 저해상도 영상으로 표현되기 때문에 자연 영상보다 단순한 패턴이 반복된다. 도 1을 참조하면, 영상의 영역 전체에서 유사한 패치가 반복적으로 나타나는 것을 확인할 수 있다. 초음파 영상은 초음파 진행 단면에서 반사되어 오는 영상을 측정하기 때문에 수평 성분의 특징들이 많이 나타난다. 즉, 직선, 곡선, 원, 타원 같은 간단한 기하학 모양을 갖는 특징이 반복되는 자기 유사성을 갖는 영상이라고 볼 수 있으며, 패치 반복성이 빈번히 발생한다. 이와 같이, 초음파 영상에서는 유사한 패치가 반복되어 나타나기 때문에, 본 발명의 실시예들은 초음파 영상의 영역 전체가 아니라 상대적으로 작은 수의 유사 패치를 결정하여 스페클을 제거함으로써 스페클 제거 성능을 유지하면서도 처리 시간을 단축하고 연산의 복잡도를 효율적으로 감소시킬 수 있는 기법을 제안하고자 한다.FIG. 1 is a view for explaining the similarity of a B-mode medical ultrasound image, showing patch recurrence in an ultrasound image. The signal reflected after scanning the ultrasound has a high resolution characteristic. However, when the image is imaged by the equipment, for example, it is represented as a low-resolution image having a brightness value of 256 levels, so that a simple pattern is repeated. Referring to FIG. 1, it can be seen that similar patches appear repeatedly throughout the image region. The ultrasound image has many characteristics of the horizontal component because it measures the image reflected from the ultrasonic progressive section. That is, a feature having a simple geometric shape such as a straight line, a curve, a circle, and an ellipse can be regarded as an image having repetitive self-similarity, and patch repetition occurs frequently. Since the similar patch is repeatedly displayed in the ultrasound image, the embodiments of the present invention determine a relatively small number of similar patches instead of the entire region of the ultrasound image to remove the speckle, thereby maintaining the speckle removal performance, We propose a technique that can shorten the time and reduce the computational complexity efficiently.
도 2는 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.
S210 단계에서, 스페클 제거 장치는, 초음파 영상을 입력받는다. 본 발명의 실시예들에서 이러한 초음파 영상은 B-모드 영상을 전제로 설명하고 있으나 이에 한정되지 않으며, 본 발명의 스페클 제거 방식이 적용될 수 있는 다양한 유형의 초음파 영상을 포함한다.In step S210, the speckle removal apparatus receives an ultrasound image. In the embodiments of the present invention, the ultrasound image is based on a B-mode image. However, the present invention is not limited thereto and includes various types of ultrasound images to which the speckle removing method of the present invention can be applied.
S220 단계에서, 상기 스페클 제거 장치는, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색한다. 본 발명의 실시예들은 자기 유사도에 따라 초음파 영상의 전체 영역이 아닌 일부 영역을 한정하고 복원한 화소(또는 영역)을 포함하는 패치와 유사한 패치를 한정된 탐색 영역 내에서 검색함으로써 연산의 속도를 향상시키고 검색에 따른 과부하를 방지할 수 있다.In step S220, the speckle removal apparatus searches for a similar patch having similar image characteristics to a patch including a position of a pixel for which speckle is to be removed in the ultrasound image. Embodiments of the present invention improve the speed of an operation by searching for a patch similar to a patch including a restored pixel (or region) within a limited search area by defining and restricting a part of the region rather than the entire region of the ultrasound image according to the degree of self similarity It is possible to prevent an overload due to the search.
S230 단계에서, 상기 스페클 제거 장치는, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)한다. 이 과정에서는 복원한 패치와 앞서 검색된 유사 패치를 비교하여 유사도가 가장 높은 위치에 배치하는 과정에 해당한다.In step S230, the speckle removing device aligns the similar patches to the position having the highest degree of similarity. In this process, the restored patch is compared with the similar patch that has been searched for before, and this process corresponds to a process of arranging the restored patch at the position with the highest similarity.
한편, S215 단계에서, 상기 스페클 제거 장치는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 것이 바람직하다. 이렇게 생성된 통계 정보는 이후 스페클 제거 과정에서 연산에 따른 부하를 감소시키는 역할을 한다.Meanwhile, in step S215, the speckle removing apparatus may generate local statistical information including local mean and variance of the ultrasound image for each pixel of the ultrasound image in advance. The generated statistical information serves to reduce the load on the calculation in the speckle removal process.
S240 단계에서, 상기 스페클 제거 장치는, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성한다. 이를 위해, 입력 영상과 스페클 제거 영상의 차 영상을 다시 영상에 이용할 때 사용하는 스페클 압축 이득을 산출하고, 앞서 정렬된 패치를 이용하여 최소평균제곱오차(minimum mean square error, MMSE)를 산출함으로써 스페클이 제거된 영상을 출력하게 된다.In step S240, the speckle removing apparatus generates an ultrasound image in which the speckle is removed using patches in which similar patches are arranged, with the patch including the pixel to be restored as a center. To this end, the speckle compression gain used when the difference image of the input image and the speckle-removed image is used again for the image is calculated, and the minimum mean square error (MMSE) is calculated using the previously aligned patches Thereby outputting the speckle-free image.
이하에서는 스페클 제거의 각 과정을 보다 구체적으로 설명하도록 한다.Hereinafter, each step of speckle removal will be described in more detail.
도 3은 패치 반복성을 이용하여 스페클을 제거하는 알고리즘을 도시한 블록도이다.3 is a block diagram illustrating an algorithm for removing speckle using patch repeatability.
입력 영상 v는 로그 압축(log compression) 이후의 신호이므로 원본 영상 u와 스페클 노이즈 n의 합으로 가정하고, 노이즈의 형태는 가우시안 분포에 따른다고 가정한다. 여기서, pi,j는 화소의 위치 (i,j)를 중심으로 하는 패치이고, (i,j)는 복원할 화소의 위치, 는 유사 패치들의 위치이다. 는 정렬 과정(patch alignment)을 거친 유사 패치이다. 는 본 알고리즘을 이용하여 복원된 화소 값이다.Since the input image v is a signal after log compression, it is assumed that the sum of the original image u and the speckle noise n is assumed, and that the shape of the noise depends on the Gaussian distribution. Here, p i, j is a patch centered on the pixel position (i, j), (i, j) is the position of the pixel to be restored, Is the location of similar patches. Is a similar patch that has undergone a patch alignment. Is the reconstructed pixel value using this algorithm.
도 3의 알고리즘은 크게 전처리 부분과 후처리 부분(메인 처리 부분)으로 나눌 수 있다.The algorithm of Fig. 3 can roughly be divided into a preprocessing part and a post-processing part (main processing part).
전처리 부분은 입력 영상 전체에 대하여 국부적인 통계적 정보(local statistical information)(S310)을 생성하여 저장하는 부분으로서, 이 과정은 후처리 부분에서 필요한 정보들을 미리 준비하는 역할에 해당한다.The preprocessing part generates and stores local statistical information (S310) for the entire input image. The preprocessing part prepares the necessary information in the post-processing part.
후처리 부분은 입력 영상의 위치마다 패치 반복성 특징을 이용하여 유사 패치(S330)를 찾은 후, 최소평균제곱오차 추정기(MMSE estimator)(S350)를 이용하여 스페클 제거를 수행한다. 유사 패치(S330)를 찾는 과정에 앞서 거리 임계값을 결정(S320)할 필요가 있는데 이 과정에 대해서는 이후 도 9를 통해 보다 구체적으로 소개하도록 한다. 일단 유사 패치가 결정되어 정렬(S340)이 된 이후에는 복원할 화소의 정보와 국부적인 통계 정보(S310)만을 필요로 하므로 검색에 소요된 시간을 제외하고는 스페클 제거에 필요한 시간이 매우 적다는 장점을 갖는다.The post-processing part finds the similar patch S330 using the patch repeatability characteristic for each position of the input image, and performs speckle elimination using the minimum mean square error estimator (S350). It is necessary to determine a distance threshold value (S320) before searching for a similar patch S330. This process will be described in more detail with reference to FIG. Once the similar patches are determined and ordered (S340), only the information of the pixel to be restored and the local statistical information (S310) are needed. Therefore, the time required for speckle removal is very small except for the time spent for searching .
도 4는 유사 패치를 검색하는 과정을 설명하기 위한 도면이다. 앞서 도 1을 통해 설명한 바와 같이 초음파 영상이 패치 반복성 특징을 갖는 것을 확인하였다. 이 특징을 이용하여 영상 처리를 할 때 검색 부분에서 가장 많은 시간이 필요하다. 따라서, 처리 시간을 단축하기 위해 도 4와 같이 복원할 위치 주변에 유한한 탐색 영역을 설정한다. 이와 같이 검색 영역을 줄여도 충분한 유사 패치가 존재하는 특성이 있으므로, 검색 영역을 전체 영역으로 설정하지 않더라도 스페클 제거 결과에 주는 영향은 미미하다는 사실을 확인하였다. 본 발명의 실시예들은, 예를 들어 패치 넓이의 네배 만큼의 영역을 검색 영역으로 설정하고, 패치 위치를 변화시켜 가며 복원할 패치와 주변 패치의 밝기값 벡터의 유클리디언 거리(Euclidean distance)를 구하여, 이 값이 임계값보다 작을 경우에 유사 패치로 결정하였다.4 is a diagram for explaining a process of searching for a similar patch. As described above with reference to FIG. 1, it is confirmed that the ultrasound image has a patch repeatability characteristic. Using this feature, the most time is required in the search part when performing image processing. Therefore, in order to shorten the processing time, a finite search area is set around the position to be restored as shown in FIG. Even if the search area is reduced, there is a sufficient similar patch. Therefore, even if the search area is not set as the entire area, the influence on the speckle removal result is insignificant. In embodiments of the present invention, for example, an area of four times the width of the patch is set as the search area, and the Euclidean distance of the brightness value vector of the patch to be restored and the patch of the surrounding patch is changed When this value is smaller than the threshold value, it is determined as a similar patch.
요약하건대, 유사 패치들을 검색하는 과정은, 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써 수행된다. 또한, 상기 검색 영역은, 스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것이 바람직하다.To summarize, the process of searching for similar patches includes a step of setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image, and changing a comparison position in the search area to include a pixel to be restored And determining a similar patch when the calculated Euclidean distance is less than or equal to the distance threshold value. It is preferable that the search area is a preset range centered on a position to be recovered by removing speckle and a size that is relatively smaller than the entire area of the ultrasound image.
도 5는 패치를 정렬하는 과정을 설명하기 위한 도면이다. 특징(에지, 코너 등) 성분을 포함하고 있는 패치들은 균일한 밝기값을 갖는 패치들보다 유사도가 작은 경향이 있는데, 이 경우 패치의 정렬(alignment)을 통해 가장 유사한 부분을 맞춰주는 작업이 필요하다. 즉, 도 5와 같이 각 유사 패치와 복원할 패치의 정렬 과정을 통해 가장 유사한 패치 부분이 겹쳐지도록 한다. 유사 패치의 정렬을 위해서 패치를 화소 단위로 옮기며 상호 상관 계수를 구하고 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소와 일치시킬 수 있다.5 is a view for explaining a process of aligning patches. Patches that contain features (edges, corners, etc.) tend to be less similar than patches with uniform brightness values. In this case, alignment of the patches requires matching the most similar parts . That is, as shown in FIG. 5, the most similar patch portions overlap each other through the alignment process of each similar patch and the patch to be restored. In order to align the similar patches, the patches are shifted pixel by pixel and the cross correlation coefficient is obtained, and the position having the largest value can be matched with the center pixel of the patch to be restored.
요약하건대, 유사 패치들을 정렬하는 과정은, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시키는 것이 바람직하다.In summary, the process of aligning similar patches is performed by arranging the similar patches on a pixel-by-pixel basis, calculating a cross-correlation coefficient, calculating a patch having a position with the largest cross- It is preferable to match the center pixel.
도 6은 유사 패치에 의한 영상 데이터를 예시한 도면이다. 도 6과 같이 유사 패치들이 결정되면 복원해야 할 화소가 포함된 패치를 중심으로 영상 데이터가 3차원으로 분포하게 된다. 이 3차원 데이터에 대하여 최소평균제곱오차 추정을 적용한다.6 is a diagram illustrating image data by a similar patch. When similar patches are determined as shown in FIG. 6, image data is distributed in three dimensions around a patch including pixels to be restored. A minimum mean square error estimate is applied to the three-dimensional data.
먼저, 선형 특성을 갖는 측정값이 다음의 수학식 1과 같이 주어진다.First, a measurement value having a linear characteristic is given by the following equation (1).
, 가 가우시안 분포를 갖는다고 가정하면, 원본 영상 u를 구하는 것은 의 관계를 갖는 을 찾는 것이다. 즉, 복원된 영상과 원본의 오차들 을 최소화하는 를 구하면 된다. 따라서, 입력 영상 v가 주어졌을 때 최소평균제곱오차를 이용해 구한 는 다음의 수학식 2로 나타낼 수 있다. , Assuming that Gaussian distribution is assumed, finding the original image u Having a relationship of . That is, the reconstructed image and the errors of the original To minimize . Thus, given the input image v, the minimum mean square error Can be expressed by the following equation (2).
u, v가 다음의 수학식 3의 분포 특성을 가질 때, v가 주어졌을 때의 u의 조건부 확률 분포는 수학식 4와 같다.The conditional probability distribution of u when v is given is given by Equation 4 when u, v have the following distribution characteristic of Equation (3).
여기서 이므로, , 이다. 따라서, 최소평균제곱오차 추정은 다음의 수학식 5와 같다.here Because of, , to be. Therefore, the minimum mean square error estimate is given by Equation (5).
여기서 는 u와 v의 공분산 매트릭스이다. 공분산 매트릭스는 다음의 수학식 6과 같다.here Is the covariance matrix of u and v. Covariance matrix Is expressed by the following equation (6).
수학식 6에서 는 다음의 수학식 7과 같다.In Equation (6) Is expressed by the following equation (7).
원본 영상 u가 주어졌을 때 노이즈 성분 n의 조건부 확률 평균이 수학식 8과 같다고 가정하면 수학식 7의 내부의 기대값 은 다음의 수학식 9와 같이 정리되므로, 수학식 7은 다음의 수학식 10과 같은 값을 갖는다.Assuming that the conditional probability average of the noise component n is given by Equation 8 when the original image u is given, Is expressed by the following Equation (9), Equation (7) has the following Equation (10).
따라서, 수학식 6의 공분산 매트릭스는 다음의 수학식 11과 같이 되어, 수학식 5는 다음의 수학식 12와 같이 표현될 수 있다.Therefore, the covariance matrix of Equation (6) can be expressed by the following Equation (11), and Equation (5) can be expressed as Equation (12).
도 7은 3차원으로 표현된 유사 패치 집합의 구조를 설명하기 위한 도면으로서, 유사한 패치를 찾은 후 패치를 정렬하면 도 7과 같이 3차원의 데이터가 생성된다. 앞서, 수학식 12의 결과 식을 화소 기반 연산으로 바꾸고 3차원 데이터에 대하여 적용하면 화소와 노이즈 사이의 관계는 다음의 수학식 13과 같다.FIG. 7 is a diagram for explaining the structure of a similar patch set expressed in three dimensions. When similar patches are found and patches are aligned, three-dimensional data is generated as shown in FIG. When the resultant expression of Equation (12) is replaced with the pixel-based operation and applied to the three-dimensional data, the relationship between the pixel and the noise is expressed by Equation (13).
이제 복원해야 할 화소는 다음의 수학식 14이다.Now, the pixel to be restored is the following equation (14).
여기서, 는 이상적인 원본 영상의 화소 값이고, 이 값은 아직 구하지 않았으므로, 입력 영상의 평균값 으로 미리 예측한 값을 사용한다. 는 실측된 영상값 과 기대 값 의 차이를 이용하여 구한다. 이 차이값은 이득값 에 의해 변화되어 미리 예측한 값을 변화시킨다.here, Is the pixel value of the ideal original image, and since this value has not yet been obtained, the average value of the input image As shown in Fig. Is an image value And expected value . The difference value is the gain value And changes the predicted value in advance.
도 7은 검색 영역에서 복원 화소 패치와 검색된 유사 패치들을 3차원으로 정렬하여 보여주는데, 정렬된 패치들 중에서 중앙에 위치한 패치가 복원할 화소가 포함된 패치이다. 도 7과 같이 영상 데이터를 정리하면 수학식 14를 이용하여 영상을 복원할 수 있다. 도 7의 영상 좌표를 x, y 축으로 정의된 평면 위의 위치라고 하고, 패치들의 나열을 통해 만들어진 새로운 축을 z 축이라고 하고, 패치 영상의 크기를 , 패치의 수를 라고 하면, 는 다음의 수학식 15와 같다.FIG. 7 shows a reconstructed pixel patch and retrieved similar patches arranged in a three-dimensional array in the retrieval area, wherein a patch located at the center among the aligned patches includes a pixel to be reconstructed. As shown in FIG. 7, the image data can be restored using Equation (14). 7 is referred to as a position on a plane defined by the x and y axes, a new axis created by listing patches is referred to as a z axis, and the size of the patch image , The number of patches In other words, Is expressed by the following equation (15).
여기서, 는 z 번째 영상 패치의 평균 값이다. 즉, 전체 화소의 평균 값은 각 패치의 평균 값들의 평균과 같다. 유사 패치의 집합에 대하여 입력 영상의 분산 을 구하기 위해서 수학식 16을 활용한다.here, Is the mean value of the z-th image patch. That is, the average value of all the pixels is equal to the average of the average values of the patches. The distribution of the input image for a set of similar patches (16) < / RTI >
각 화소의 제곱의 평균 은 수학식 17과 같으므로, 각 유사 패치의 밝기 값의 제곱 값들의 평균의 평균이다.The average of the squares of each pixel Is the average of the mean values of the square values of the brightness values of each similar patch.
여기서, 수학식 15와 수학식 17을 적용하면, 수학식 16은 다음의 수학식 18과 같이 표현될 수 있다.Here, applying Equations (15) and (17), Equation (16) can be expressed as Equation (18).
수학식 1의 관계에 따라 수학식 19가 성립한다.Equation (19) is established according to the relationship of Equation (1).
이제, 이므로, 는 다음의 수학식 20과 같이 정리된다.now, Because of, Is expressed by the following equation (20).
여기서, 수학식 15와 수학식 18, 그리고 수학식 20을 이용하면 패치 반복성을 이용한 스페클 제거 방법인 수학식 14에 필요한 정보는 앞서 도 3을 통해 소개한 바 있는 전처리 과정에서 미리 산출하여 저장해 놓은 국부적인 통계 정보(S310)를 이용할 수 있기 때문에 모든 화소에 대하여 3차원 데이터에 대한 별도의 연산이 필요 없고, 유사 패치 수만큼의 덧셈 연산을 통해 간단히 구할 수 있다. 즉, 이러한 전처리 과정을 통해 본 발명의 실시예들은, 모든 화소에 대하여 생성되는 3차원 데이터에 대한 복잡한 연산으로 인한 처리 속도의 증가를 피할 수 있으므로, 빠른 연산 속도를 갖는다.Here, using
도 8은 최소 평균 제곱 오차를 이용하여 스페클을 제거하는 과정을 도시한 블록도로서, 유사 패치들을 정렬된 후, 3차원 데이터를 이용하여 스페클을 제거하는 과정을 도시하고 있다.FIG. 8 is a block diagram illustrating a process of removing speckle using a minimum mean square error. FIG. 8 illustrates a process of removing speckle using three-dimensional data after similar patches are aligned.
도 8을 참조하면, 스페클이 제거된 초음파 영상을 생성하는 과정은, 우선 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산(S810)하고, 상기 패치들의 화소값과 상기 평균값의 차(S820)로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득(S830)과 스페클 압축 이득(S840)을 각각 산출하여 가산(S850)한다. 그런 다음, 가산(S850) 결과에 상기 평균값을 가산(S860)하여 스페클이 제거된 화소값을 산출하게 된다.Referring to FIG. 8, in the process of generating the speckle-free ultrasound image, an average value is calculated for patches in which similar patches are arranged with respect to a patch including a pixel to be restored (S810) A minimum mean square error (MMSE) gain S830 and a speckle compression gain S840 are calculated and added (S850) from the difference (S820) between the pixel value of the input image and the average value. Then, the average value is added to the result of addition (S850) (S860), and the pixel value from which the speckle is removed is calculated.
특히, 상기 스페클이 제거된 화소값을 산출하는 과정은, 상기 초음파 영상의 화소값과 화소별 평균값의 차이를 앞서 수학식 14를 통해 소개한 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써 수행될 수 있다. 보다 구체적으로, 이러한 이득 은, 유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정될 수 있다.In particular, the process of calculating the pixel value from which the speckle is removed may include calculating a difference between the pixel value of the ultrasound image and the average value of each pixel using the gain introduced through Equation (14) To the pixel-by-pixel average of the image. More specifically, May be set to a value obtained by dividing the variance of the original ultrasound image for the similar patches by the variance of the input ultrasound image for the similar patches.
한편, 본 발명의 실시예들이 전처리 과정을 통해 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성할 수 있음을 설명한 바 있다. 따라서, 이후 후처리 과정 중, 스페클이 제거된 초음파 영상을 생성하는 과정은, 복원하고자 하는 화소에 대하여 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 간단히 산출할 수 있게 된다.In the meantime, embodiments of the present invention have previously described that local statistical information including a local mean and variance of the ultrasound image can be generated in advance for each pixel on an ultrasound image through a preprocessing process. Therefore, in the post-processing process, the process of generating the speckle-free ultrasound image is performed by simply adding the pre-generated local statistical information for the number of similar patches to the pixel to be restored, .
이제, 앞서 도 3에서 간단히 소개한 바 있는 거리 임계값의 결정에 관하여 설명하도록 한다.Now, the determination of the distance threshold value, which has been briefly introduced in Fig. 3, will now be described.
본 발명의 실시예들에서 유사 패치를 결정하는 조건은 다음의 수학식 21과 같다.The condition for determining the similar patch in the embodiments of the present invention is expressed by the following equation (21).
여기서 는 복원할 화소를 포함한 패치, 는 검색 영역에 포함되는 패치를 나타내고, 는 거리 임계값이다. 스페클 영상의 균일한 영역에서 FFS(fully formed speckle) 조건을 만족할 경우 로그 압축(log compression) 후의 분포가 가우시안 분포를 보이기 때문에 유사도를 측정하는데 스페클은 영향을 주지 않는다. 따라서, 균일한 영역은 고정된 거리 임계값을 사용하여 스페클을 제거할 수 있다. 그러나, 앞서 간략히 설명하였듯이 균일하지 않은 매질이 존재하는 영역, 즉, 조직의 경계나 장기의 표면과 같은 영역에서는 가우시안 분포의 가정을 만족시키지 않을 수 있기 때문에 유사도를 측정하는데 스페클의 영향을 받을 수 있다. 균일한 영역에서는 유사 패치들의 평균값을 이용하여 스페클을 억제시키지만 균일하지 않은 영역에서의 유사 패치의 평균값은 스페클을 억제하는 동시에 특징 성분을 강화시키는 역할도 한다. 그러나, 스페클에 오염되어 유사한 패치들로 인식되는 것들이 많을 경우 그 평균값은 오히려 에지 등을 부드럽게 만들 수 있다. 따라서, 유사 패치의 측정 기준을 강화할 필요가 있다.here A patch including a pixel to be restored, Represents a patch included in the search area, Is the distance threshold. If the FFS (fully formed speckle) condition is satisfied in a uniform region of the speckle image, the speckle does not affect the similarity because the distribution after log compression shows a Gaussian distribution. Thus, a uniform region can remove speckle using a fixed distance threshold. However, as explained briefly above, it may not be possible to satisfy the assumption of the Gaussian distribution in the region where the nonuniform medium exists, that is, the boundary of the tissue or the surface of the organ. have. In the uniform region, the average value of similar patches is used to suppress speckle. However, the average value of similar patches in nonuniform region also suppresses speckle and enhances the feature component. However, if there are many speckle-contaminated patches that are perceived as similar patches, the average value can make the edges smoother. Therefore, it is necessary to strengthen the measurement standard of the similar patch.
도 9는 거리 임계값에 대한 LMSE(Laplacian mean square error)의 변화 및 에지 보존 성능을 예시한 그래프로서, LMSE가 최저값을 지난 후부터 거리 임계값이 커질수록 LMSE 값이 계속 증가하는 것을 볼 수 있다. 즉, 임계값이 커지면 에지 성분의 부드러운 정도가 커진다. 따라서, 임계값의 변화 정도에 따라 초음파 영상의 특징 성분들이 보존되는지 여부가 결정된다. SRAD(speckle reducing anisotropic diffusion)에서 분산값(coefficient of variance, CV)이 스페클 제거에 중요한 역할을 하게 되는데, 국부적인 분산값은 SRAD가 실행되는 동안 에지의 부드러운 정도를 제어한다. 즉, 특정 구조나 에지를 포함하여 균일하지 않은 영역에서 부드러움의 정도를 감소시켜서 초음파 영상의 세밀한 부분을 보존하고, 균일한 영역에서는 부드러움의 정도를 강화하여 스페클을 더욱 효과적으로 감소시킨다. 이러한 거리 임계값과 국부 분산값의 역할을 본 발명의 실시예들에 따른 스페클 제거 알고리즘에 적용하고 패치의 분산을 이용하여 거리 임계값을 변화시킨다. 변형된 은 다음의 수학식 22와 같다.FIG. 9 is a graph illustrating changes in Laplacian mean square error (LMSE) and edge preservation performance with respect to a distance threshold. From FIG. 9, it can be seen that the LMSE value continuously increases as the distance threshold increases as the LMSE exceeds the minimum value. That is, when the threshold value is large, the softness of the edge component becomes large. Accordingly, it is determined whether or not the feature components of the ultrasound image are preserved according to the degree of change of the threshold value. In the speckle reducing anisotropic diffusion (SRAD), the coefficient of variance (CV) plays an important role in speckle removal, where the local variance value controls the softness of the edge during the execution of the SRAD. That is, it preserves the details of the ultrasound image by reducing the degree of softness in a non-uniform region including a specific structure or edge, and enhances the degree of softness in a uniform region to more effectively reduce the speckle. The role of the distance threshold value and the local variance value is applied to the speckle removal algorithm according to the embodiments of the present invention, and the distance threshold value is changed using the dispersion of the patch. Deformed Is expressed by the following equation (22).
여기서, 와 는 각각 국부 분산값의 최대, 최소값이고, 는 번째 화소의 국부 분산값이다. 변형된 유사 패치 평가 조건은 다음의 수학식 23과 같다.here, Wow Are the maximum and minimum values of the local variance values, respectively, The Th pixel. The modified similar patch evaluation condition is expressed by Equation 23 below.
여기서 는 변형된 거리 임계값을 나타낸다.here Represents a modified distance threshold.
이제, 거리 임계값을 변화시키면서 얻은 유사 패치를 이용하여 스페클을 제거할 경우, 임계값을 분산값의 증가에 따라 감소하도록 변화시켰을 때 에지 성분이 더욱 보강된 것을 확인할 수 있었다.Now, when the speckle is removed by using the similar patch obtained by varying the distance threshold value, it is confirmed that the edge component is further reinforced when the threshold value is changed to decrease with increasing dispersion value.
도 10은 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 장치(100)를 도시한 블록도로서, 도 2의 각 과정을 하드웨어의 관점에서 재구성한 도면이다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 구성의 기능을 중심으로 스페클 제거 과정을 약술하도록 한다.FIG. 10 is a block diagram showing an
입력부(10)는, 초음파 영상을 입력받는 수단이다.The
메모리(20)는, 상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하고, 프로세서(30)는 적어도 하나가 구비되어 상기 스페클을 제거하는 프로그램을 구동하게 된다. 이때, 상기 메모리(20)에 저장된 프로그램은, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함한다. 이렇게 생성된 초음파 영상은 별도의 디스플레이부(50)를 통해 표시될 수 있다.The
여기서, 상기 프로세서(30)는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색할 수 있다. 또한, 상기 검색 영역은, 스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것이 바람직하다. 나아가, 상기 프로세서(30)는, 상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것이 바람직하다.Here, the
상기 프로세서(30)는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬할 수 있다.The
또한, 상기 프로세서(30)는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출할 수 있다. 이때, 상기 프로세서(30)는, 상기 초음파 영상의 화소값과 화소별 평균값의 차이를 미리 설정된 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써, 상기 스페클이 제거된 화소값을 산출할 수 있다. 여기서, 상기 이득은, 유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정될 수 있다.The
한편, 초음파 영상의 스페클 제거 장치(100)는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부(15)를 더 포함하는 것이 바람직하다. 이 경우, 상기 프로세서(30)는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 간단히 산출할 수 있다.On the other hand, the
도 11은 본 발명의 실시예들에 따른 스페클 제거 기술을 이용하여 원본 초음파 영상 (a)로부터 스페클이 제거된 영상 (b)를 예시한 도면이다. 원본 초음파 영상 (a)에 비해 영상 (b)가 스페클이 제거되어 상대적으로 해부학적 구조 내부의 경계가 뚜렷해지고, 조직들 사이의 대비와 영상의 품질이 향상되었음을 확인할 수 있다.11 is a diagram illustrating an image (b) in which speckle is removed from the original ultrasound image (a) using the speckle removal technique according to the embodiments of the present invention. Compared to the original ultrasound image (a), the image (b) has removed the speckle and the boundary within the anatomical structure has become clear, and the contrast between the tissues and the quality of the image have been improved.
상기된 본 발명의 실시예들에 따르면, 초음파 영상의 자기 유사 특성에 의한 패치 반복성(patch recurrence)를 이용하여 유한한 개수의 유사 패치만을 활용한 스페클 제거를 수행함으로써, 종래의 방식들에 비해 상대적으로 적은 연산량으로 빠른 스페클 제거가 가능하며, 스페클 제거 성능 또한 향상시킴으로써 의료 현장에서 보다 정확한 해석 및 진단의 근거 자료로서 초음파 영상을 제공할 수 있다.According to the embodiments of the present invention described above, speckle removal using only a finite number of similar patches is performed using patch recurrence due to the self-similar characteristics of the ultrasound image, It is possible to eliminate the speckle with a relatively small amount of calculation and improve the speckle removing performance, thereby providing ultrasound image as a basis for more accurate analysis and diagnosis in a medical field.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
100: 초음파 영상의 스페클 제거 장치
10: 입력부
15: 저장부
20: 메모리
30: 프로세서
50: 디스플레이부100: Speckle removal device of ultrasound image
10: Input unit
15:
20: Memory
30: Processor
50:
Claims (19)
상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하는 단계;
유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하는 단계; 및
복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.Receiving ultrasound images;
Searching for similar patches having similar image characteristics to a patch including a position of a pixel to remove speckle in the ultrasound image;
Aligning the similar patches to a location with the highest degree of similarity; And
And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.
상기 유사 패치들을 검색하는 단계는,
상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하는 단계;
상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하는 단계; 및
산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.The method according to claim 1,
Wherein the searching for similar patches comprises:
Setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image;
Calculating an Euclidean distance between a patch including a pixel to be restored and a patch included in the search area while changing a comparison position within the search area; And
And determining the similarity patch when the calculated Euclidean distance is less than or equal to the distance threshold value.
상기 검색 영역은,
스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.3. The method of claim 2,
Wherein the search area comprises:
Wherein the speckle is a predetermined range centered around a position to be recovered by removing speckle and is relatively smaller than the entire area of the ultrasound image.
상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.3. The method of claim 2,
Wherein the degree of softness of an edge component of the ultrasound image is changed in proportion to a uniform degree of the pixel value by adjusting the distance threshold value to be decreased in inverse proportion to the previously calculated local dispersion, How to remove the clamp.
상기 유사 패치들을 정렬하는 단계는,
상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시키는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.The method according to claim 1,
Wherein aligning the similar patches comprises:
Wherein the similarity patches are arranged in a pixel unit, the cross-correlation coefficients are calculated, and a position having the largest cross-correlation coefficient as a position with the highest similarity is matched with a center pixel of a patch to be restored. A method for removing speckle in an image.
상기 스페클이 제거된 초음파 영상을 생성하는 단계는,
상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하는 단계;
상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하는 단계; 및
가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.The method according to claim 1,
Wherein the generating the speckle-free ultrasound image comprises:
Calculating an average value of patches in which similar patches are arranged around a patch including the pixel to be restored;
Calculating and adding a minimum mean square error (MMSE) gain and a speckle compression gain from a difference between a pixel value of the patches and the average value; And
And adding the average value to an addition result to calculate a pixel value from which speckle is removed.
상기 스페클이 제거된 화소값을 산출하는 단계는,
상기 초음파 영상의 화소값과 화소별 평균값의 차이를 소정 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산하는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.The method according to claim 6,
The step of calculating the pixel value from which the speckle is removed comprises:
Wherein a value obtained by changing a difference between a pixel value of the ultrasound image and an average value of each pixel by a predetermined gain is added to an average of pixels of the ultrasound image predicted in advance.
상기 소정 이득은,
유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정된 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.8. The method of claim 7,
The predetermined gain may be,
Wherein the variance of the original ultrasound image for the similar patches is set to a value obtained by dividing the variance of the original ultrasound image for the similar patches by the variance of the input ultrasound image for the similar patches.
상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 단계를 더 포함하고,
상기 스페클이 제거된 초음파 영상을 생성하는 단계는,
복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.The method according to claim 1,
And generating local statistical information including local average and variance of the ultrasound image for each pixel with respect to the ultrasound image,
Wherein the generating the speckle-free ultrasound image comprises:
Wherein the speckle removing unit calculates the pixel value from which the speckle has been removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.
상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하는 메모리; 및
상기 스페클을 제거하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
상기 메모리에 저장된 프로그램은,
상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함하는 초음파 영상의 스페클 제거 장치.An input unit for receiving the ultrasound image;
A memory for storing a program for removing speckle from the ultrasound image; And
And at least one processor for driving a program for removing the speckle,
A program stored in the memory,
A similar patch having similar image characteristics to a patch including a position of a pixel to be speckled in the ultrasound image is searched and the similar patches are aligned to a position having the highest similarity degree And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.
상기 프로세서는,
상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.12. The method of claim 11,
The processor comprising:
A patch including a position of a pixel to remove speckle in the ultrasound image, a patch including a pixel to be restored while changing a comparison position in the search region, Wherein the Euclidean distance between the patches is calculated and the similar patches are determined as similar patches when the calculated Euclidean distance is less than or equal to the distance threshold value. Device.
상기 검색 영역은,
스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.13. The method of claim 12,
Wherein the search area comprises:
Wherein the speckle removing unit removes the speckle and is set in a predetermined range around a position to be restored and is relatively smaller than the entire area of the ultrasound image.
상기 프로세서는,
상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.13. The method of claim 12,
The processor comprising:
Wherein the degree of softness of an edge component of the ultrasound image is changed in proportion to a uniform degree of the pixel value by adjusting the distance threshold value to be decreased in inverse proportion to the previously calculated local dispersion, Clearance device.
상기 프로세서는,
상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.12. The method of claim 11,
The processor comprising:
The similar patches are moved in the unit of a pixel, and the cross correlation coefficient is calculated. By matching the position having the largest cross correlation coefficient as the position with the highest similarity to the center pixel of the patch to be restored, Wherein the speckle removing unit aligns the speckle of the ultrasound image.
상기 프로세서는,
상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.12. The method of claim 11,
The processor comprising:
Calculating a mean value for patches in which similar patches are arranged around a patch including the pixel to be restored, calculating a minimum mean square error (MMSE) gain from the difference between the pixel value of the patches and the average value, And the speckle compression gain are respectively calculated and added, and the average value is added to the addition result to calculate the pixel value from which the speckle is removed.
상기 프로세서는,
상기 초음파 영상의 화소값과 화소별 평균값의 차이를 소정 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써, 상기 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.17. The method of claim 16,
The processor comprising:
And calculating a pixel value from which the speckle has been removed by adding a value obtained by changing a difference between the pixel value of the ultrasound image and the average value of each pixel using a predetermined gain to an average of pixels of the ultrasound image predicted in advance A speckle removal device for an ultrasound image.
상기 소정 이득은,
유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정된 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.18. The method of claim 17,
The predetermined gain may be,
Wherein the variance of the original ultrasound image for the similar patches is set to a value obtained by dividing the variance of the original ultrasound image by the variance of the input ultrasound image for the similar patches.
상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부를 더 포함하고,
상기 프로세서는,
복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.12. The method of claim 11,
Further comprising a storage unit for previously generating and storing local statistical information including local averages and variances of the ultrasound images for each of the ultrasound images,
The processor comprising:
Wherein the speckle removing unit calculates the pixel value from which the speckle is removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160154984A KR101919998B1 (en) | 2016-11-21 | 2016-11-21 | Speckle reduction method using the similar patches in ultrasound image and apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160154984A KR101919998B1 (en) | 2016-11-21 | 2016-11-21 | Speckle reduction method using the similar patches in ultrasound image and apparatus thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180056976A true KR20180056976A (en) | 2018-05-30 |
KR101919998B1 KR101919998B1 (en) | 2018-11-19 |
Family
ID=62300108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160154984A KR101919998B1 (en) | 2016-11-21 | 2016-11-21 | Speckle reduction method using the similar patches in ultrasound image and apparatus thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101919998B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861764A (en) * | 2021-02-25 | 2021-05-28 | 广州图语信息科技有限公司 | Face recognition living body judgment method |
KR20210115976A (en) * | 2020-03-17 | 2021-09-27 | 한양대학교 산학협력단 | Apparatus and method for removing noise in ultrasonic wave image |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030070324A (en) * | 2002-02-25 | 2003-08-30 | 이미지컴퓨팅랩 주식회사 | Method of searching nodule image independent of contrast and brightness and of determining malignancy or benignancy |
JP3834365B2 (en) * | 1996-10-16 | 2006-10-18 | アロカ株式会社 | Ultrasonic diagnostic equipment |
KR20130007905A (en) * | 2011-07-11 | 2013-01-21 | 삼성전자주식회사 | Method and apparatus for processing a ultrasound image |
CN102592267B (en) * | 2012-01-06 | 2014-09-03 | 复旦大学 | Medical ultrasonic image filtering method based on sparse representation |
-
2016
- 2016-11-21 KR KR1020160154984A patent/KR101919998B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3834365B2 (en) * | 1996-10-16 | 2006-10-18 | アロカ株式会社 | Ultrasonic diagnostic equipment |
KR20030070324A (en) * | 2002-02-25 | 2003-08-30 | 이미지컴퓨팅랩 주식회사 | Method of searching nodule image independent of contrast and brightness and of determining malignancy or benignancy |
KR20130007905A (en) * | 2011-07-11 | 2013-01-21 | 삼성전자주식회사 | Method and apparatus for processing a ultrasound image |
CN102592267B (en) * | 2012-01-06 | 2014-09-03 | 复旦大学 | Medical ultrasonic image filtering method based on sparse representation |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210115976A (en) * | 2020-03-17 | 2021-09-27 | 한양대학교 산학협력단 | Apparatus and method for removing noise in ultrasonic wave image |
CN112861764A (en) * | 2021-02-25 | 2021-05-28 | 广州图语信息科技有限公司 | Face recognition living body judgment method |
CN112861764B (en) * | 2021-02-25 | 2023-12-08 | 广州图语信息科技有限公司 | Face recognition living body judging method |
Also Published As
Publication number | Publication date |
---|---|
KR101919998B1 (en) | 2018-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6716175B2 (en) | Autonomous boundary detection system for echocardiographic images | |
US8805045B2 (en) | Interaction method for regions of-interest in time series images | |
Kokil et al. | Despeckling of clinical ultrasound images using deep residual learning | |
US20030095121A1 (en) | Vessel detection by mean shift based ray propagation | |
US7983456B2 (en) | Speckle adaptive medical image processing | |
US9202279B2 (en) | Apparatus and method for analyzing ultrasonic image | |
de Araujo et al. | Smoothing of ultrasound images using a new selective average filter | |
KR20140040679A (en) | An improved ultrasound imaging method/technique for speckle reduction/suppression in an improved ultra sound imaging system | |
US20130343627A1 (en) | Suppression of reverberations and/or clutter in ultrasonic imaging systems | |
CN110800019B (en) | Method and system for composite ultrasound image generation | |
JP2016539707A (en) | Image composition based on image information | |
JP2005169077A (en) | Method for finding transformation relating data point of first data set to data point of second data set, and computer program for performing the method | |
EP3908193A1 (en) | Systems and methods for microvessel ultrasound imaging | |
Wen et al. | An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation | |
US8500646B2 (en) | Color Doppler mode image processing in an ultrasound system | |
KR101919998B1 (en) | Speckle reduction method using the similar patches in ultrasound image and apparatus thereof | |
Breivik et al. | Real-time nonlocal means-based despeckling | |
Abd-Elmoniem et al. | Real time adaptive ultrasound speckle reduction and coherence enhancement | |
US7508968B2 (en) | Image compounding based on independent noise constraint | |
CN108022220B (en) | Ultrasonic image speckle noise removing method | |
Li et al. | Segmentation with speckle reduction and superresolution by deep leaning for human ultrasonic echo image | |
US20230404540A1 (en) | Methods for motion tracking and correction of ultrasound ensemble | |
Al-jaburi et al. | Medical ultrasound image quality enhancement and regions segmentation | |
Elnokrashy et al. | Advanced framework for enhancing ultrasound images through an optimized hybrid search algorithm and a novel motion compounding processing chain | |
US11138736B2 (en) | Information processing apparatus and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |