KR20180056976A - Speckle reduction method using the similar patches in ultrasound image and apparatus thereof - Google Patents

Speckle reduction method using the similar patches in ultrasound image and apparatus thereof Download PDF

Info

Publication number
KR20180056976A
KR20180056976A KR1020160154984A KR20160154984A KR20180056976A KR 20180056976 A KR20180056976 A KR 20180056976A KR 1020160154984 A KR1020160154984 A KR 1020160154984A KR 20160154984 A KR20160154984 A KR 20160154984A KR 20180056976 A KR20180056976 A KR 20180056976A
Authority
KR
South Korea
Prior art keywords
speckle
ultrasound image
pixel
patches
similar
Prior art date
Application number
KR1020160154984A
Other languages
Korean (ko)
Other versions
KR101919998B1 (en
Inventor
송태경
김민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020160154984A priority Critical patent/KR101919998B1/en
Publication of KR20180056976A publication Critical patent/KR20180056976A/en
Application granted granted Critical
Publication of KR101919998B1 publication Critical patent/KR101919998B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a technique for removing a speckle of an ultrasound image using similar patches. A method for removing a speckle of an ultrasound image comprises the steps of: receiving the ultrasound image; searching for similar patches having similar image characteristics to a patch including a position of a pixel to remove the speckle from the ultrasound image; aligning the similar patches at a location with the highest degree of similarity; and generating the ultrasound image from which the speckle is removed using the patches in which the similar patches are arranged around the patch including the pixel to be restored. Therefore, the method can solve difficulty in analysis and diagnosis of the ultrasound image due to the speckle.

Description

유사 패치를 이용하여 초음파 영상의 스페클을 제거하는 장치 및 방법{Speckle reduction method using the similar patches in ultrasound image and apparatus thereof}[0001] The present invention relates to an apparatus and a method for removing speckle of an ultrasound image using a similar patch,

본 발명은 초음파 신호 처리 기술에 관한 것으로서, 특히 B-모드 초음파 영상에서 자기 유사도를 갖는 영상의 특징인 패치 반복(patch recurrence)을 이용하여 대조도를 떨어뜨리고 조직과 병변에 대한 경계를 모호하게 만드는 스페클(speckle)을 제거하는 장치 및 방법에 관한 것이다.The present invention relates to an ultrasound signal processing technique, and more particularly, to a method and apparatus for processing ultrasound signals by using a patch recurrence characteristic of an image having self-similarity in a B-mode ultrasound image to reduce contrast and obscure boundaries for tissue and lesion To an apparatus and method for removing speckle.

의료용 초음파는 1950년대부터 꾸준히 연구되어 현재는 다양한 임상 응용 분야에서 널리 사용되고 있으며, 임상적으로 환자에게 유해하지 않으면서도 중요한 임상 정보를 제공한다는 장점을 갖기에 많은 의료 현장에서 활용되고 있다. 또한 초음파 검사의 실시간 특성은 심장과 같이 빠른 움직임을 갖는 인체 내부 기관들의 분석에 유용하며, 다중 평면을 영상화 할 수 있는 능력은 진료의 유연성을 제공한다.Medical ultrasound has been studied since the 1950s and has been widely used in various clinical applications. It has been used in many medical fields because it has the advantage of providing important clinical information without being harmful to the patient clinically. In addition, the real-time characteristics of ultrasound are useful for analyzing internal organs of the human body that have rapid movements like the heart, and the ability to image multiple planes provides the flexibility of care.

이러한 초음파 영상은 알갱이 모양의 아티팩트인 스페클(speckle)의 영향을 받는다. 스페클은 매질에서 무작위로 산란된 음파에 의해 생기는 간섭으로부터 발생하는데, 많은 연구자들은 자동 진단이나 수동 분석과 같은 진단을 방해하는 스페클의 부정적인 효과를 확인하였다. 예를 들어, 신체 일부에 대하여 취득한 B-모드(mode) 초음파 영상과 CT 영상의 결과를 비교하면, 비록 CT 영상이 초음파 영상보다 해상도가 낮음에도 불구하고 스페클이 없기 때문에 상대적으로 더 선명하게 보인다. 즉, B-모드 초음파 영상의 스페클 노이즈는 해부학적 구조 내부의 경계를 감추고, 초음파 영상에서 표현되는 장기나 조직들 사이의 대비를 감소시킴으로써, 결과적으로 잘못된 정보를 생산한다. 따라서, 초음파 영상이 해상도가 높다는 장점에도 불구하고 실질적 진단에 어려움을 줄 수 있다.Such ultrasound images are influenced by speckle, a granular artifact. Speckle arises from interference caused by randomly scattered sound waves in the medium, and many researchers have identified the negative effects of speckle, which interferes with diagnostics such as automatic diagnosis or manual analysis. For example, comparing the results of a B-mode ultrasound image and a CT image acquired for a part of the body, the CT image is relatively clear because it has no speckle even though the resolution is lower than that of the ultrasound image . That is, the speckle noise of the B-mode ultrasound image conceals the boundary within the anatomical structure and reduces the contrast between organs or tissues expressed in the ultrasound image, resulting in false information. Therefore, ultrasound images may be difficult to diagnose in spite of the advantages of high resolution.

이에 주목하여 초음파 영상에서 스페클을 제거하고자 하는 시도가 존재하였으며, 이하에서 제시되는 선행기술문헌에서는 다수의 영상을 평균하여 스페클 노이즈를 감소시키는 기술적 수단을 제안한 바 있다. 그러나, 여전히 의료 현장에서 활용 가능한 수준으로 초음파 영상에 대해 효과적으로 스페클을 제거할 수 있는 방법의 제시가 이루어지지 못하고 있는 상황이다.Attempts have been made to eliminate speckle in ultrasound images. In the following prior art documents, a technical means for reducing speckle noise by averaging a plurality of images has been proposed. However, there is still no way to effectively remove speckle on ultrasound images at a level that is still available in the medical field.

한국 특허등록공보 10-1552427, 2015.09.04 등록Korean Patent Registration Bulletin 10-1552427, Registered on 2015.09.04

본 발명의 실시예들이 해결하고자 하는 기술적 과제는, 스페클로 인해 초음파 영상의 해석과 진단에서 발생하는 어려움을 해소하고, 종래의 초음파 영상의 스페클 제거 방식들에 있어서 과도한 연산량과 그에 따라 장시간의 데이터 처리가 요구되는 한계를 극복하고자 한다.It is an object of the present invention to overcome the difficulties encountered in the analysis and diagnosis of ultrasound images due to speckle and to reduce the amount of computation and thus the long data We want to overcome the limitations of processing.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 영상의 스페클 제거 방법은, 초음파 영상을 입력받는 단계; 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하는 단계; 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하는 단계; 및 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of removing speckle of an ultrasound image, the method comprising: receiving an ultrasound image; Searching for similar patches having similar image characteristics to a patch including a position of a pixel to remove speckle in the ultrasound image; Aligning the similar patches to a location with the highest degree of similarity; And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.

일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 유사 패치들을 검색하는 단계는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하는 단계; 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하는 단계; 및 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정하는 단계를 포함할 수 있다.In the method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention, the step of searching for similar patches may include: setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image; Calculating an Euclidean distance between a patch including a pixel to be restored and a patch included in the search area while changing a comparison position within the search area; And determining the similarity patch when the calculated Euclidean distance is less than or equal to the distance threshold value.

일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 유사 패치들을 정렬하는 단계는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킬 수 있다.In the speckle removing method of an ultrasound image according to an exemplary embodiment, the step of aligning the similar patches may include arranging the similar patches on a pixel-by-pixel basis, calculating a cross-correlation coefficient, The position having the largest coefficient can be matched with the center pixel of the patch to be restored.

일 실시예에 따른 초음파 영상의 스페클 제거 방법에서, 상기 스페클이 제거된 초음파 영상을 생성하는 단계는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하는 단계; 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하는 단계; 및 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 단계를 포함할 수 있다.In the method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention, the step of generating an ultrasonic image from which the speckle is removed may include calculating an average value ; Calculating and adding a minimum mean square error (MMSE) gain and a speckle compression gain from a difference between a pixel value of the patches and the average value; And calculating the pixel value from which the speckle is removed by adding the average value to the addition result.

일 실시예에 따른 초음파 영상의 스페클 제거 방법은, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 단계를 더 포함하고, 상기 스페클이 제거된 초음파 영상을 생성하는 단계는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출할 수 있다.The method of removing speckle of an ultrasound image according to an exemplary embodiment of the present invention may further include generating local statistical information including a local mean and a variance of the ultrasound image for each pixel of the ultrasound image The step of generating the speckle-free ultrasound image may calculate the pixel value from which the speckle is removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.

나아가, 이하에서는 상기 기재된 초음파 영상의 스페클 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Further, in the following, a computer-readable recording medium on which a program for executing the speckle removing method of the ultrasound image described above is recorded in a computer is provided.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 초음파 영상의 스페클 제거 장치는, 초음파 영상을 입력받는 입력부; 상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하는 메모리; 및 상기 스페클을 제거하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함한다.According to an aspect of the present invention, there is provided an apparatus for removing speckles in an ultrasound image, the apparatus comprising: an input unit receiving an ultrasound image; A memory for storing a program for removing speckle from the ultrasound image; And at least one processor for driving the speckle removing program, wherein the program stored in the memory includes a patch including a position of a pixel for which speckle is to be removed in the ultrasound image, Similar patches having similar image characteristics are searched, and the similar patches are aligned to a position having the highest similarity. By using patches having similar patches arranged around the patches to be restored, And generating an ultrasound image that has been removed.

일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색할 수 있다.In an apparatus for removing speckles of an ultrasound image according to an embodiment, the processor sets a patch and a search area including a position of a pixel to remove speckle in the ultrasound image, The Euclidean distance between the patch including the pixel to be restored and the patch included in the search area is calculated while the calculated Euclidean distance is equal to or less than the distance threshold, The similar patches can be searched.

일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬할 수 있다.In the speckle removing apparatus for an ultrasound image according to an embodiment of the present invention, the processor moves the similar patches on a pixel-by-pixel basis, calculates a cross-correlation coefficient, calculates a cross- To match the center pixel of the patch to be restored.

일 실시예에 따른 초음파 영상의 스페클 제거 장치에서, 상기 프로세서는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출할 수 있다.In an apparatus for removing speckles of an ultrasound image according to an exemplary embodiment, the processor may calculate an average value of patches having similar patches arranged around the patch including the pixel to be restored, The minimum mean square error (MMSE) gain and the speckle compression gain are calculated and added from the difference between the average values, and the average value is added to the addition result to calculate the pixel value from which speckle is removed .

일 실시예에 따른 초음파 영상의 스페클 제거 장치는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부를 더 포함하고, 상기 프로세서는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출할 수 있다.The apparatus for removing speckles of an ultrasound image according to an exemplary embodiment of the present invention may further include a storage unit for previously generating and storing local statistical information including local averages and variances of the ultrasound images for each of the ultrasound images And the processor can calculate pixel values from which speckle is removed by adding pre-generated local statistical information for the number of similar patches to pixels to be restored.

본 발명의 실시예들은, 초음파 영상의 자기 유사 특성에 의한 패치 반복성(patch recurrence)를 이용하여 유한한 개수의 유사 패치만을 활용한 스페클 제거를 수행함으로써, 종래의 방식들에 비해 상대적으로 적은 연산량으로 빠른 스페클 제거가 가능하며, 스페클 제거 성능 또한 향상시킴으로써 의료 현장에서 보다 정확한 해석 및 진단의 근거 자료로서 초음파 영상을 제공할 수 있다.Embodiments of the present invention perform speckle removal using only a finite number of similar patches using patch recurrence due to the self-similar characteristics of the ultrasound image, thereby reducing a relatively small amount of computation It is possible to eliminate the fast speckle and improve the speckle removal performance, so that the ultrasound image can be provided as a basis for more accurate analysis and diagnosis in the medical field.

도 1은 B-모드(mode) 의료용 초음파 영상의 유사도를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 방법을 도시한 흐름도이다.
도 3은 패치 반복성을 이용하여 스페클을 제거하는 알고리즘을 도시한 블록도이다.
도 4는 유사 패치를 검색하는 과정을 설명하기 위한 도면이다.
도 5는 패치를 정렬하는 과정을 설명하기 위한 도면이다.
도 6은 유사 패치에 의한 영상 데이터를 예시한 도면이다.
도 7은 3차원으로 표현된 유사 패치 집합의 구조를 설명하기 위한 도면이다.
도 8은 최소 평균 제곱 오차를 이용하여 스페클을 제거하는 과정을 도시한 블록도이다.
도 9는 거리 임계값에 대한 LMSE(Laplacian mean square error)의 변화 및 에지 보존 성능을 예시한 그래프이다.
도 10은 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 장치를 도시한 블록도이다.
도 11은 본 발명의 실시예들에 따른 스페클 제거 기술을 이용하여 초음파 영상으로부터 스페클이 제거된 영상을 예시한 도면이다.
FIG. 1 is a view for explaining the similarity of a B-mode medical ultrasound image.
2 is a flowchart illustrating a method for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.
3 is a block diagram illustrating an algorithm for removing speckle using patch repeatability.
4 is a diagram for explaining a process of searching for a similar patch.
5 is a view for explaining a process of aligning patches.
6 is a diagram illustrating image data by a similar patch.
7 is a diagram for explaining the structure of a similar patch set expressed in three dimensions.
8 is a block diagram illustrating a process of removing speckle using a minimum mean square error.
9 is a graph illustrating a change in Laplacian mean square error (LMSE) and edge preservation performance for a distance threshold.
10 is a block diagram showing an apparatus for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.
11 is a diagram illustrating an image in which speckle is removed from an ultrasound image using a speckle removing technique according to embodiments of the present invention.

본 발명의 실시예들을 설명하기에 앞서, 초음파 영상 기술의 일례로서 의료용 B-모드(mode) 초음파 영상을 간략히 소개한 후, 의료 현장에서 이를 운용하는 경우 스페클로 인해 발생하는 문제점과 한계를 극복하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다.Prior to describing the embodiments of the present invention, brief introduction of a medical B-mode ultrasound image as an example of an ultrasound imaging technique, and then overcoming the problems and limitations caused by speckle The technical means employed by the embodiments of the present invention are presented in order.

초음파가 진행하는 그 직선인 스캔라인(scanline)의 위치를 바꾸어 가며 초음파를 방사하고 수신하면서 탐색을 계속하면, 탐색 방향의 평면의 정보를 얻을 수 있으며, 이렇게 평면 위를 순차적으로 탐색하여 돌아오는 에코의 크기를 밝기(brightness)의 차이로 나타낸 영상을 B(brightness)-모드 영상이라고 한다. B-모드 영상은 인체 내의 한 평면의 단층 영상을 실시간으로 보여주기 때문에 현재의 의료용 초음파 시스템에 널리 사용된다. If the ultrasonic wave is emitted while continuing the search while receiving the ultrasonic wave while changing the position of the scan line which is the straight line that the ultrasonic wave advances, information of the plane in the search direction can be obtained, (Brightness) -mode image is referred to as a brightness-mode image. The B-mode image is widely used in current medical ultrasound systems because it displays real-time tomographic images of one plane in the human body.

매질 내에 확산되어 있는 산란체로부터 반사되는 후방 산란(back scattering)에 의해 발생하는 보강 간섭과 상쇄 간섭의 영향으로 알갱이 모양의 스페클 패턴이 나타난다. 의료용 초음파 영상에서 스페클은 매우 중요한 임상적 의의를 갖고, 그 영향 또한 센서 노이즈와 같이 더해지는 형태의 노이즈보다 크다. 따라서, 이하에서 개시되는 본 발명의 실시예들은 초음파 영상, 예를 들어 B-모드 영상에서 발생하는 스페클 패턴에 의해 열화된 영상의 화질을 빠르고 정확하게 개선하는데 집중하고 있다.Shaped speckle pattern appears due to the influence of constructive interference and destructive interference caused by back scattering reflected from the scattering body scattered in the medium. In medical ultrasound images, speckle has a very important clinical significance, and its effect is also larger than the noise of the form added like sensor noise. Therefore, the embodiments of the present invention described below focus on improving the image quality of the image degraded by the speckle pattern generated in an ultrasound image, for example, a B-mode image, quickly and accurately.

현실 세계의 많은 물체들과 현상들은 통계적으로 자기 유사성(self-similarity)을 가지고 있다. 자기 유사성은 동일한 패턴이나 특징이 크기 변화에 상관없이 반복적으로 나타나는 특징을 말한다. 영상도 유사한 특성을 갖기 때문에, 영상이 크기 변화나 노이즈 등에 의해 열화되었을 때 자기 유사성을 이용하여 손실된 정보를 복원할 수 있다.Many objects and phenomena in the real world are statistically self-similar. Self-similarity refers to a feature in which the same pattern or feature repeatedly appears regardless of size change. Since the image has similar characteristics, when the image is degraded due to size change, noise, etc., the lost information can be restored by using the self similarity.

도 1은 B-모드(mode) 의료용 초음파 영상의 유사도를 설명하기 위한 도면으로서, 초음파 영상에서 패치 반복성(patch recurrence)가 나타나는 것을 보여준다. 초음파를 주사한 후 반사되어 오는 신호는 고해상도 특성을 갖지만, 장비에서 영상화하여 보여줄 경우, 예를 들어 256 레벨의 밝기 값을 갖는 저해상도 영상으로 표현되기 때문에 자연 영상보다 단순한 패턴이 반복된다. 도 1을 참조하면, 영상의 영역 전체에서 유사한 패치가 반복적으로 나타나는 것을 확인할 수 있다. 초음파 영상은 초음파 진행 단면에서 반사되어 오는 영상을 측정하기 때문에 수평 성분의 특징들이 많이 나타난다. 즉, 직선, 곡선, 원, 타원 같은 간단한 기하학 모양을 갖는 특징이 반복되는 자기 유사성을 갖는 영상이라고 볼 수 있으며, 패치 반복성이 빈번히 발생한다. 이와 같이, 초음파 영상에서는 유사한 패치가 반복되어 나타나기 때문에, 본 발명의 실시예들은 초음파 영상의 영역 전체가 아니라 상대적으로 작은 수의 유사 패치를 결정하여 스페클을 제거함으로써 스페클 제거 성능을 유지하면서도 처리 시간을 단축하고 연산의 복잡도를 효율적으로 감소시킬 수 있는 기법을 제안하고자 한다.FIG. 1 is a view for explaining the similarity of a B-mode medical ultrasound image, showing patch recurrence in an ultrasound image. The signal reflected after scanning the ultrasound has a high resolution characteristic. However, when the image is imaged by the equipment, for example, it is represented as a low-resolution image having a brightness value of 256 levels, so that a simple pattern is repeated. Referring to FIG. 1, it can be seen that similar patches appear repeatedly throughout the image region. The ultrasound image has many characteristics of the horizontal component because it measures the image reflected from the ultrasonic progressive section. That is, a feature having a simple geometric shape such as a straight line, a curve, a circle, and an ellipse can be regarded as an image having repetitive self-similarity, and patch repetition occurs frequently. Since the similar patch is repeatedly displayed in the ultrasound image, the embodiments of the present invention determine a relatively small number of similar patches instead of the entire region of the ultrasound image to remove the speckle, thereby maintaining the speckle removal performance, We propose a technique that can shorten the time and reduce the computational complexity efficiently.

도 2는 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention.

S210 단계에서, 스페클 제거 장치는, 초음파 영상을 입력받는다. 본 발명의 실시예들에서 이러한 초음파 영상은 B-모드 영상을 전제로 설명하고 있으나 이에 한정되지 않으며, 본 발명의 스페클 제거 방식이 적용될 수 있는 다양한 유형의 초음파 영상을 포함한다.In step S210, the speckle removal apparatus receives an ultrasound image. In the embodiments of the present invention, the ultrasound image is based on a B-mode image. However, the present invention is not limited thereto and includes various types of ultrasound images to which the speckle removing method of the present invention can be applied.

S220 단계에서, 상기 스페클 제거 장치는, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색한다. 본 발명의 실시예들은 자기 유사도에 따라 초음파 영상의 전체 영역이 아닌 일부 영역을 한정하고 복원한 화소(또는 영역)을 포함하는 패치와 유사한 패치를 한정된 탐색 영역 내에서 검색함으로써 연산의 속도를 향상시키고 검색에 따른 과부하를 방지할 수 있다.In step S220, the speckle removal apparatus searches for a similar patch having similar image characteristics to a patch including a position of a pixel for which speckle is to be removed in the ultrasound image. Embodiments of the present invention improve the speed of an operation by searching for a patch similar to a patch including a restored pixel (or region) within a limited search area by defining and restricting a part of the region rather than the entire region of the ultrasound image according to the degree of self similarity It is possible to prevent an overload due to the search.

S230 단계에서, 상기 스페클 제거 장치는, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)한다. 이 과정에서는 복원한 패치와 앞서 검색된 유사 패치를 비교하여 유사도가 가장 높은 위치에 배치하는 과정에 해당한다.In step S230, the speckle removing device aligns the similar patches to the position having the highest degree of similarity. In this process, the restored patch is compared with the similar patch that has been searched for before, and this process corresponds to a process of arranging the restored patch at the position with the highest similarity.

한편, S215 단계에서, 상기 스페클 제거 장치는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 것이 바람직하다. 이렇게 생성된 통계 정보는 이후 스페클 제거 과정에서 연산에 따른 부하를 감소시키는 역할을 한다.Meanwhile, in step S215, the speckle removing apparatus may generate local statistical information including local mean and variance of the ultrasound image for each pixel of the ultrasound image in advance. The generated statistical information serves to reduce the load on the calculation in the speckle removal process.

S240 단계에서, 상기 스페클 제거 장치는, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성한다. 이를 위해, 입력 영상과 스페클 제거 영상의 차 영상을 다시 영상에 이용할 때 사용하는 스페클 압축 이득을 산출하고, 앞서 정렬된 패치를 이용하여 최소평균제곱오차(minimum mean square error, MMSE)를 산출함으로써 스페클이 제거된 영상을 출력하게 된다.In step S240, the speckle removing apparatus generates an ultrasound image in which the speckle is removed using patches in which similar patches are arranged, with the patch including the pixel to be restored as a center. To this end, the speckle compression gain used when the difference image of the input image and the speckle-removed image is used again for the image is calculated, and the minimum mean square error (MMSE) is calculated using the previously aligned patches Thereby outputting the speckle-free image.

이하에서는 스페클 제거의 각 과정을 보다 구체적으로 설명하도록 한다.Hereinafter, each step of speckle removal will be described in more detail.

도 3은 패치 반복성을 이용하여 스페클을 제거하는 알고리즘을 도시한 블록도이다.3 is a block diagram illustrating an algorithm for removing speckle using patch repeatability.

입력 영상 v는 로그 압축(log compression) 이후의 신호이므로 원본 영상 u와 스페클 노이즈 n의 합으로 가정하고, 노이즈의 형태는 가우시안 분포에 따른다고 가정한다. 여기서, pi,j는 화소의 위치 (i,j)를 중심으로 하는 패치이고, (i,j)는 복원할 화소의 위치,

Figure pat00001
는 유사 패치들의 위치이다.
Figure pat00002
는 정렬 과정(patch alignment)을 거친 유사 패치이다.
Figure pat00003
는 본 알고리즘을 이용하여 복원된 화소 값이다.Since the input image v is a signal after log compression, it is assumed that the sum of the original image u and the speckle noise n is assumed, and that the shape of the noise depends on the Gaussian distribution. Here, p i, j is a patch centered on the pixel position (i, j), (i, j) is the position of the pixel to be restored,
Figure pat00001
Is the location of similar patches.
Figure pat00002
Is a similar patch that has undergone a patch alignment.
Figure pat00003
Is the reconstructed pixel value using this algorithm.

도 3의 알고리즘은 크게 전처리 부분과 후처리 부분(메인 처리 부분)으로 나눌 수 있다.The algorithm of Fig. 3 can roughly be divided into a preprocessing part and a post-processing part (main processing part).

전처리 부분은 입력 영상 전체에 대하여 국부적인 통계적 정보(local statistical information)(S310)을 생성하여 저장하는 부분으로서, 이 과정은 후처리 부분에서 필요한 정보들을 미리 준비하는 역할에 해당한다.The preprocessing part generates and stores local statistical information (S310) for the entire input image. The preprocessing part prepares the necessary information in the post-processing part.

후처리 부분은 입력 영상의 위치마다 패치 반복성 특징을 이용하여 유사 패치(S330)를 찾은 후, 최소평균제곱오차 추정기(MMSE estimator)(S350)를 이용하여 스페클 제거를 수행한다. 유사 패치(S330)를 찾는 과정에 앞서 거리 임계값을 결정(S320)할 필요가 있는데 이 과정에 대해서는 이후 도 9를 통해 보다 구체적으로 소개하도록 한다. 일단 유사 패치가 결정되어 정렬(S340)이 된 이후에는 복원할 화소의 정보와 국부적인 통계 정보(S310)만을 필요로 하므로 검색에 소요된 시간을 제외하고는 스페클 제거에 필요한 시간이 매우 적다는 장점을 갖는다.The post-processing part finds the similar patch S330 using the patch repeatability characteristic for each position of the input image, and performs speckle elimination using the minimum mean square error estimator (S350). It is necessary to determine a distance threshold value (S320) before searching for a similar patch S330. This process will be described in more detail with reference to FIG. Once the similar patches are determined and ordered (S340), only the information of the pixel to be restored and the local statistical information (S310) are needed. Therefore, the time required for speckle removal is very small except for the time spent for searching .

도 4는 유사 패치를 검색하는 과정을 설명하기 위한 도면이다. 앞서 도 1을 통해 설명한 바와 같이 초음파 영상이 패치 반복성 특징을 갖는 것을 확인하였다. 이 특징을 이용하여 영상 처리를 할 때 검색 부분에서 가장 많은 시간이 필요하다. 따라서, 처리 시간을 단축하기 위해 도 4와 같이 복원할 위치 주변에 유한한 탐색 영역을 설정한다. 이와 같이 검색 영역을 줄여도 충분한 유사 패치가 존재하는 특성이 있으므로, 검색 영역을 전체 영역으로 설정하지 않더라도 스페클 제거 결과에 주는 영향은 미미하다는 사실을 확인하였다. 본 발명의 실시예들은, 예를 들어 패치 넓이의 네배 만큼의 영역을 검색 영역으로 설정하고, 패치 위치를 변화시켜 가며 복원할 패치와 주변 패치의 밝기값 벡터의 유클리디언 거리(Euclidean distance)를 구하여, 이 값이 임계값보다 작을 경우에 유사 패치로 결정하였다.4 is a diagram for explaining a process of searching for a similar patch. As described above with reference to FIG. 1, it is confirmed that the ultrasound image has a patch repeatability characteristic. Using this feature, the most time is required in the search part when performing image processing. Therefore, in order to shorten the processing time, a finite search area is set around the position to be restored as shown in FIG. Even if the search area is reduced, there is a sufficient similar patch. Therefore, even if the search area is not set as the entire area, the influence on the speckle removal result is insignificant. In embodiments of the present invention, for example, an area of four times the width of the patch is set as the search area, and the Euclidean distance of the brightness value vector of the patch to be restored and the patch of the surrounding patch is changed When this value is smaller than the threshold value, it is determined as a similar patch.

요약하건대, 유사 패치들을 검색하는 과정은, 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써 수행된다. 또한, 상기 검색 영역은, 스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것이 바람직하다.To summarize, the process of searching for similar patches includes a step of setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image, and changing a comparison position in the search area to include a pixel to be restored And determining a similar patch when the calculated Euclidean distance is less than or equal to the distance threshold value. It is preferable that the search area is a preset range centered on a position to be recovered by removing speckle and a size that is relatively smaller than the entire area of the ultrasound image.

도 5는 패치를 정렬하는 과정을 설명하기 위한 도면이다. 특징(에지, 코너 등) 성분을 포함하고 있는 패치들은 균일한 밝기값을 갖는 패치들보다 유사도가 작은 경향이 있는데, 이 경우 패치의 정렬(alignment)을 통해 가장 유사한 부분을 맞춰주는 작업이 필요하다. 즉, 도 5와 같이 각 유사 패치와 복원할 패치의 정렬 과정을 통해 가장 유사한 패치 부분이 겹쳐지도록 한다. 유사 패치의 정렬을 위해서 패치를 화소 단위로 옮기며 상호 상관 계수를 구하고 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소와 일치시킬 수 있다.5 is a view for explaining a process of aligning patches. Patches that contain features (edges, corners, etc.) tend to be less similar than patches with uniform brightness values. In this case, alignment of the patches requires matching the most similar parts . That is, as shown in FIG. 5, the most similar patch portions overlap each other through the alignment process of each similar patch and the patch to be restored. In order to align the similar patches, the patches are shifted pixel by pixel and the cross correlation coefficient is obtained, and the position having the largest value can be matched with the center pixel of the patch to be restored.

요약하건대, 유사 패치들을 정렬하는 과정은, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시키는 것이 바람직하다.In summary, the process of aligning similar patches is performed by arranging the similar patches on a pixel-by-pixel basis, calculating a cross-correlation coefficient, calculating a patch having a position with the largest cross- It is preferable to match the center pixel.

도 6은 유사 패치에 의한 영상 데이터를 예시한 도면이다. 도 6과 같이 유사 패치들이 결정되면 복원해야 할 화소가 포함된 패치를 중심으로 영상 데이터가 3차원으로 분포하게 된다. 이 3차원 데이터에 대하여 최소평균제곱오차 추정을 적용한다.6 is a diagram illustrating image data by a similar patch. When similar patches are determined as shown in FIG. 6, image data is distributed in three dimensions around a patch including pixels to be restored. A minimum mean square error estimate is applied to the three-dimensional data.

먼저, 선형 특성을 갖는 측정값이 다음의 수학식 1과 같이 주어진다.First, a measurement value having a linear characteristic is given by the following equation (1).

Figure pat00004
Figure pat00004

Figure pat00005
,
Figure pat00006
가 가우시안 분포를 갖는다고 가정하면, 원본 영상 u를 구하는 것은
Figure pat00007
의 관계를 갖는
Figure pat00008
을 찾는 것이다. 즉, 복원된 영상과 원본의 오차들
Figure pat00009
을 최소화하는
Figure pat00010
를 구하면 된다. 따라서, 입력 영상 v가 주어졌을 때 최소평균제곱오차를 이용해 구한
Figure pat00011
는 다음의 수학식 2로 나타낼 수 있다.
Figure pat00005
,
Figure pat00006
Assuming that Gaussian distribution is assumed, finding the original image u
Figure pat00007
Having a relationship of
Figure pat00008
. That is, the reconstructed image and the errors of the original
Figure pat00009
To minimize
Figure pat00010
. Thus, given the input image v, the minimum mean square error
Figure pat00011
Can be expressed by the following equation (2).

Figure pat00012
Figure pat00012

u, v가 다음의 수학식 3의 분포 특성을 가질 때, v가 주어졌을 때의 u의 조건부 확률 분포는 수학식 4와 같다.The conditional probability distribution of u when v is given is given by Equation 4 when u, v have the following distribution characteristic of Equation (3).

Figure pat00013
Figure pat00013

Figure pat00014
Figure pat00014

여기서

Figure pat00015
이므로,
Figure pat00016
,
Figure pat00017
이다. 따라서, 최소평균제곱오차 추정은 다음의 수학식 5와 같다.here
Figure pat00015
Because of,
Figure pat00016
,
Figure pat00017
to be. Therefore, the minimum mean square error estimate is given by Equation (5).

Figure pat00018
Figure pat00018

여기서

Figure pat00019
는 u와 v의 공분산 매트릭스이다. 공분산 매트릭스
Figure pat00020
는 다음의 수학식 6과 같다.here
Figure pat00019
Is the covariance matrix of u and v. Covariance matrix
Figure pat00020
Is expressed by the following equation (6).

Figure pat00021
Figure pat00021

수학식 6에서

Figure pat00022
는 다음의 수학식 7과 같다.In Equation (6)
Figure pat00022
Is expressed by the following equation (7).

Figure pat00023
Figure pat00023

원본 영상 u가 주어졌을 때 노이즈 성분 n의 조건부 확률 평균이 수학식 8과 같다고 가정하면 수학식 7의 내부의 기대값

Figure pat00024
은 다음의 수학식 9와 같이 정리되므로, 수학식 7은 다음의 수학식 10과 같은 값을 갖는다.Assuming that the conditional probability average of the noise component n is given by Equation 8 when the original image u is given,
Figure pat00024
Is expressed by the following Equation (9), Equation (7) has the following Equation (10).

Figure pat00025
Figure pat00025

Figure pat00026
Figure pat00026

Figure pat00027
Figure pat00027

따라서, 수학식 6의 공분산 매트릭스는 다음의 수학식 11과 같이 되어, 수학식 5는 다음의 수학식 12와 같이 표현될 수 있다.Therefore, the covariance matrix of Equation (6) can be expressed by the following Equation (11), and Equation (5) can be expressed as Equation (12).

Figure pat00028
Figure pat00028

Figure pat00029
Figure pat00029

도 7은 3차원으로 표현된 유사 패치 집합의 구조를 설명하기 위한 도면으로서, 유사한 패치를 찾은 후 패치를 정렬하면 도 7과 같이 3차원의 데이터가 생성된다. 앞서, 수학식 12의 결과 식을 화소 기반 연산으로 바꾸고 3차원 데이터에 대하여 적용하면 화소와 노이즈 사이의 관계는 다음의 수학식 13과 같다.FIG. 7 is a diagram for explaining the structure of a similar patch set expressed in three dimensions. When similar patches are found and patches are aligned, three-dimensional data is generated as shown in FIG. When the resultant expression of Equation (12) is replaced with the pixel-based operation and applied to the three-dimensional data, the relationship between the pixel and the noise is expressed by Equation (13).

Figure pat00030
Figure pat00030

이제 복원해야 할 화소는 다음의 수학식 14이다.Now, the pixel to be restored is the following equation (14).

Figure pat00031
Figure pat00031

여기서,

Figure pat00032
는 이상적인 원본 영상의 화소 값이고, 이 값은 아직 구하지 않았으므로, 입력 영상의 평균값
Figure pat00033
으로 미리 예측한 값을 사용한다.
Figure pat00034
는 실측된 영상값
Figure pat00035
과 기대 값
Figure pat00036
의 차이를 이용하여 구한다. 이 차이값은 이득값
Figure pat00037
에 의해 변화되어 미리 예측한 값을 변화시킨다.here,
Figure pat00032
Is the pixel value of the ideal original image, and since this value has not yet been obtained, the average value of the input image
Figure pat00033
As shown in Fig.
Figure pat00034
Is an image value
Figure pat00035
And expected value
Figure pat00036
. The difference value is the gain value
Figure pat00037
And changes the predicted value in advance.

도 7은 검색 영역에서 복원 화소 패치와 검색된 유사 패치들을 3차원으로 정렬하여 보여주는데, 정렬된 패치들 중에서 중앙에 위치한 패치가 복원할 화소가 포함된 패치이다. 도 7과 같이 영상 데이터를 정리하면 수학식 14를 이용하여 영상을 복원할 수 있다. 도 7의 영상 좌표를 x, y 축으로 정의된 평면 위의 위치라고 하고, 패치들의 나열을 통해 만들어진 새로운 축을 z 축이라고 하고, 패치 영상의 크기를

Figure pat00038
, 패치의 수를
Figure pat00039
라고 하면,
Figure pat00040
는 다음의 수학식 15와 같다.FIG. 7 shows a reconstructed pixel patch and retrieved similar patches arranged in a three-dimensional array in the retrieval area, wherein a patch located at the center among the aligned patches includes a pixel to be reconstructed. As shown in FIG. 7, the image data can be restored using Equation (14). 7 is referred to as a position on a plane defined by the x and y axes, a new axis created by listing patches is referred to as a z axis, and the size of the patch image
Figure pat00038
, The number of patches
Figure pat00039
In other words,
Figure pat00040
Is expressed by the following equation (15).

Figure pat00041
Figure pat00041

여기서,

Figure pat00042
는 z 번째 영상 패치의 평균 값이다. 즉, 전체 화소의 평균 값은 각 패치의 평균 값들의 평균과 같다. 유사 패치의 집합에 대하여 입력 영상의 분산
Figure pat00043
을 구하기 위해서 수학식 16을 활용한다.here,
Figure pat00042
Is the mean value of the z-th image patch. That is, the average value of all the pixels is equal to the average of the average values of the patches. The distribution of the input image for a set of similar patches
Figure pat00043
(16) < / RTI >

Figure pat00044
Figure pat00044

각 화소의 제곱의 평균

Figure pat00045
은 수학식 17과 같으므로, 각 유사 패치의 밝기 값의 제곱 값들의 평균의 평균이다.The average of the squares of each pixel
Figure pat00045
Is the average of the mean values of the square values of the brightness values of each similar patch.

Figure pat00046
Figure pat00046

여기서, 수학식 15와 수학식 17을 적용하면, 수학식 16은 다음의 수학식 18과 같이 표현될 수 있다.Here, applying Equations (15) and (17), Equation (16) can be expressed as Equation (18).

Figure pat00047
Figure pat00047

수학식 1의 관계에 따라 수학식 19가 성립한다.Equation (19) is established according to the relationship of Equation (1).

Figure pat00048
Figure pat00048

이제,

Figure pat00049
이므로,
Figure pat00050
는 다음의 수학식 20과 같이 정리된다.now,
Figure pat00049
Because of,
Figure pat00050
Is expressed by the following equation (20).

Figure pat00051
Figure pat00051

여기서, 수학식 15와 수학식 18, 그리고 수학식 20을 이용하면 패치 반복성을 이용한 스페클 제거 방법인 수학식 14에 필요한 정보는 앞서 도 3을 통해 소개한 바 있는 전처리 과정에서 미리 산출하여 저장해 놓은 국부적인 통계 정보(S310)를 이용할 수 있기 때문에 모든 화소에 대하여 3차원 데이터에 대한 별도의 연산이 필요 없고, 유사 패치 수만큼의 덧셈 연산을 통해 간단히 구할 수 있다. 즉, 이러한 전처리 과정을 통해 본 발명의 실시예들은, 모든 화소에 대하여 생성되는 3차원 데이터에 대한 복잡한 연산으로 인한 처리 속도의 증가를 피할 수 있으므로, 빠른 연산 속도를 갖는다.Here, using Equations 15, 18, and 20, the information necessary for Equation 14, which is a speckle removal method using patch repeatability, is calculated and stored in advance in the pre-processing process previously described with reference to FIG. 3 Since it is possible to use the local statistical information (S310), it is not necessary to perform a separate operation on the three-dimensional data with respect to all the pixels, and it is possible to obtain easily by adding the same number of patches. In other words, through the preprocessing process, the embodiments of the present invention can avoid an increase in the processing speed due to complicated operations on the three-dimensional data generated for all the pixels, and thus have a high operation speed.

도 8은 최소 평균 제곱 오차를 이용하여 스페클을 제거하는 과정을 도시한 블록도로서, 유사 패치들을 정렬된 후, 3차원 데이터를 이용하여 스페클을 제거하는 과정을 도시하고 있다.FIG. 8 is a block diagram illustrating a process of removing speckle using a minimum mean square error. FIG. 8 illustrates a process of removing speckle using three-dimensional data after similar patches are aligned.

도 8을 참조하면, 스페클이 제거된 초음파 영상을 생성하는 과정은, 우선 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산(S810)하고, 상기 패치들의 화소값과 상기 평균값의 차(S820)로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득(S830)과 스페클 압축 이득(S840)을 각각 산출하여 가산(S850)한다. 그런 다음, 가산(S850) 결과에 상기 평균값을 가산(S860)하여 스페클이 제거된 화소값을 산출하게 된다.Referring to FIG. 8, in the process of generating the speckle-free ultrasound image, an average value is calculated for patches in which similar patches are arranged with respect to a patch including a pixel to be restored (S810) A minimum mean square error (MMSE) gain S830 and a speckle compression gain S840 are calculated and added (S850) from the difference (S820) between the pixel value of the input image and the average value. Then, the average value is added to the result of addition (S850) (S860), and the pixel value from which the speckle is removed is calculated.

특히, 상기 스페클이 제거된 화소값을 산출하는 과정은, 상기 초음파 영상의 화소값과 화소별 평균값의 차이를 앞서 수학식 14를 통해 소개한 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써 수행될 수 있다. 보다 구체적으로, 이러한 이득

Figure pat00052
은, 유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정될 수 있다.In particular, the process of calculating the pixel value from which the speckle is removed may include calculating a difference between the pixel value of the ultrasound image and the average value of each pixel using the gain introduced through Equation (14) To the pixel-by-pixel average of the image. More specifically,
Figure pat00052
May be set to a value obtained by dividing the variance of the original ultrasound image for the similar patches by the variance of the input ultrasound image for the similar patches.

한편, 본 발명의 실시예들이 전처리 과정을 통해 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성할 수 있음을 설명한 바 있다. 따라서, 이후 후처리 과정 중, 스페클이 제거된 초음파 영상을 생성하는 과정은, 복원하고자 하는 화소에 대하여 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 간단히 산출할 수 있게 된다.In the meantime, embodiments of the present invention have previously described that local statistical information including a local mean and variance of the ultrasound image can be generated in advance for each pixel on an ultrasound image through a preprocessing process. Therefore, in the post-processing process, the process of generating the speckle-free ultrasound image is performed by simply adding the pre-generated local statistical information for the number of similar patches to the pixel to be restored, .

이제, 앞서 도 3에서 간단히 소개한 바 있는 거리 임계값의 결정에 관하여 설명하도록 한다.Now, the determination of the distance threshold value, which has been briefly introduced in Fig. 3, will now be described.

본 발명의 실시예들에서 유사 패치를 결정하는 조건은 다음의 수학식 21과 같다.The condition for determining the similar patch in the embodiments of the present invention is expressed by the following equation (21).

Figure pat00053
Figure pat00053

여기서

Figure pat00054
는 복원할 화소를 포함한 패치,
Figure pat00055
는 검색 영역에 포함되는 패치를 나타내고,
Figure pat00056
는 거리 임계값이다. 스페클 영상의 균일한 영역에서 FFS(fully formed speckle) 조건을 만족할 경우 로그 압축(log compression) 후의 분포가 가우시안 분포를 보이기 때문에 유사도를 측정하는데 스페클은 영향을 주지 않는다. 따라서, 균일한 영역은 고정된 거리 임계값을 사용하여 스페클을 제거할 수 있다. 그러나, 앞서 간략히 설명하였듯이 균일하지 않은 매질이 존재하는 영역, 즉, 조직의 경계나 장기의 표면과 같은 영역에서는 가우시안 분포의 가정을 만족시키지 않을 수 있기 때문에 유사도를 측정하는데 스페클의 영향을 받을 수 있다. 균일한 영역에서는 유사 패치들의 평균값을 이용하여 스페클을 억제시키지만 균일하지 않은 영역에서의 유사 패치의 평균값은 스페클을 억제하는 동시에 특징 성분을 강화시키는 역할도 한다. 그러나, 스페클에 오염되어 유사한 패치들로 인식되는 것들이 많을 경우 그 평균값은 오히려 에지 등을 부드럽게 만들 수 있다. 따라서, 유사 패치의 측정 기준을 강화할 필요가 있다.here
Figure pat00054
A patch including a pixel to be restored,
Figure pat00055
Represents a patch included in the search area,
Figure pat00056
Is the distance threshold. If the FFS (fully formed speckle) condition is satisfied in a uniform region of the speckle image, the speckle does not affect the similarity because the distribution after log compression shows a Gaussian distribution. Thus, a uniform region can remove speckle using a fixed distance threshold. However, as explained briefly above, it may not be possible to satisfy the assumption of the Gaussian distribution in the region where the nonuniform medium exists, that is, the boundary of the tissue or the surface of the organ. have. In the uniform region, the average value of similar patches is used to suppress speckle. However, the average value of similar patches in nonuniform region also suppresses speckle and enhances the feature component. However, if there are many speckle-contaminated patches that are perceived as similar patches, the average value can make the edges smoother. Therefore, it is necessary to strengthen the measurement standard of the similar patch.

도 9는 거리 임계값에 대한 LMSE(Laplacian mean square error)의 변화 및 에지 보존 성능을 예시한 그래프로서, LMSE가 최저값을 지난 후부터 거리 임계값이 커질수록 LMSE 값이 계속 증가하는 것을 볼 수 있다. 즉, 임계값이 커지면 에지 성분의 부드러운 정도가 커진다. 따라서, 임계값의 변화 정도에 따라 초음파 영상의 특징 성분들이 보존되는지 여부가 결정된다. SRAD(speckle reducing anisotropic diffusion)에서 분산값(coefficient of variance, CV)이 스페클 제거에 중요한 역할을 하게 되는데, 국부적인 분산값은 SRAD가 실행되는 동안 에지의 부드러운 정도를 제어한다. 즉, 특정 구조나 에지를 포함하여 균일하지 않은 영역에서 부드러움의 정도를 감소시켜서 초음파 영상의 세밀한 부분을 보존하고, 균일한 영역에서는 부드러움의 정도를 강화하여 스페클을 더욱 효과적으로 감소시킨다. 이러한 거리 임계값과 국부 분산값의 역할을 본 발명의 실시예들에 따른 스페클 제거 알고리즘에 적용하고 패치의 분산을 이용하여 거리 임계값을 변화시킨다. 변형된

Figure pat00057
은 다음의 수학식 22와 같다.FIG. 9 is a graph illustrating changes in Laplacian mean square error (LMSE) and edge preservation performance with respect to a distance threshold. From FIG. 9, it can be seen that the LMSE value continuously increases as the distance threshold increases as the LMSE exceeds the minimum value. That is, when the threshold value is large, the softness of the edge component becomes large. Accordingly, it is determined whether or not the feature components of the ultrasound image are preserved according to the degree of change of the threshold value. In the speckle reducing anisotropic diffusion (SRAD), the coefficient of variance (CV) plays an important role in speckle removal, where the local variance value controls the softness of the edge during the execution of the SRAD. That is, it preserves the details of the ultrasound image by reducing the degree of softness in a non-uniform region including a specific structure or edge, and enhances the degree of softness in a uniform region to more effectively reduce the speckle. The role of the distance threshold value and the local variance value is applied to the speckle removal algorithm according to the embodiments of the present invention, and the distance threshold value is changed using the dispersion of the patch. Deformed
Figure pat00057
Is expressed by the following equation (22).

Figure pat00058
Figure pat00058

여기서,

Figure pat00059
Figure pat00060
는 각각 국부 분산값의 최대, 최소값이고,
Figure pat00061
Figure pat00062
번째 화소의 국부 분산값이다. 변형된 유사 패치 평가 조건은 다음의 수학식 23과 같다.here,
Figure pat00059
Wow
Figure pat00060
Are the maximum and minimum values of the local variance values, respectively,
Figure pat00061
The
Figure pat00062
Th pixel. The modified similar patch evaluation condition is expressed by Equation 23 below.

Figure pat00063
Figure pat00063

여기서

Figure pat00064
는 변형된 거리 임계값을 나타낸다.here
Figure pat00064
Represents a modified distance threshold.

이제, 거리 임계값을 변화시키면서 얻은 유사 패치를 이용하여 스페클을 제거할 경우, 임계값을 분산값의 증가에 따라 감소하도록 변화시켰을 때 에지 성분이 더욱 보강된 것을 확인할 수 있었다.Now, when the speckle is removed by using the similar patch obtained by varying the distance threshold value, it is confirmed that the edge component is further reinforced when the threshold value is changed to decrease with increasing dispersion value.

도 10은 본 발명의 일 실시예에 따른 유사 패치를 이용하여 초음파 영상의 스페클 제거 장치(100)를 도시한 블록도로서, 도 2의 각 과정을 하드웨어의 관점에서 재구성한 도면이다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 구성의 기능을 중심으로 스페클 제거 과정을 약술하도록 한다.FIG. 10 is a block diagram showing an apparatus 100 for removing speckle of an ultrasound image using a similar patch according to an embodiment of the present invention. FIG. 10 is a diagram reconstructing each process of FIG. 2 from the viewpoint of hardware. Therefore, in order to avoid duplication of explanation, the speckle elimination process will be outlined centering on the function of each constitution.

입력부(10)는, 초음파 영상을 입력받는 수단이다.The input unit 10 is means for receiving an ultrasound image.

메모리(20)는, 상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하고, 프로세서(30)는 적어도 하나가 구비되어 상기 스페클을 제거하는 프로그램을 구동하게 된다. 이때, 상기 메모리(20)에 저장된 프로그램은, 상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함한다. 이렇게 생성된 초음파 영상은 별도의 디스플레이부(50)를 통해 표시될 수 있다.The memory 20 stores a program for removing speckle from the ultrasound image, and the processor 30 is provided with at least one to drive a program for removing the speckle. At this time, the program stored in the memory 20 searches for similar patches having similar image characteristics to a patch including a position of a pixel for which speckle is to be removed in the ultrasound image, Aligning the similar patches to a higher position and generating an ultrasound image in which the speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored. The ultrasound image thus generated may be displayed through a separate display unit 50. FIG.

여기서, 상기 프로세서(30)는, 상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색할 수 있다. 또한, 상기 검색 영역은, 스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것이 바람직하다. 나아가, 상기 프로세서(30)는, 상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것이 바람직하다.Here, the processor 30 may include a patch and a search area including a position of a pixel to remove speckle in the ultrasound image, and a pixel to be restored while changing a comparison position in the search area And determining a similar patch when the calculated Euclidean distance is less than or equal to a distance threshold value to search for the similar patches have. It is preferable that the search area is a preset range centered on a position to be recovered by removing speckle and a size that is relatively smaller than the entire area of the ultrasound image. Further, the processor 30 adjusts the distance threshold to decrease inversely with the previously calculated local variance, so that the smoothness of the edge component of the ultrasound image changes in proportion to the uniformity of the pixel value .

상기 프로세서(30)는, 상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬할 수 있다.The processor 30 calculates the cross-correlation coefficient by arranging the similar patches on a pixel-by-pixel basis, calculates a cross-correlation coefficient, and determines a position having the largest cross- By matching, the similar patches can be aligned.

또한, 상기 프로세서(30)는, 상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출할 수 있다. 이때, 상기 프로세서(30)는, 상기 초음파 영상의 화소값과 화소별 평균값의 차이를 미리 설정된 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써, 상기 스페클이 제거된 화소값을 산출할 수 있다. 여기서, 상기 이득은, 유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정될 수 있다.The processor 30 calculates an average value of the patches in which the similar patches are arranged with respect to the patch including the pixel to be restored and calculates a minimum mean square error from the difference between the pixel value of the patches and the average value the minimum mean square error (MMSE) gain and the speckle compression gain are respectively calculated and added, and the average value is added to the addition result to calculate the pixel value from which the speckle is removed. At this time, the processor 30 adds the value obtained by changing the difference between the pixel value of the ultrasound image and the average value of each pixel using a predetermined gain to the average of the predicted ultrasound image, The removed pixel value can be calculated. Here, the gain may be set to a value obtained by dividing the variance of the original ultrasound image for the similar patches by the variance of the input ultrasound image for the similar patches.

한편, 초음파 영상의 스페클 제거 장치(100)는, 상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부(15)를 더 포함하는 것이 바람직하다. 이 경우, 상기 프로세서(30)는, 복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 간단히 산출할 수 있다.On the other hand, the speckle removal apparatus 100 of the ultrasound image includes a storage unit for previously generating and storing local statistical information including a local mean and variance of the ultrasound image for each pixel with respect to the ultrasound image 15). In this case, the processor 30 can easily calculate the pixel value from which the speckle is removed by adding the local statistical information generated in advance to the number of similar patches to the pixel to be restored.

도 11은 본 발명의 실시예들에 따른 스페클 제거 기술을 이용하여 원본 초음파 영상 (a)로부터 스페클이 제거된 영상 (b)를 예시한 도면이다. 원본 초음파 영상 (a)에 비해 영상 (b)가 스페클이 제거되어 상대적으로 해부학적 구조 내부의 경계가 뚜렷해지고, 조직들 사이의 대비와 영상의 품질이 향상되었음을 확인할 수 있다.11 is a diagram illustrating an image (b) in which speckle is removed from the original ultrasound image (a) using the speckle removal technique according to the embodiments of the present invention. Compared to the original ultrasound image (a), the image (b) has removed the speckle and the boundary within the anatomical structure has become clear, and the contrast between the tissues and the quality of the image have been improved.

상기된 본 발명의 실시예들에 따르면, 초음파 영상의 자기 유사 특성에 의한 패치 반복성(patch recurrence)를 이용하여 유한한 개수의 유사 패치만을 활용한 스페클 제거를 수행함으로써, 종래의 방식들에 비해 상대적으로 적은 연산량으로 빠른 스페클 제거가 가능하며, 스페클 제거 성능 또한 향상시킴으로써 의료 현장에서 보다 정확한 해석 및 진단의 근거 자료로서 초음파 영상을 제공할 수 있다.According to the embodiments of the present invention described above, speckle removal using only a finite number of similar patches is performed using patch recurrence due to the self-similar characteristics of the ultrasound image, It is possible to eliminate the speckle with a relatively small amount of calculation and improve the speckle removing performance, thereby providing ultrasound image as a basis for more accurate analysis and diagnosis in a medical field.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 초음파 영상의 스페클 제거 장치
10: 입력부
15: 저장부
20: 메모리
30: 프로세서
50: 디스플레이부
100: Speckle removal device of ultrasound image
10: Input unit
15:
20: Memory
30: Processor
50:

Claims (19)

초음파 영상을 입력받는 단계;
상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하는 단계;
유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하는 단계; 및
복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.
Receiving ultrasound images;
Searching for similar patches having similar image characteristics to a patch including a position of a pixel to remove speckle in the ultrasound image;
Aligning the similar patches to a location with the highest degree of similarity; And
And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.
제 1 항에 있어서,
상기 유사 패치들을 검색하는 단계는,
상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하는 단계;
상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하는 단계; 및
산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.
The method according to claim 1,
Wherein the searching for similar patches comprises:
Setting a patch and a search area including a position of a pixel to remove speckle in the ultrasound image;
Calculating an Euclidean distance between a patch including a pixel to be restored and a patch included in the search area while changing a comparison position within the search area; And
And determining the similarity patch when the calculated Euclidean distance is less than or equal to the distance threshold value.
제 2 항에 있어서,
상기 검색 영역은,
스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
3. The method of claim 2,
Wherein the search area comprises:
Wherein the speckle is a predetermined range centered around a position to be recovered by removing speckle and is relatively smaller than the entire area of the ultrasound image.
제 2 항에 있어서,
상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
3. The method of claim 2,
Wherein the degree of softness of an edge component of the ultrasound image is changed in proportion to a uniform degree of the pixel value by adjusting the distance threshold value to be decreased in inverse proportion to the previously calculated local dispersion, How to remove the clamp.
제 1 항에 있어서,
상기 유사 패치들을 정렬하는 단계는,
상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시키는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
The method according to claim 1,
Wherein aligning the similar patches comprises:
Wherein the similarity patches are arranged in a pixel unit, the cross-correlation coefficients are calculated, and a position having the largest cross-correlation coefficient as a position with the highest similarity is matched with a center pixel of a patch to be restored. A method for removing speckle in an image.
제 1 항에 있어서,
상기 스페클이 제거된 초음파 영상을 생성하는 단계는,
상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하는 단계;
상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하는 단계; 및
가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 단계를 포함하는 초음파 영상의 스페클 제거 방법.
The method according to claim 1,
Wherein the generating the speckle-free ultrasound image comprises:
Calculating an average value of patches in which similar patches are arranged around a patch including the pixel to be restored;
Calculating and adding a minimum mean square error (MMSE) gain and a speckle compression gain from a difference between a pixel value of the patches and the average value; And
And adding the average value to an addition result to calculate a pixel value from which speckle is removed.
제 6 항에 있어서,
상기 스페클이 제거된 화소값을 산출하는 단계는,
상기 초음파 영상의 화소값과 화소별 평균값의 차이를 소정 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산하는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
The method according to claim 6,
The step of calculating the pixel value from which the speckle is removed comprises:
Wherein a value obtained by changing a difference between a pixel value of the ultrasound image and an average value of each pixel by a predetermined gain is added to an average of pixels of the ultrasound image predicted in advance.
제 7 항에 있어서,
상기 소정 이득은,
유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정된 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
8. The method of claim 7,
The predetermined gain may be,
Wherein the variance of the original ultrasound image for the similar patches is set to a value obtained by dividing the variance of the original ultrasound image for the similar patches by the variance of the input ultrasound image for the similar patches.
제 1 항에 있어서,
상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하는 단계를 더 포함하고,
상기 스페클이 제거된 초음파 영상을 생성하는 단계는,
복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 방법.
The method according to claim 1,
And generating local statistical information including local average and variance of the ultrasound image for each pixel with respect to the ultrasound image,
Wherein the generating the speckle-free ultrasound image comprises:
Wherein the speckle removing unit calculates the pixel value from which the speckle has been removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.
제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 9. 초음파 영상을 입력받는 입력부;
상기 초음파 영상으로부터 스페클(speckle)을 제거하는 프로그램을 저장하는 메모리; 및
상기 스페클을 제거하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
상기 메모리에 저장된 프로그램은,
상기 초음파 영상 내에서 스페클(speckle)을 제거하고자 하는 화소의 위치를 포함하는 패치(patch)와 영상 특징이 유사한 유사 패치들을 검색하고, 유사도가 가장 높은 위치로 상기 유사 패치들을 정렬(alignment)하며, 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들을 이용하여 스페클이 제거된 초음파 영상을 생성하는 명령어를 포함하는 초음파 영상의 스페클 제거 장치.
An input unit for receiving the ultrasound image;
A memory for storing a program for removing speckle from the ultrasound image; And
And at least one processor for driving a program for removing the speckle,
A program stored in the memory,
A similar patch having similar image characteristics to a patch including a position of a pixel to be speckled in the ultrasound image is searched and the similar patches are aligned to a position having the highest similarity degree And generating an ultrasound image in which speckle is removed using patches in which similar patches are arranged around a patch including a pixel to be restored.
제 11 항에 있어서,
상기 프로세서는,
상기 초음파 영상 내에서 스페클을 제거하고자 하는 화소의 위치를 포함하는 패치와 검색 영역을 설정하고, 상기 검색 영역 내에서 비교 위치를 변화시키면서 복원하고자 하는 화소를 포함하는 패치와 상기 검색 영역에 포함되는 패치 간의 유클리디언 거리(Euclidean distance)를 산출하며, 산출된 상기 유클리디언 거리가 거리 임계값 이하인 경우를 유사 패치로 결정함으로써, 상기 유사 패치들을 검색하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
12. The method of claim 11,
The processor comprising:
A patch including a position of a pixel to remove speckle in the ultrasound image, a patch including a pixel to be restored while changing a comparison position in the search region, Wherein the Euclidean distance between the patches is calculated and the similar patches are determined as similar patches when the calculated Euclidean distance is less than or equal to the distance threshold value. Device.
제 12 항에 있어서,
상기 검색 영역은,
스페클을 제거하여 복원하고자 하는 위치를 중심으로 미리 설정된 범위이고, 상기 초음파 영상의 전체 영역보다 상대적으로 작은 크기인 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
13. The method of claim 12,
Wherein the search area comprises:
Wherein the speckle removing unit removes the speckle and is set in a predetermined range around a position to be restored and is relatively smaller than the entire area of the ultrasound image.
제 12 항에 있어서,
상기 프로세서는,
상기 거리 임계값을 미리 산출된 국부적인 분산엔 반비례하여 감소하도록 조절함으로써, 화소값의 균일한 정도에 비례하여 초음파 영상의 에지(edge) 성분의 부드러운 정도가 변화되는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
13. The method of claim 12,
The processor comprising:
Wherein the degree of softness of an edge component of the ultrasound image is changed in proportion to a uniform degree of the pixel value by adjusting the distance threshold value to be decreased in inverse proportion to the previously calculated local dispersion, Clearance device.
제 11 항에 있어서,
상기 프로세서는,
상기 유사 패치들을 화소 단위로 이동시켜 배치하되, 상호 상관 계수를 산출하고, 유사도가 가장 높은 위치로서 상호 상관 계수가 가장 큰 값을 갖는 위치를 복원할 패치의 중앙 화소에 일치시킴으로써, 상기 유사 패치들을 정렬하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
12. The method of claim 11,
The processor comprising:
The similar patches are moved in the unit of a pixel, and the cross correlation coefficient is calculated. By matching the position having the largest cross correlation coefficient as the position with the highest similarity to the center pixel of the patch to be restored, Wherein the speckle removing unit aligns the speckle of the ultrasound image.
제 11 항에 있어서,
상기 프로세서는,
상기 복원하고자 하는 화소가 포함된 패치를 중심으로 유사 패치들이 배치된 패치들에 대한 평균값을 계산하고, 상기 패치들의 화소값과 상기 평균값의 차로부터 최소평균제곱오차(minimum mean square error, MMSE) 이득과 스페클 압축 이득을 각각 산출하여 가산하며, 가산 결과에 상기 평균값을 가산하여 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
12. The method of claim 11,
The processor comprising:
Calculating a mean value for patches in which similar patches are arranged around a patch including the pixel to be restored, calculating a minimum mean square error (MMSE) gain from the difference between the pixel value of the patches and the average value, And the speckle compression gain are respectively calculated and added, and the average value is added to the addition result to calculate the pixel value from which the speckle is removed.
제 16 항에 있어서,
상기 프로세서는,
상기 초음파 영상의 화소값과 화소별 평균값의 차이를 소정 이득을 이용하여 변화시킨 값을 미리 예측된 상기 초음파 영상의 화소별 평균에 가산함으로써, 상기 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
17. The method of claim 16,
The processor comprising:
And calculating a pixel value from which the speckle has been removed by adding a value obtained by changing a difference between the pixel value of the ultrasound image and the average value of each pixel using a predetermined gain to an average of pixels of the ultrasound image predicted in advance A speckle removal device for an ultrasound image.
제 17 항에 있어서,
상기 소정 이득은,
유사 패치들에 대한 원본 초음파 영상의 분산을 상기 유사 패치들에 대한 입력 초음파 영상의 분산으로 제산한 값으로 설정된 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
18. The method of claim 17,
The predetermined gain may be,
Wherein the variance of the original ultrasound image for the similar patches is set to a value obtained by dividing the variance of the original ultrasound image by the variance of the input ultrasound image for the similar patches.
제 11 항에 있어서,
상기 초음파 영상에 대해 화소별로 상기 초음파 영상의 국부적인 평균과 분산을 포함하는 국부 통계 정보(local statistical information)를 미리 생성하여 저장하는 저장부를 더 포함하고,
상기 프로세서는,
복원하고자 하는 화소에 대하여 상기 유사 패치들의 수만큼 미리 생성된 국부 통계 정보를 가산함으로써 스페클이 제거된 화소값을 산출하는 것을 특징으로 하는 초음파 영상의 스페클 제거 장치.
12. The method of claim 11,
Further comprising a storage unit for previously generating and storing local statistical information including local averages and variances of the ultrasound images for each of the ultrasound images,
The processor comprising:
Wherein the speckle removing unit calculates the pixel value from which the speckle is removed by adding the local statistical information generated as many as the number of similar patches to the pixel to be restored.
KR1020160154984A 2016-11-21 2016-11-21 Speckle reduction method using the similar patches in ultrasound image and apparatus thereof KR101919998B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160154984A KR101919998B1 (en) 2016-11-21 2016-11-21 Speckle reduction method using the similar patches in ultrasound image and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160154984A KR101919998B1 (en) 2016-11-21 2016-11-21 Speckle reduction method using the similar patches in ultrasound image and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20180056976A true KR20180056976A (en) 2018-05-30
KR101919998B1 KR101919998B1 (en) 2018-11-19

Family

ID=62300108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160154984A KR101919998B1 (en) 2016-11-21 2016-11-21 Speckle reduction method using the similar patches in ultrasound image and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101919998B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861764A (en) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 Face recognition living body judgment method
KR20210115976A (en) * 2020-03-17 2021-09-27 한양대학교 산학협력단 Apparatus and method for removing noise in ultrasonic wave image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030070324A (en) * 2002-02-25 2003-08-30 이미지컴퓨팅랩 주식회사 Method of searching nodule image independent of contrast and brightness and of determining malignancy or benignancy
JP3834365B2 (en) * 1996-10-16 2006-10-18 アロカ株式会社 Ultrasonic diagnostic equipment
KR20130007905A (en) * 2011-07-11 2013-01-21 삼성전자주식회사 Method and apparatus for processing a ultrasound image
CN102592267B (en) * 2012-01-06 2014-09-03 复旦大学 Medical ultrasonic image filtering method based on sparse representation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834365B2 (en) * 1996-10-16 2006-10-18 アロカ株式会社 Ultrasonic diagnostic equipment
KR20030070324A (en) * 2002-02-25 2003-08-30 이미지컴퓨팅랩 주식회사 Method of searching nodule image independent of contrast and brightness and of determining malignancy or benignancy
KR20130007905A (en) * 2011-07-11 2013-01-21 삼성전자주식회사 Method and apparatus for processing a ultrasound image
CN102592267B (en) * 2012-01-06 2014-09-03 复旦大学 Medical ultrasonic image filtering method based on sparse representation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210115976A (en) * 2020-03-17 2021-09-27 한양대학교 산학협력단 Apparatus and method for removing noise in ultrasonic wave image
CN112861764A (en) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 Face recognition living body judgment method
CN112861764B (en) * 2021-02-25 2023-12-08 广州图语信息科技有限公司 Face recognition living body judging method

Also Published As

Publication number Publication date
KR101919998B1 (en) 2018-11-19

Similar Documents

Publication Publication Date Title
US6716175B2 (en) Autonomous boundary detection system for echocardiographic images
US8805045B2 (en) Interaction method for regions of-interest in time series images
Kokil et al. Despeckling of clinical ultrasound images using deep residual learning
US20030095121A1 (en) Vessel detection by mean shift based ray propagation
US7983456B2 (en) Speckle adaptive medical image processing
US9202279B2 (en) Apparatus and method for analyzing ultrasonic image
de Araujo et al. Smoothing of ultrasound images using a new selective average filter
KR20140040679A (en) An improved ultrasound imaging method/technique for speckle reduction/suppression in an improved ultra sound imaging system
US20130343627A1 (en) Suppression of reverberations and/or clutter in ultrasonic imaging systems
CN110800019B (en) Method and system for composite ultrasound image generation
JP2016539707A (en) Image composition based on image information
JP2005169077A (en) Method for finding transformation relating data point of first data set to data point of second data set, and computer program for performing the method
EP3908193A1 (en) Systems and methods for microvessel ultrasound imaging
Wen et al. An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation
US8500646B2 (en) Color Doppler mode image processing in an ultrasound system
KR101919998B1 (en) Speckle reduction method using the similar patches in ultrasound image and apparatus thereof
Breivik et al. Real-time nonlocal means-based despeckling
Abd-Elmoniem et al. Real time adaptive ultrasound speckle reduction and coherence enhancement
US7508968B2 (en) Image compounding based on independent noise constraint
CN108022220B (en) Ultrasonic image speckle noise removing method
Li et al. Segmentation with speckle reduction and superresolution by deep leaning for human ultrasonic echo image
US20230404540A1 (en) Methods for motion tracking and correction of ultrasound ensemble
Al-jaburi et al. Medical ultrasound image quality enhancement and regions segmentation
Elnokrashy et al. Advanced framework for enhancing ultrasound images through an optimized hybrid search algorithm and a novel motion compounding processing chain
US11138736B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant