KR102195047B1 - 3d이미지 품질을 향상시키는 방법과 장치 - Google Patents

3d이미지 품질을 향상시키는 방법과 장치 Download PDF

Info

Publication number
KR102195047B1
KR102195047B1 KR1020140012787A KR20140012787A KR102195047B1 KR 102195047 B1 KR102195047 B1 KR 102195047B1 KR 1020140012787 A KR1020140012787 A KR 1020140012787A KR 20140012787 A KR20140012787 A KR 20140012787A KR 102195047 B1 KR102195047 B1 KR 102195047B1
Authority
KR
South Korea
Prior art keywords
image
noise
input
pixel
brightness
Prior art date
Application number
KR1020140012787A
Other languages
English (en)
Other versions
KR20140109801A (ko
Inventor
왕강
허관훙
김지연
장우영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/199,049 priority Critical patent/US9401009B2/en
Publication of KR20140109801A publication Critical patent/KR20140109801A/ko
Application granted granted Critical
Publication of KR102195047B1 publication Critical patent/KR102195047B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

3D이미지 품질을 향상시키는 방법이 개시된다. 3D 이미지 품질을 향상시키는 방법은 (a) 입력된 3D이미지를 잡음 특성에 기초하여, 복수의 서브영역으로 분류하고, (b) 분류된 복수의 서브영역의 각각의 잡음 특성에 따라, 서로 다른 잡음 제거 방법을 이용하여, 입력된 3D이미지의 각각의 서브영역의 잡음을 제거하고, 잡음 제거 후의 3D이미지를 획득하며, (c) 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키는 단계를 포함한다.

Description

3D이미지 품질을 향상시키는 방법과 장치{Method and apparatus for enhancing quality of 3D image}
본 발명은 빛 간섭 단층 촬영한 3D이미지의 처리에 관한 것으로, 보다 상세하게는, 3D이미지의 잡음을 제거하고 3D이미지의 명암 대조비를 제고할 수 있는 3D이미지 품질을 향상시키는 방법과 장치에 관한 것이다.
빛 간섭 단층 촬영(OCT) 기술은 최근 수십 년 사이에 발전하기 시작한 높은 해상도의 생체 조직 촬영 기술이다. 이 기술은 이미 안과 임상 의학에 성공적으로 응용되고 있지만, 예를 들면 종양 검사와 피부병 검사 등에서 매우 치밀한 조직을 촬영하는 영역에서의 응용은 아직 완전하지 못하다. 그것은 매우 치밀한 조직은 빛을 고도로 분산시키고 침투성이 낮아, OCT 시스템의 신호대 잡음비(Signal to Noise Ratio)와 생성된 이미지의 다이나믹 레인지를 심각하게 하락시키기 때문에, 이미지 속의 기관과 병변의 해석과 진단이 어려워진다. 매우 치밀한 조직의 이미지 해상도를 제고하기 위해, 신속하고 효율적으로 이미지 잡음을 제거하고 이미지 세부(detail)의 명암 대조비를 향상시키는 방법을 발전시키는 것이 요구된다.
OCT 이미지의 잡음은 주로 가법 잡음과 승법 잡음을 포함하고, 이는 비간섭성 잡음과 간섭성 잡음으로도 불린다. 잡음 제거 방법은 주로 하드웨어를 기반으로 한 제거와 디지털 여파를 기반으로 하는 제거로 나뉜다. 하드웨어를 기반으로 한 제거는 주로 공간, 주파수, 각도와 편광상태 등의 혼합기술이다. 이상적인 상황에서, 이런 기술은 시스템의 가법 잡음과 승법 잡음을 물리적으로 제거할 수 있지만, 별도로 시스템 하드웨어를 추가할 필요가 있어, 시스템의 제조단가가 상승하게 된다. 이런 혼합 기술은 별도의 스캔 과정과 이미지 평균 과정이 필요하기 때문에, 시스템의 이미징 속도와 이미지의 명암 대조비가 현저하게 저하된다. 이와 비교하여, 소프트웨어를 기반으로 한 실시간 후처리(post-treatment) 방법은 이미징 속도에 영향주지 않는 상태에서 이미지에 대해 잡음을 제거하고 명암 대조비를 향상시킬 수 있으므로, 하드웨어를 기반으로 한 처리방법을 대체할 수 있는 매우 우수한 대체 방법이다.
대부분 기존의 잡음 제거와 이미지 향상 방법은 2D이미지에 적용되는 것으로, 주로 일부 합리적인 잡음 모델에 근거하여, 서로 다른 잡음 제거 알고리즘과 여파기를 제시하였다. 이런 여파기는 주로 4가지 유형으로 나뉘는데: 선형 여파기, 비선형 여파기, 확산(diffusion) 여파기 및 멀티 스케일 분석을 기반으로 한 여파기이다. 이 4가지 기존의 여파기는 모두 잡음을 억제할 수 있다. 하지만, 이런 여파기를 OCT 이미지에 응용하는 과정에는 여전히 아래와 같은 한계가 존재하는데: (1) 효과가 비교적 좋은 여파기는 OCT 시스템의 고속 실시간 처리의 요구를 충족시키지 못하고; (2) 사용한 여파기 모델의 한계로 인해, OCT 이미지 속의 일부 특정 잡음을 처리하지 못하며; (3) 여파 결과가 희미해 져서 이미지의 세부를 표시하지 못한다는 문제점이 있다.
최근에는 일부 3D OCT 이미지 잡음을 제거하는 알고리즘이 개발되고 있고, 이런 알고리즘은 2D 여파기 여파 과정에서 이미지가 희미해지는 결함을 어느 정도 개선하였다. 평균법(averaging method)을 기반으로 한 알고리즘은 주로 운동 보상을 기반으로 한 평균법과 멀티 스케일 웨이블릿 분석을 기반으로 한 평균법이 있다. L.fang, S.Li, Q.nie, J.A.Izatt, C.A.Toth와 S.Farsiu는 “Sparsity based denoising of spectral domain optical coherence tomography images”에서, 희소사전을 기반으로 한 3D OCT 이미지의 잡음 제거 방법을 제시하였고, 평균법을 도입한 이미지가 희미해지는 것을 더욱 개선할 수 있었다. 하지만 이런 3D 잡음 제거 방법의 처리 속도는 모두 실제 처리의 요구를 충족시킬 수 없었다.
일반적인 이미지로 말하자면, CCD나 또는 감광 필름에 의해 얻어지고, 이미지 속의 각 픽셀의 잡음 특성은 모두 같다. 하지만, OCT 이미지는 점(point)에 따라 혹은 선(line)에 따라 일일이 스캐닝하여 얻어진 것으로, 각 점의 잡음 성질은, 시스템의 어느 확정 시점에서의 상태와 스캔한 물체의 상태와 매우 밀접한 관련이 있다. 때문에, 현재의 3D OCT 이미지의 잡음제거 방법은 서로 다른 잡음 특성을 가진 각종 잡음을 효과적으로 제거할 수 없었다. 요컨대, 현재의 이미지 잡음 제거 방법에는 아래와 같은 문제가 여전히 존재하는데: (1) 효과가 비교적 좋은 2D여파기와 3D여파기는 OCT 시스템의 고속 실시간 처리의 요구를 충족시키지 못하고, (2) 사용한 여파기의 모델의 한계로 인해, OCT 이미지 속의 일부 특정 잡음과 잡음 성질이 다른 잡음을 처리하지 못하는 문제; (3) 여파 결과 이미지의 세부가 희미하여, 이미지를 세부적으로 해석하지 못하는 문제가 존재한다.
기존 기술 속의 상기 결함을 해결하기 위해, 본 발명의 목적은 3D 이미지 잡음을 제거할 수 있고 3D 이미지 명암 대조비를 제고할 수 있는 3D 이미지의 품질을 향상시키는 방법과 장치를 제공하는데 있다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법은, (a) 입력된 3D이미지를 잡음 특성에 기초하여, 복수의 서브영역으로 분류하는 단계; (b) 상기 분류된 복수의 서브영역의 각각의 잡음 특성에 따라, 서로 다른 잡음 제거 방법을 이용하여, 상기 입력된 3D이미지의 각각의 서브영역의 잡음을 제거하고, 잡음 제거 후의 3D이미지를 획득하는 단계; 및 (c) 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키는 단계를 포함한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법에 있어서, 단계(a)에서는, 상기 잡음 특성에 기초하여, 상기 입력된 3D이미지를 전경 영역과 배경 영역으로 분류하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법에 있어서, 단계(a)는, 상기 입력된 3D이미지를 수신하는 단계; 상기 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 목표 이미지를 선택하는 단계; 및 상기 잡음 특성에 기초하여, 상기 선택된 목표 이미지를 전경 영역과 배경 영역으로 분류하는 단계를 포함한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법은, 상기 입력된 3D이미지에서 밝기가 소정 임계값을 초과하는 픽셀은 전경 영역으로 분류하고, 상기 입력된 3D이미지에서 밝기가 소정 임계값 이하인 픽셀은 배경 영역으로 분류하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법에 있어서, 단계(b)에서는, 하기의 수학식 5로 표현되는 겹선형 잡음 제거 모델을 이용하여 상기 입력된 3D이미지의 잡음을 제거하고;
[수학식 5]
Figure 112014011100248-pat00001
상기 수학식 5에서, f i 는 상기 잡음 제거 후의 3D이미지에 포함된 픽셀i의 밝기, g i 는 상기 입력된 3D이미지에 포함된 상기 픽셀i의 밝기, g i 는 상기 입력된 3D이미지의 배경 영역에 포함된 모든 픽셀의 밝기의 평균값
Figure 112014011100248-pat00002
, 와
Figure 112014011100248-pat00003
는 각각 상기 입력된 3D이미지의 전경 영역과 배경 영역의 분류 파라미터를 표시하며, 하기의 수학식4에 따라, 상기 픽셀i를 중심으로 상기 입력된 3D이미지의 3D이미지물 속에서 a1 i 와 b1 i 를 계산하고, 상기 픽셀i를 중심으로 상기 입력된 3D이미지의 평면 구역 속에서 a2 i 와 b2 i 를 계산하며:
[수학식 4]
Figure 112014011100248-pat00004
상기 수학식 4에서,
Figure 112014011100248-pat00005
는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00006
에 포함된 픽셀의 개수, g k 는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00007
에 포함된 픽셀k의 밝기, g w i 는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00008
에 포함된 모든 픽셀의 밝기의 평균값 및
Figure 112014011100248-pat00009
는 상기 입력된 3D이미지의 각 픽셀의 밝기의 분산값(variance)을 표시하며, 상기 수학식 5에서
Figure 112014011100248-pat00010
와
Figure 112014011100248-pat00011
는 각각 상기 3D이미지물에 포함된각 픽셀의 a1 i 와 b1 i 의 평균값을 표시하고,
Figure 112014011100248-pat00012
와
Figure 112014011100248-pat00013
는 각각 상기 평면 구역에 포함된 각 픽셀의 a2 i 와 b2 i 의 평균값을 표시하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법은 상기 3D이미지물은 상기 픽셀i를 중심으로 한 8×8×10 픽셀의 3D 정육면체이고, 상기 평면 구역은 상기 픽셀i를 중심으로 한 8×8 픽셀의 평면 구역인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법은 하기의 수학식 3에 기초하여 상기
Figure 112014011100248-pat00014
와 상기
Figure 112014011100248-pat00015
를 결정하며,
[수학식 3]
Figure 112014011100248-pat00016
여기에서,
Figure 112014011100248-pat00017
는 상기 픽셀i를 중심으로 한 평면 구역
Figure 112014011100248-pat00018
에 포함된 모든 픽셀의 밝기의 평균값,
Figure 112014011100248-pat00019
는 소정의 임계값으로서, 상기 입력된 3D이미지의 배경 구역에 포함된 픽셀의 밝기의 평균값을 표시하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법에 있어서, 단계(c)는: 상기 잡음 제거 후의 3D이미지를 고주파 성분과 저주파 성분으로 분류하는 단계; 및 상기 고주파 성분과 상기 저주파 성분을 가중합성하여, 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상하는 단계를 포함한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 방법에 있어서, 단계(c)에서는 하기의 수학식6에 기초하여 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키며:
[수학식 6]
Figure 112014011100248-pat00020
여기에서,
Figure 112014011100248-pat00021
는 향상 후의 3D이미지 속 픽셀i의 밝기,
Figure 112014011100248-pat00022
는 상기 잡음 제거 후의 3D이미지 속의 픽셀i의 밝기, k는 고주파 분량 증가 요소를 표시하고 또한 상기 k는 1보다 큰 실수(實數)이며, 그 중, 하기의 수학식 4에 따라 상기 픽셀i을 중심으로 한 잡음 제거 후의 3D이미지의 평면구역에 포함된
Figure 112014011100248-pat00023
와
Figure 112014011100248-pat00024
를 계산하며:
[수학식 7]
Figure 112014011100248-pat00025
상기 수학식 7에서,
Figure 112014011100248-pat00026
는 상기 평면 구역
Figure 112014011100248-pat00027
에 포함된 픽셀의 개수, g k 는 상기 평면 구역
Figure 112014011100248-pat00028
에 포함된 픽셀k의 밝기, g w i 는 상기 평면 구역
Figure 112014011100248-pat00029
에 포함된 모든 픽셀의 밝기의 평균값 및
Figure 112014011100248-pat00030
는 잡음 제거 후의 3D이미지의 각 픽셀의 밝기의 분산값(variance)을 표시하며, 그 중에서
Figure 112014011100248-pat00031
와
Figure 112014011100248-pat00032
는 각각 상기 평면 구역 속 각 픽셀에 대해 계산한 a if 와 b if 의 평균값을 표시하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3D이미지의 품질을 향상시키는 장치는 입력된 3D이미지를 잡음 특성에 기초하여, 복수개의 서브영역으로 분류하는 이미지 분류 모듈; 상기 복수개의 서브영역 각각의 잡음 특성에 따라, 서로 다른 잡음 제거 전략을 이용하여, 상기 입력된 3D이미지의 각각의 서브영역의 잡음을 제거하여, 잡음 제거 후의 3D이미지를 획득하는 잡음제거 모듈;및 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키는 세부 향상 모듈을 포함한다.
본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법과 장치는, 계산 속도가 빠르고, 잡음 제거와 세부 향상 능력이 강하여, 상업적인 OCT 시스템에 직접 응용하여 이미지의 품질을 제고할 수 있는 효율적인 수단이다.
이어지는 기재에서, 본 발명의 또 다른 일면과/또는 장점을 부분적으로 서술하고, 또 일부분은 아래의 기재를 통해 더욱 명확해 지거나 또는 본 발명의 실시를 통해 알 수 있다.
아래에서 도면을 결합하여 자세히 서술함으로서, 본 발명의 상기 및 기타 목적, 특징과 장점이 더욱 명확해 질 것이다.
도 1은 본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법을 도시한 흐름도이다.
도 2A와 도 2B는 잡음 제거 전의 이미지와 잡음 제거 후의 이미지를 도시한 도면이다.
도 3A 내지 도3C는 서로 다른 잡음 제거 방법을 적용하여 획득한 이미지를 도시한 비교도이다.
도 4는 본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 장치를 도시한 블록도이다.
아래에서 도면을 참조하여 본 발명의 실시예를 자세히 서술한다. 도면에서, 같은 도면부호는 항상 같은 구조, 특성 및 구성요소를 표시한다.
도 1은 본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법을 도시한 흐름도이다.
도 1을 참조하면, 단계 101에서, 3D 이미지 품질을 향상시키는 장치는 입력된 3D 이미지를 잡음 특성에 기초하여, 다수의 서브 영역으로 분류한다. 구체적으로, 단계 101에서, 3D 이미지 품질을 향상시키는 장치는 입력되는 3D이미지를 수신하고, 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 목표 이미지를 선택한다. 3D 이미지 품질을 향상시키는 장치는 잡음 특성에 기초하여 선택된 목표 이미지를 전경 영역과 배경 영역으로 분류한다. 3D OCT(Optical Coherence Tomography) 이미지 속에는 주로 가법 잡음과 승법 잡음이 존재한다. 가법 잡음은 전체 이미지 영역에 존재하고, 승법 잡음은 주로 신호가 있는 영역에 존재한다.
도 2A에 도시된 바와 같이, 이미지는 비교적 밝은 전경 영역(신호 구역)과 비교적 어두운 배경 영역(신호가 약하거나 없는 구역)으로 명확하게 나뉜다. 이러한 점에 기초하여, 3D 이미지 품질을 향상시키는 장치는 임계값을 기준으로 이미지를 주로 승법 잡음으로 구성된 전경 영역과 주로 가법 잡음으로 구성된 배경 영역으로 나눈다. 즉, 3D 이미지 품질을 향상시키는 장치는 입력된 3D이미지에 포함된 픽셀들을 밝기가 소정 임계값보다 큰 픽셀은 전경 영역으로 분류하고, 입력된 3D이미지 속에서 밝기가 소정 임계값과 같거나 작은 픽셀은 배경 영역으로 분류한다. 여기에서, 소정 임계값은 N back으로 표시되고, 임계값은 배경 영역 속의 모든 픽셀의 밝기의 평균값을 나타낸다. 실시예에서 3D 이미지 품질을 향상시키는 장치는, 실험을 기초로 3D 이미지에 적합한 N back을 확정할 수도 있고, 기존에 실시 결과를 기초로 3D 이미지에 적합한 N back을 확정할 수도 있다. 하지만, 이에 한정되지 않고, 3D 이미지 품질을 향상시키는 장치는 기존 기술 중의 임의의 방법을 이용해 입력된 3D 이미지에 적합한 N back을 확정할 수도 있다. 그 외에, 서브 영역의 분류는, 임계값을 기초로 한 분류에 한정되지 않고, 3D 이미지의 잡음 특성에 기초하여 이미지를 분류하는데 적용가능한 모든 방법이 적용될 수 있다.
단계 102에서, 3D 이미지 품질을 향상시키는 장치는 분류된 각 서브 영역의 잡음 특성에 기초하여, 서로 다른 잡음 제거 방법을 각 서브 영역에 적용하여 입력된 3D이미지의 각 서브 영역에서 잡음을 제거하고, 잡음 제거 후의 3D이미지를 얻는다. 구체적으로 말하면, 3D OCT 이미지의 모델은 수학식 1로 표시될 수 있다.
[수학식1]
Figure 112014011100248-pat00033
상기의 수학식 1에서, a i 는 입력된 3D이미지에 포함된 픽셀i의 승법 잡음을 나타내고, b i 는 입력된 3D이미지에 포함된 픽셀i의 가법 잡음을 나타내며, f i 는 잡음 제거 후의 3D이미지에 포함된 픽셀i의 밝기를 나타내고, g i 는 입력된 3D이미지에 포함된 픽셀i의 밝기를 나타낸다.
3D 이미지 품질을 향상시키는 장치는 배경 영역의 잡음을 제거하기 위해 입력된 3D이미지의 배경 영역의 가법 잡음을 평균내어, 대부분의 가법 잡음을 제거하고 그 다음 평균 후의 배경 영역을 수학식 1을 이용해 복원한다. 한편, 3D 이미지 품질을 향상시키는 장치는 전경 영역의 잡음을 제거하기 위해 수학식1을 이용해, 입력된 3D이미지를 복원한다. 상기 잡음 제거 전략은 하기의 수학식 2에 표시된 겹선형 잡음 제거 모델을 이용해 실현될 수 있다.
[수학식2]
Figure 112014011100248-pat00034
여기에서, g i 는 입력된 3D 이미지의 배경 영역에 포함된 모든 픽셀의 밝기 평균값을 표시하고, 상기
Figure 112014011100248-pat00035
와 상기
Figure 112014011100248-pat00036
는 각각 입력된 3D이미지의 전경 영역과 배경 영역을 구분하는 파라미터를 표시한다. 상기
Figure 112014011100248-pat00037
와 상기
Figure 112014011100248-pat00038
하기의 수학식 3에 기초하여 확정될 수 있다.
[수학식 3]
Figure 112014011100248-pat00039
여기에서,
Figure 112014011100248-pat00040
는 상기 픽셀i를 중심으로 한 평면 구역
Figure 112014011100248-pat00041
에 포함된 모든 픽셀의 밝기의 평균값,
Figure 112014011100248-pat00042
는 소정의 임계값으로서, 상기 입력된 3D이미지의 배경 구역에 포함된 픽셀의 밝기의 평균값을 표시하는 것을 특징으로 한다. 여기서 상기 평면 구역
Figure 112014011100248-pat00043
는 픽셀i를 중심으로 한 8×8픽셀의 평면 구역이다. 하지만, 이는 일 실시예일 뿐, 평면 구역은 다른 크기로 선택될 수 있다. 예를 들어, 는 픽셀i를 중심으로 한 3D 정육면체에 포함된 모든 픽셀의 밝기 평균값을 나타낼 수 있다.
하기의 수학식 4에 기초하여 픽셀i를 중심으로 한 입력된 3D이미지물 내에서의 a1 i 와 b1 i 를 계산하고, 픽셀i를 중심으로 한 입력된 3D이미지의 평면 구역내에서의 a2 i 와 b2 i 를 계산할 수 있다. 여기서, 상기 3D이미지물은 픽셀i를 중심으로 한 8×8×10픽셀의 3D정육면체일 수 있고, 상기 평면 구역은 픽셀i를 중심으로 한 8×8 픽셀의 평면 구역일 수 있다. 하지만, 본 발명은 이에 한정되지 않고, 임의의 적당한 사이즈의 3D이미지물과 평면 구역을 선택할 수 있다.
[수학식 4]
Figure 112014011100248-pat00044
상기 수학식 4에서,
Figure 112014011100248-pat00045
는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00046
에 포함된 픽셀의 개수, g k 는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00047
에 포함된 픽셀k의 밝기, g w i 는 상기 3D이미지물 또는 상기 평면 구역
Figure 112014011100248-pat00048
에 포함된 모든 픽셀의 밝기의 평균값 및
Figure 112014011100248-pat00049
는 상기 입력된 3D이미지의 각 픽셀의 밝기의 분산값(variance)을 표시한다.
본 발명의 실시예에서는, 3D이미지물 또는 평면 구역
Figure 112014011100248-pat00050
에 포함된 각 픽셀k에 대해 계산한 a k 의 평균값이 실제 기준값으로 사용되었고, 수학식2는 아래 수학식5처럼 수정될 수 있다.
[수학식 5]
Figure 112014011100248-pat00051
그 중에서,
Figure 112014011100248-pat00052
와
Figure 112014011100248-pat00053
는 각각 3D이미지물에 포함된 각 픽셀에 대해 계산한 a1 i 와 b1 i 의 평균값을 표시하고,
Figure 112014011100248-pat00054
와
Figure 112014011100248-pat00055
는 각각 평면 구역에 포함된 각 픽셀에 대해 계산한 a2 i 와 b2 i 의 평균값을 표시한다. 단계 102에서 처리된 입력된 3D이미지는, 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 선택된 목표 이미지이다.
도 2B는 수학식 5에서 제시한 겹선형 모델을 이용하여 얻은 잡음 제거 후의 3D이미지이다. 도 2B는 도 2A와 비교하여 볼 때, 잡음은 현저하게 억제되었지만, 잡음 제거 과정에서 이미지 세부가 희미해지게 되었다. 따라서, 아래의 절차를 진행해야 한다.
단계 103에서, 3D 이미지 품질을 향상시키는 장치는 잡음 제거 후의 3D이미지의 명암 대조비를 향상시킨다. 구체적으로, 단계 103에서, 3D 이미지 품질을 향상시키는 장치는 우선 잡음 제거 후의 3D이미지를 고주파 성분과 저주파 성분으로 분류한다. 그 다음 3D 이미지 품질을 향상시키는 장치는 고주파 성분과 저주파 성분을 가중합성하여, 3D이미지의 명암 대조비를 향상시킨다. 본 발명의 실시예에 의하면, 하기의 수학식 6에 기초하여 잡음 제거 후의 3D이미지의 명암 대조비를 향상시킬 수 있다.
[수학식6]
Figure 112014011100248-pat00056
여기에서,
Figure 112014011100248-pat00057
는 향상 후의 3D이미지 속 픽셀i의 밝기,
Figure 112014011100248-pat00058
는 상기 잡음 제거 후의 3D이미지 속의 픽셀i의 밝기, k는 고주파 분량 증가 요소를 표시하고 또한 상기 k는 1보다 큰 실수(實數)이다.
또한, [수학식 4]를 통해 픽셀 i를 중심으로 한 잡음 제거 후의 3D 이미지의 평면 구역에서 a if 와 b if 를 계산할 수 있으며 그 다음 그 평면 구역 속의 각 픽셀에 대해 계산한 a if 와 b if 의 평균값을
Figure 112014011100248-pat00059
와
Figure 112014011100248-pat00060
으로 한다. 여기에서, 평면 구역은 픽셀i를 중심을 한 8×8픽셀의 평면 구역일 수 있다. 하지만, 본 발명은 이에 한정되지 않고, 3D 이미지 품질을 향상시키는 장치는 다른 크기의 평면 구역을 선택할 수 있다. 그 외에, 실시예에서는, 1보다 크고 10보다 작은 범위에서 적합한 값을 선택하여 고주파 성분 증가 요소k로 사용할 수 있다.
도 3A는 본 발명의 실시예의 3D이미지의 품질을 향상시키는 방법을 응용하여, 도 2A와 같은 이미지를 처리하여 얻은 이미지를 도시하였고, 도 2A와 도 2B를 비교하면, 본 발명의 실시예에 따른 3D 이미지의 품질을 향상하는 방법은 이미지 세부를 향상시키는 동시에 이미지 잡음을 억제하였다. 도 3B에서는 A.F.Fercher가 저술한 논문 “Optical coherence tomography” 속의 유도 필터(Guided filter)를 사용하여 도 2A와 같은 이미지에 대해 잡음 제거한 후 얻은 이미지를 도시하였고, 도 3C에서는 C.Tomasi와 R.Manduchi가 저술한 논문 “Bilateral filtering for gray and color images” 속의 양방향 필터(Bilateral filter)을 사용하여 도 2A와 같은 이미지에 대해 잡음 제거한 후 얻은 이미지를 도시하였다. 도 3A 속의 네모로 도시된 부분과 비교하여, 본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법을 응용하면 가장 우수한 잡음 제거 효과를 얻을 수 있다.
도 4는 본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 장치를 도시한 블록도이다.
도 4를 참조하면, 3D이미지의 품질을 향상시키는 장치는, 이미지 분류 모듈(401), 잡음 제거 모듈(402), 세부 향상 모듈(403)을 포함할 수 있다. 이미지 분류 모듈(401)은 잡음 특성에 기초하여, 입력된 3D이미지를 다수의 서브 영역에 분류한다. 예를 들면 이미지 분류 모듈(401)은 입력된 3D이미지를 수신하고, 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 목표 이미지를 선택하고, 잡음 특성에 따라 목표 이미지를 전경 영역과 배경 영역으로 분류할 수 있다. 상술한 바와 같이, 이미지 분류 모듈(401)은 임계값 방법을 통해 입력된 3D이미지를 전경 영역과 배경 영역으로 분류할 수 있다. 잡음 제거 모듈(402)은 각 서브 영역의 잡음 특성에 따라, 다른 잡음 제거 전략을 이용하여 3D이미지의 각 서브 영역의 잡음을 제거하고, 잡음 제거 후의 3D이미지를 얻을 수 있다. 예를 들면, 잡음 제거 모듈(402)은 수학식5에서 도시한 겹선형 잡음 제거 모델을 이용하여 입력된 3D이미지에 대해 잡음을 제거할 수 있다. 세부 향상 모듈(403)은 잡음 제거 후의 3D이미지의 명암 대조비를 향상시킬 수 있다. 구체적으로 말하면, 세부 향상 모듈(403)은 잡음 제거 후의 3D이미지를 고주파 성분과 저주파 성분으로 분류하고, 고주파 성분과 저주파 성분을 가중합성하여, 잡음 제거 후의 3D이미지의 명암 대조비를 향상시킬 수 있다. 예를 들면, 세부 향상 모듈(403)은 수학식 6에 기초하여 잡음 제거 후의 3D이미지의 명암 대조비를 향상시킬 수 있다.
본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법은, 컴퓨터의 판독 가능 기록매체의 컴퓨터 판독 가능 코드나 또는 컴퓨터 프로그램으로 실현할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 이것을 저장한 후 다시 컴퓨터 시스템을 통해 데이터를 판독할 수 있는 임의의 데이터 저장장치이다.
본 발명의 실시예에 따른 3D이미지의 품질을 향상시키는 방법과 장치는, 계산 속도가 빠르고, 잡음 제거와 세부 향상 능력이 강하며, 상업적 OCT시스템에 직접 응용하여 이미지의 품질을 제고할 수 있는 효과적인 수단이다. 그 외에, 본 발명에서 제시한 겹선형 잡음 제거 모듈은, 잡음 특성이 이미지에서 비동일성(nonidentity)을 가지며, 점(point) 스캐닝이나 선(line) 스캐닝을 이용하는 의료 영상 시스템에 효과적으로 응용할 수 있다.
비록 예시적인 실시예를 참조하여 본 발명을 구체적으로 도시하고 설명하였지만, 본 분야의 기술자들은, 특허 청구의 범위에서 한정한 본 발명의 사상과 범위를 초과하지 않는 상황에서, 형식적, 세부적인 각종 변경을 진행할 수 있다는 것을 이해해야 한다.
401: 이미지 분류 모듈
402: 잡음 제거 모듈
403: 세부 향상 모듈

Claims (10)

  1. (a) 입력된 3D이미지를 잡음 특성에 기초하여, 복수의 서브영역으로 분류하는 단계;
    (b) 상기 분류된 복수의 서브영역의 각각의 잡음 특성에 따라, 서로 다른 잡음 제거 방법을 이용하여, 상기 입력된 3D이미지의 각각의 서브영역의 잡음을 제거하고, 잡음 제거 후의 3D이미지를 획득하는 단계; 및
    (c) 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키는 단계;를 포함하고,
    단계(a)는,
    상기 입력된 3D이미지를 수신하는 단계;
    상기 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 목표 이미지를 선택하는 단계; 및
    상기 잡음 특성에 기초하여, 상기 선택된 목표 이미지를 전경 영역과 배경 영역으로 분류하는 단계를 포함하는 것을 특징으로 하는 3D이미지의 품질을 향상시키는 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 입력된 3D이미지에서 밝기가 소정 임계값을 초과하는 픽셀은 전경 영역으로 분류하고, 상기 입력된 3D이미지에서 밝기가 소정 임계값 이하인 픽셀은 배경 영역으로 분류하는 것을 특징으로 하는 3D이미지의 품질을 향상시키는 방법.
  5. 청구항 1에 있어서,
    단계(b)에서는, 하기의 수학식 5로 표현되는 겹선형 잡음 제거 모델을 이용하여 상기 입력된 3D이미지의 잡음을 제거하고;
    [수학식 5]
    Figure 112020041077061-pat00061

    상기 수학식 5에서, fi 는 상기 잡음 제거 후의 3D이미지에 포함된 픽셀i의 밝기, gi 는 상기 입력된 3D이미지에 포함된 상기 픽셀i의 밝기, g i 는 상기 입력된 3D이미지의 배경 영역에 포함된 모든 픽셀의 밝기의 평균값
    Figure 112020041077061-pat00062
    , 와
    Figure 112020041077061-pat00063
    는 각각 상기 입력된 3D이미지의 전경 영역과 배경 영역의 분류 파라미터를 표시하며,
    하기의 수학식4에 따라, 상기 픽셀i를 중심으로 상기 입력된 3D이미지의 3D이미지물 속에서 a1 i 와 b1 i 를 계산하고, 상기 픽셀i를 중심으로 상기 입력된 3D이미지의 평면 구역 속에서 a2 i 와 b2 i 를 계산하며:
    [수학식 4]
    Figure 112020041077061-pat00064

    상기 수학식 4에서,
    Figure 112020041077061-pat00065
    는 상기 3D이미지물 또는 상기 평면 구역
    Figure 112020041077061-pat00066
    에 포함된 픽셀의 개수, g k 는 상기 3D이미지물 또는 상기 평면 구역
    Figure 112020041077061-pat00067
    에 포함된 픽셀k의 밝기, g w i 는 상기 3D이미지물 또는 상기 평면 구역
    Figure 112020041077061-pat00068
    에 포함된 모든 픽셀의 밝기의 평균값 및
    Figure 112020041077061-pat00069
    는 상기 입력된 3D이미지의 각 픽셀의 밝기의 분산값(variance)을 표시하며,
    상기 수학식 5에서
    Figure 112020041077061-pat00070
    와
    Figure 112020041077061-pat00071
    는 각각 상기 3D이미지물에 포함된각 픽셀의 a1 i 와 b1 i 의 평균값을 표시하고,
    Figure 112020041077061-pat00072
    와
    Figure 112020041077061-pat00073
    는 각각 상기 평면 구역에 포함된 각 픽셀의 a2 i 와 b2 i 의 평균값을 표시하는 것을 특징으로 하는 3D 이미지의 품질을 향상시키는 방법.
  6. 청구항 5에 있어서,
    상기 3D이미지물은 상기 픽셀i를 중심으로 한 8×8×10 픽셀의 3D 정육면체이고, 상기 평면 구역은 상기 픽셀i를 중심으로 한 8×8 픽셀의 평면 구역인 것을 특징으로 하는 3D이미지의 품질을 향상시키는 방법.
  7. 청구항 5에 있어서,
    하기의 수학식 3에 기초하여 상기
    Figure 112014011100248-pat00074
    와 상기
    Figure 112014011100248-pat00075
    를 결정하며,
    [수학식 3]
    Figure 112014011100248-pat00076

    여기에서,
    Figure 112014011100248-pat00077
    는 상기 픽셀i를 중심으로 한 평면 구역
    Figure 112014011100248-pat00078
    에 포함된 모든 픽셀의 밝기의 평균값,
    Figure 112014011100248-pat00079
    는 소정의 임계값으로서, 상기 입력된 3D이미지의 배경 구역에 포함된 픽셀의 밝기의 평균값을 표시하는 것을 특징으로 하는 3D이미지의 품질을 향상시키는 방법.
  8. 청구항 1에 있어서, 단계(c)는:
    상기 잡음 제거 후의 3D이미지를 고주파 성분과 저주파 성분으로 분류하는 단계; 및 상기 고주파 성분과 상기 저주파 성분을 가중합성하여, 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상하는 단계를 포함하는 것을 특징으로 하는 3D이미지의 품질을 향상시키는 방법.
  9. 청구항 1에 있어서,
    단계(c)에서는 하기의 수학식6에 기초하여 상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키며:
    [수학식 6]
    Figure 112020041077061-pat00080

    여기에서,
    Figure 112020041077061-pat00081
    는 향상 후의 3D이미지 속 픽셀i의 밝기,
    Figure 112020041077061-pat00082
    는 상기 잡음 제거 후의 3D이미지 속의 픽셀i의 밝기, k는 고주파 분량 증가 요소를 표시하고 또한 상기 k는 1보다 큰 실수(實數)이며,
    그 중, 하기의 수학식 4에 따라 상기 픽셀i을 중심으로 한 잡음 제거 후의 3D이미지의 평면구역에 포함된
    Figure 112020041077061-pat00083
    와
    Figure 112020041077061-pat00084
    를 계산하며:
    [수학식 7]
    Figure 112020041077061-pat00085

    상기 수학식 7에서,
    Figure 112020041077061-pat00086
    는 상기 평면 구역
    Figure 112020041077061-pat00087
    에 포함된 픽셀의 개수, g k 는 상기 평면 구역
    Figure 112020041077061-pat00088
    에 포함된 픽셀k의 밝기, g w i 는 상기 평면 구역
    Figure 112020041077061-pat00089
    에 포함된 모든 픽셀의 밝기의 평균값 및
    Figure 112020041077061-pat00090
    는 잡음 제거 후의 3D이미지의 각 픽셀의 밝기의 분산값(variance)을 표시하며,
    Figure 112020041077061-pat00091
    와
    Figure 112020041077061-pat00092
    는 각각 상기 평면 구역 속 각 픽셀에 대해 계산한 a if 와 b if 의 평균값을 표시하는 것을 특징으로 하는 3D 이미지의 품질을 향상시키는 방법.
  10. 입력된 3D이미지를 잡음 특성에 기초하여, 복수개의 서브영역으로 분류하는 이미지 분류 모듈;
    상기 복수개의 서브영역 각각의 잡음 특성에 따라, 서로 다른 잡음 제거 전략을 이용하여, 상기 입력된 3D이미지의 각각의 서브영역의 잡음을 제거하여, 잡음 제거 후의 3D이미지를 획득하는 잡음제거 모듈;및
    상기 잡음 제거 후의 3D이미지의 명암 대조비를 향상시키는 세부 향상 모듈을 포함하고,
    상기 이미지 분류 모듈은,
    상기 입력된 3D이미지를 수신하고,
    상기 입력된 3D이미지의 제1 프레임부터 마지막 프레임까지 순차적으로 목표 이미지를 선택하고,
    상기 잡음 특성에 기초하여, 상기 선택된 목표 이미지를 전경 영역과 배경 영역으로 분류하는 것을 특징으로 하는 3D 이미지의 품질을 향상시키는 장치.
KR1020140012787A 2013-03-06 2014-02-04 3d이미지 품질을 향상시키는 방법과 장치 KR102195047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/199,049 US9401009B2 (en) 2013-03-06 2014-03-06 Method and apparatus for enhancing quality of 3D image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310071253.3 2013-03-06
CN201310071253.3A CN104036472A (zh) 2013-03-06 2013-03-06 用于3d图像质量增强的方法和设备

Publications (2)

Publication Number Publication Date
KR20140109801A KR20140109801A (ko) 2014-09-16
KR102195047B1 true KR102195047B1 (ko) 2020-12-24

Family

ID=51467233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140012787A KR102195047B1 (ko) 2013-03-06 2014-02-04 3d이미지 품질을 향상시키는 방법과 장치

Country Status (2)

Country Link
KR (1) KR102195047B1 (ko)
CN (1) CN104036472A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404416B1 (ko) 2015-07-21 2022-06-07 한국전자통신연구원 홀로그램 영상의 특성 측정 장치 및 방법
CN106441804B (zh) * 2015-08-04 2019-08-30 宁波舜宇光电信息有限公司 解像力测试方法
CN107590784A (zh) * 2017-08-29 2018-01-16 宁夏巨能机器人股份有限公司 一种用于3d视觉识别的抗干扰***及其抗干扰方法
CN108663647A (zh) * 2018-04-26 2018-10-16 武汉大学 一种基于体素aif动态增强磁共振成像分析方法
CN109598230B (zh) * 2018-11-30 2021-12-31 南京意博软件科技有限公司 差旅人员住店审核方法和相关产品
CN117423113B (zh) * 2023-12-18 2024-03-05 青岛华正信息技术股份有限公司 一种档案ocr图像自适应去噪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050029762A (ko) * 2003-09-22 2005-03-28 삼성전자주식회사 Ｃｂｅｄ를 이용한 재료의 구조 분석 방법
KR100646715B1 (ko) * 2004-10-18 2006-11-23 한국과학기술원 후처리를 통한 2차원 초음파 영상의 화질 개선 방법
AU2006239856A1 (en) * 2005-04-25 2006-11-02 University Of Rochester Method and apparatus of global de-noising for CT imaging
JP4909378B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
KR101204556B1 (ko) * 2011-01-21 2012-11-23 삼성전기주식회사 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
CN102722871B (zh) * 2012-05-24 2015-02-11 中山大学 一种快速有效的图像增强方法
CN102789635B (zh) * 2012-07-18 2015-01-28 奇瑞汽车股份有限公司 一种图像增强方法和装置
CN102831582B (zh) * 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. Rogowska ET AL:"Evaluation of the adaptive speckle suppression filter for coronary optical coherence tomography imaging", IEEE Transactions on Medical Imaging, Vol.: 19, Dec. 2000(2000.12.12.) 1부*

Also Published As

Publication number Publication date
CN104036472A (zh) 2014-09-10
KR20140109801A (ko) 2014-09-16

Similar Documents

Publication Publication Date Title
KR102195047B1 (ko) 3d이미지 품질을 향상시키는 방법과 장치
US9401009B2 (en) Method and apparatus for enhancing quality of 3D image
US8542944B2 (en) Method and apparatus for multi-scale based dynamic range compression and noise suppression
US20150036943A1 (en) Patch-Based, Locally Content-Adaptive Image and Video Sharpening
Kayal et al. A new dynamic thresholding based technique for detection of hard exudates in digital retinal fundus image
CN110610498A (zh) 乳腺钼靶图像处理方法、***、存储介质及设备
KR20140089669A (ko) 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
EP2405816B1 (en) Pattern noise correction for pseudo projections
Valous et al. Multistage histopathological image segmentation of Iba1-stained murine microglias in a focal ischemia model: methodological workflow and expert validation
Shedbalkar et al. A comparative analysis of filters for noise reduction and smoothening of brain MRI images
KR20140021487A (ko) 영상 처리 방법 및 영상 처리 장치
Pandey et al. A fast and effective vision enhancement method for single foggy image
Wang et al. Adaptive speckle reduction in OCT volume data based on block-matching and 3-D filtering
Renuka et al. Adaptive shrinkage on dual-tree complex wavelet transform for denoising real-time MR images
Zou et al. Dual range deringing for non-blind image deconvolution
Yadav et al. Comparative analysis of different enhancement method on digital mammograms
Long et al. Wireless capsule endoscopic image enhancement method based on histogram correction and unsharp masking in wavelet domain
Anantrasirichai et al. Adaptive-weighted bilateral filtering for optical coherence tomography
Harine et al. Fundus Image Enhancement Using Hybrid Deep Learning Approaches
CN113674144A (zh) 一种图像处理方法、终端设备及可读存储介质
WO2018112979A1 (zh) 一种图像处理方法、装置以及终端设备
Prasad et al. A Systematic Review of Noise Types, Denoising Methods, and Evaluation Metrics in Images
Bala et al. Hybrid technique for fundus image enhancement using modified morphological filter and denoising net
Jabbar et al. High dimensional Bio medical images denoising using wavelet transform and modified bilateral filter
Madhava et al. Wavelet decomposition on histogram based medical image contrast enhancement using homomorphic filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant