KR101595883B1 - 영상의 움직임 보상 노이즈 제거 장치 및 방법 - Google Patents
영상의 움직임 보상 노이즈 제거 장치 및 방법 Download PDFInfo
- Publication number
- KR101595883B1 KR101595883B1 KR1020100009645A KR20100009645A KR101595883B1 KR 101595883 B1 KR101595883 B1 KR 101595883B1 KR 1020100009645 A KR1020100009645 A KR 1020100009645A KR 20100009645 A KR20100009645 A KR 20100009645A KR 101595883 B1 KR101595883 B1 KR 101595883B1
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- image
- generating
- removing means
- noise removing
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 abstract description 17
- 238000003786 synthesis reaction Methods 0.000 abstract description 17
- 230000008030 elimination Effects 0.000 abstract description 5
- 238000003379 elimination reaction Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명은 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있는 영상의 움직임 보상 노이즈 제거 장치 및 방법에 관한 것이다. 영상의 움직임 보상 노이즈 제거 장치는 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단; 상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단; 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함한다.
Description
본 발명은 동영상의 움직임 보상 노이즈를 제거하는 장치 및 방법에 관한 것이다.
이미지 센서의 경우 저조도 시에 비디오 신호의 증폭을 위해 이미지 센서의 출력을 증폭시킨다. 이때 화면 상에 게인(gain) 노이즈가 발생하게 되는데, 이 노이즈를 제거하기 위해 일반적으로 시간축 상에 N×N 공간 필터링을 사용하여 영상에서 노이즈를 제거한다.
시간축 상의 필터링은 동영상의 경우 비디오 증폭에 따른 게인 노이즈 이외에 움직이는 물체 및 영상의 에지(edge) 부분까지 필터링이 되어 영상이 흐려지는 문제가 발생한다. 또한 동영상의 경우 화면에 움직임이 심할 경우 움직임이 많을수록 필터링이 많이 되어 영상의 끌림이 발생한다.
본 발명이 해결하고자 하는 기술적인 과제는 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거하는 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 장치는 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단; 상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단; 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 2D 노이즈 제거수단은 입력된 이미지를 필터링하여 서브 이미지들을 생성하는 웨이블릿 변환부; 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 움직임 예측부; 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 노이즈 제거부; 및 상기 노이즈가 제거된 상기 서브 이미지들을 합성하여 출력 이미지를 생성하는 웨이블릿 역변환부를 포함할 수 있다.
본 발명에 있어서, 상기 움직임 예측부는 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 움직임 벡터 처리부; 및 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 이미지 생성부를 포함할 수 있다.
본 발명에 있어서, 상기 노이즈 제거부는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.
본 발명에 있어서, 상기 합성비율 생성수단은 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이하이면 상기 2D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이상이면 상기 3D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 방법은 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성단계; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상을 합성하여 출력 영상을 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 2D 노이즈 제거 단계는 (a) 입력된 이미지를 웨이블릿 변환하여 서브 이미지들을 생성하는 단계; (b) 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 단계; (c) 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 단계; 및 (d) 상기 노이즈가 제거된 상기 서브 이미지들에 웨이블릿 역변환을 수행하여 출력 이미지를 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 단계; 및 (b-2) 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (c)단계는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.
본 발명에 있어서, 상기 합성비율을 생성단계에서 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이하이면 상기 2D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이상이면 상기 3D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.
상술한 바와 같이 본 발명에 따르면, 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.
도 1은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 2D 노이즈 제거수단에서 움직임을 예측하고, 관심영역 이미지를 생성하는 예를 보이는 도면이다.
도 3은 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하는 예를 보이는 도면이다.
도 4는 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하기 위해 기 설정되어 있는 노이즈 감쇄 곡선을 보이는 도면이다.
도 5는 도 1 중 3D 노이즈 제거수단에서 3D 노이즈 제거 전 영상 및 3D 노이즈 제거 후 영상을 보이는 도면이다.
도 6은 도 1 중 합성비율 생성수단에서 영상 차이에 따른 합성비율 적용 곡선을 보이는 도면이다.
도 7은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 2D 노이즈 제거 방법의 상세 흐름도 이다.
도 2는 도 1 중 2D 노이즈 제거수단에서 움직임을 예측하고, 관심영역 이미지를 생성하는 예를 보이는 도면이다.
도 3은 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하는 예를 보이는 도면이다.
도 4는 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하기 위해 기 설정되어 있는 노이즈 감쇄 곡선을 보이는 도면이다.
도 5는 도 1 중 3D 노이즈 제거수단에서 3D 노이즈 제거 전 영상 및 3D 노이즈 제거 후 영상을 보이는 도면이다.
도 6은 도 1 중 합성비율 생성수단에서 영상 차이에 따른 합성비율 적용 곡선을 보이는 도면이다.
도 7은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 2D 노이즈 제거 방법의 상세 흐름도 이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명에 따른 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도로서, 2D 노이즈 제거수단(100), 3D 노이즈 제거수단(200), 저장수단(300), 합성비율 생성수단(400) 및 영상 합성수단(500)를 포함한다.
2D 노이즈 제거수단(100)은 웨이블릿 변환한 입력 영상(Iin(t))로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하여 2D 노이즈가 제거된 영상(I2(t))을 출력한다.
본 발명에서 2D 노이즈 제거수단(100)은 웨이블릿 변환부(110), 고주파 부대역 추출부(120), 저주파 부대역 추출부(130), 움직임 벡터 처리부(140), ROI 이미지 생성부(150), 노이즈 제거부(160) 및 웨이블릿 역변환부(170)를 포함한다.
웨이블릿 변환부(110)는 입력된 이미지를 필터링하여 서브 이미지들을 생성한다. 웨이블릿 변환부(110)는 2차원 이미지의 각 행에 대해 저역 통과 필터와 고역 통과 필터를 적용시키고 다운 샘플링을 수행하여 저주파 부대역 서브 이미지로서, LL(low-low) 이미지 및 고주파 부대역 서브 이미지들로서, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 생성한다.
여기서, LL 이미지는 원본 영상에 수평과 수직 방향으로 저역 통과 필터를 적용하여 2로 서브 샘플된 것이다. HL 이미지는 원본 영상에 수직방향으로 고역 통과 필터를 적용한 것으로 수직 방향 주파수의 오차 성분을 포함하고 있다. LH 이미지는 수평 방향으로 고역 통과 필터를 적용한 것으로 수평방향 주파수의 오차 성분을 포함하고 있다. HH 이미지는 수평과 수직 방향에 고역 통과 필터를 적용한 것이다.
웨이블릿 변환은 영상의 시간적 정보 및 주파수 정보를 모두 공유하고 있다. 이것은 주파수 및 공간적 영상 처리를 가능하게 한다. K단계의 웨이블릿 변환 시에 K단계의 저주파 부대역 이미지는 여전히 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다. 또한 저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.
도 2a 및 도 2d에는 이전(I(t-1)) 및 현재(I(t)) 원 영상이, 도 2b 및 도 2e에는 이전(I(t-1)) 및 현재(I(t)) 영상을 웨이블릿 변환한 예가 도시되어 있다.
고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지 즉, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 추출한다.
저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지 즉, LL(low-low) 이미지를 추출한다. 상기에서 언급된 바와 같이 저주파 부대역 이미지는 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다.
도 2c 및 도 2f에는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지가 도시되어 있다.
움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다.
ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다. 도 2g에는 도 2c 및 도 2f의 저주파 부대역 이미지에 대하여 움직임 예측 벡터를 생성하고 정규화 한 후, 기준값에 따라 생성된 관심영역 이진 파일의 예가 도시되어 있다.
노이즈 제거부(160)는 도 3h에 도시된 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 도 3g에 도시된 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다. 노이즈 제거부(160)에는 도 4에 도시된 바와 같은 노이즈 감쇄 곡선이 기저장되어 있다. 관심 영역 이진 이미지가 1인 경우 도 4a에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하고, 관심 영역 이진 이미지가 0인 경우 도 4b에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하여 노이즈를 제거한다.
저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.
웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 출력한다. 도 4i에는 노이즈가 제거된 후 웨이블릿 역변환이 수행된 이미지가 도시되어 있다. 도 2a 및 도 2d와 비교 시에 노이즈가 제거 되었음을 알 수 있다.
3D 노이즈 제거수단(200)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 저장수단(300)에 저장된 3D 노이즈가 제거된 이전 영상(I3(t-1)) 에 소정의 필터 계수를 적용하여 3D 노이즈를 제거한 영상(I3(t))을 출력한다.
저조도 시에 비디오 증폭 시킨 영상은 많은 노이즈를 포함하고 있다. 도 5a에는 영상 픽셀에서의 시간에 따른 휘도 변화량을 나타내고 있다. 3D 노이즈 제거수단(200)은 저역 통과 필터(low pass filter)로 구성될 수 있으며, 이러한 저역 통과 필터를 통과하여 영상의 노이즈를 제거할 수 있으며, 도 5b에는 3D 필터링을 적용한 결과가 도시되어 있다.
이러한 3D 필터링을 구현하는 수식이 수학식 1에 나타나 있다.
여기서, A, B는 필터링 계수 이다.
저장수단(300)에는 3D 노이즈가 제거된 영상들(...I3(t-1), I3(t))이 저장되어 있다.
합성비율 생성수단(400)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 생성한다.
도 6에는 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따른 합성비율(W) 적용 곡선이 도시되어 있다. 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 노이즈 제거수단(100)의 출력 영상(I2(t))에 가중치를 더 주고, 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 노이즈 제거수단(200)의 출력 영상(I3(t))에 가중치를 더 주도록 한다.
영상 합성수단(500)은 생성된 합성비율(W)에 따라 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다.
영상 합성수단(500)에서 최종 출력 영상을 생성하는 수식이 수학식 2에 나타나 있다.
이와 같이 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.
이하, 도 7 및 도 8을 참조하여 본 발명에 따른 영상의 움직임 보상 노이즈 제거 방법을 상세히 설명한다.
영상이 입력되면, 2D 웨이블릿 필터링을 수행한다(710단계). 2D 웨이블릿 필터링은 도 1에 개시된 2D 노이즈 제거수단(100)에서 수행하며, 도 8에 상세한 흐름도가 개시되어 있다. 이하 도 8을 참조하여 2D 웨이블릿 필터링을 설명한다.
웨이블릿 변환부(110)는 입력된 영상을 필터링하여 서브 이미지들을 생성한다(711단계).
웨이블릿 변환이 완료되면, 고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지들을 추출하고, 저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지를 추출한다(712단계).
고주파 부대역 추출 및 저주파 부대역 추출이 완료되면, 움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다(713단계).
이어서, ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다(714단계).
관심영역 이진 이미지가 생성되면, 노이즈 제거부(160)는 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다(715단계).
노이즈 제거가 완료되면, 웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 최종 2D 필터링된 영상(I2(t))을 출력한다(716단계).
입력 영상(Iin(t))에 대한 2D 필터링이 완료되면, 2D 필터링 결과 출력 영상(I2(t)) 및 이전 3D 필터링 결과 영상(I3(t-1))을 이용하여 현재 영상에 대한 3D 필터링을 수행한다(720단계). 3D 필터링 시에 저역 톡과 필터를 통하여 영상의 노이즈를 제거할 수 있으며, 3D 필터링 식이 상기 수학식 1에 개시되어 있다.
이어서, 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 산출한다(730단계). 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 필터링 결과 영상(I2(t))에 가중치를 더 준다. 그리고 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 필터링 결과 영상(I3(t))에 가중치를 더 주도록 한다.
합성비율(W) 산출이 완료되면, 생성된 합성비율(W)에 따라 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다(740, 750단계). 최종 출력 영상(Iout(t)) 합성 식에 상기 수학식 2에 개시되어 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (10)
- 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하고, 상기 관심영역 이미지를 이용하여 상기 웨이블릿 변환한 입력 영상의 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단;
상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단;
상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및
상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단;을 포함하고,
상기 2D 노이즈 제거수단은,
입력 영상을 필터링하여 저주파 부대역 이미지(LL) 및 고주파 부대역 이미지들(LH, HL, HH)을 생성하는 웨이블릿 변환부;
이전 및 현재의 저주파 부대역 이미지(LL)로부터 움직임 예측 벡터를 생성하여 정규화하는 움직임 벡터 처리부;
정규화된 움직임 벡터값을 기준값과 비교하여 상기 기준값 보다 작을 경우 0을, 상기 기준값 보다 작지 않은 경우 1로 구성된 관심영역(ROI: region of interest) 이진 이미지를 생성하는 관심영역 이미지 생성부;
상기 관심영역 이진 이미지가 1인 경우 상기 고주파 부대역 이미지들(LH, HL, HH)에 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하고, 상기 관심영역 이진 이미지가 0인 경우 상기 고주파 부대역 이미지들(LH, HL, HH)에 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하는 노이즈 제거부; 및
상기 저주파 부대역 이미지(LL) 및 노이즈가 제거된 고주파 부대역 이미지들(LH, HL, HH)을 합성하여 상기 출력 영상을 생성하는 웨이블릿 역변환부;를 포함하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100009645A KR101595883B1 (ko) | 2010-02-02 | 2010-02-02 | 영상의 움직임 보상 노이즈 제거 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100009645A KR101595883B1 (ko) | 2010-02-02 | 2010-02-02 | 영상의 움직임 보상 노이즈 제거 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110090068A KR20110090068A (ko) | 2011-08-10 |
KR101595883B1 true KR101595883B1 (ko) | 2016-02-26 |
Family
ID=44927914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100009645A KR101595883B1 (ko) | 2010-02-02 | 2010-02-02 | 영상의 움직임 보상 노이즈 제거 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101595883B1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140141159A (ko) * | 2013-05-31 | 2014-12-10 | 주식회사 나노포커스레이 | 의료 영상 처리 방법 및 시스템 |
KR102161613B1 (ko) * | 2013-12-11 | 2020-10-05 | 엘지이노텍 주식회사 | 깊이영상 생성장치 |
TWI827725B (zh) | 2018-12-07 | 2024-01-01 | 日商索尼半導體解決方案公司 | 圖像處理裝置及圖像處理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160909A (ja) | 1999-12-02 | 2001-06-12 | Matsushita Electric Ind Co Ltd | ノイズ低減装置 |
JP2008258848A (ja) * | 2007-04-03 | 2008-10-23 | Sanyo Electric Co Ltd | ノイズ低減装置、ノイズ低減方法、及び電子機器 |
JP2008283341A (ja) | 2007-05-09 | 2008-11-20 | Matsushita Electric Ind Co Ltd | 圧縮符号化画像のノイズ除去装置及びノイズ除去方法 |
JP2009219066A (ja) * | 2008-03-12 | 2009-09-24 | Panasonic Corp | 画像処理装置 |
-
2010
- 2010-02-02 KR KR1020100009645A patent/KR101595883B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160909A (ja) | 1999-12-02 | 2001-06-12 | Matsushita Electric Ind Co Ltd | ノイズ低減装置 |
JP2008258848A (ja) * | 2007-04-03 | 2008-10-23 | Sanyo Electric Co Ltd | ノイズ低減装置、ノイズ低減方法、及び電子機器 |
JP2008283341A (ja) | 2007-05-09 | 2008-11-20 | Matsushita Electric Ind Co Ltd | 圧縮符号化画像のノイズ除去装置及びノイズ除去方法 |
JP2009219066A (ja) * | 2008-03-12 | 2009-09-24 | Panasonic Corp | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20110090068A (ko) | 2011-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US8050509B2 (en) | Method of and apparatus for eliminating image noise | |
US8488009B2 (en) | Image processing apparatus, image processing method, and program | |
KR101511564B1 (ko) | 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치 및 방법 | |
KR100929319B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
US9430816B2 (en) | Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively | |
CN105096280A (zh) | 处理图像噪声的方法及装置 | |
JP5027757B2 (ja) | 動画像雑音除去装置、その方法およびそのプログラム | |
TW201441973A (zh) | 影像處理裝置及其影像雜訊抑制方法 | |
KR101595883B1 (ko) | 영상의 움직임 보상 노이즈 제거 장치 및 방법 | |
KR20090013522A (ko) | 링잉 아티펙트없는 블러 제거 방법 | |
JP2009219066A (ja) | 画像処理装置 | |
WO2015133593A1 (en) | Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium | |
US8106971B2 (en) | Apparatus and method for estimating signal-dependent noise in a camera module | |
RU2448367C1 (ru) | Способ повышения визуальной информативности цифровых полутоновых изображений | |
JP2008199448A (ja) | 撮像装置、画像処理装置および画像処理方法 | |
Oh et al. | Advanced film grain noise extraction and synthesis for high-definition video coding | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
JP2003337942A (ja) | 画像処理装置 | |
Matsuo et al. | Reducing noise in high-resolution video sequences by using wavelet shrinkage in the temporal-spatial domain | |
KR102688328B1 (ko) | 이미지 처리 장치 및 그 처리 방법 | |
JP2008211627A (ja) | 撮像装置 | |
Acharya et al. | Robust video denoising for better subjective evaluation | |
JP2010239296A (ja) | 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム | |
Eichner et al. | Motion compensated spatial-temporal reduction of film grain noise in the wavelet domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20190125 Year of fee payment: 4 |