KR20080068576A - 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을기록한 기록 매체 - Google Patents

촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을기록한 기록 매체 Download PDF

Info

Publication number
KR20080068576A
KR20080068576A KR1020080005345A KR20080005345A KR20080068576A KR 20080068576 A KR20080068576 A KR 20080068576A KR 1020080005345 A KR1020080005345 A KR 1020080005345A KR 20080005345 A KR20080005345 A KR 20080005345A KR 20080068576 A KR20080068576 A KR 20080068576A
Authority
KR
South Korea
Prior art keywords
filter
image data
output
processing
value
Prior art date
Application number
KR1020080005345A
Other languages
English (en)
Inventor
노부유끼 마쯔시따
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080068576A publication Critical patent/KR20080068576A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H5/00—Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice
    • E01H5/02—Hand implements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부, 및 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고, 노이즈 억제부는 제1 ε-필터, 제2 ε-필터, 제3 ε-필터, 제4 ε-필터, 및 가중치 부여 가산부를 포함하는 촬상 장치가 본 명세서에 개시된다.
Figure P1020080005345
양방향 필터, 디지털 스틸 카메라, 광학 보정부, 저주파수 노이즈 제거부, ε-필터부, 승산부, 가산부, 제어부

Description

촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈 제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을 기록한 기록 매체{IMAGING APPARATUS, NOISE REMOVING DEVICE, NOISE REMOVING METHOD, PROGRAM FOR NOISE REMOVING METHOD, AND RECORDING MEDIUM FOR RECORDING THE SAME}
관련 출원의 상호 참조
본 발명은 2007년 1월 18일부로 일본특허청에 제출된 일본 특허 출원 제2007-008674호에 관한 기술 내용을 포함하며, 그 전체 내용은 이하 참조된다.
본 발명은 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈 제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을 기록한 기록 매체에 관한 것으로, 예를 들면 디지털 스틸 카메라에 적용될 수 있다. 본 발명에서는, 복수의 입실론 필터(epsilon filter; 이하에서 ε-필터라고 함)로부터의 출력값 및 주목 화소의 화소값이 서로 가중치 부여 가산되어(weighted-added) 화상 데이터의 노이즈를 억제함으로써, 간이한 처리 및 구성으로 양방향 필터(bilateral filter)와 유사한 레벨의 노이즈 억제 성능을 확보할 수 있게 된다.
종래, 디지털 스틸 카메라 등의 화상 처리에서는, 예를 들면 일본 특허 공개 공보 제2004-172726호에 개시되어 있는 바와 같이, 조건부 평균값 필터로서 ε-필터를 이용해서 노이즈가 억제된다.
여기서, ε-필터는 엣지 성분을 보존하고 평균값을 출력하는 필터이다. ε-필터는 그 중심에 주목 화소를 갖는 처리 영역 내의 다른 화소마다의 화소값과 주목 화소의 화소값 사이의 차분 절대값을 계산한다. 또한, ε-필터는 차분 절대값이 소정의 임계값 이하인 화소의 선택에 기초하여 평균화 처리를 실행하고, 계산된 평균값을 주목 화소의 화소값으로 설정한다. 따라서, 주목 화소의 좌표가 (X, Y)이고, 주목 화소의 화소값이 IN(X, Y)이며, 처리 영역 내의 다른 화소의 화소값이 IN(PX, PY)일 경우, ε-필터는 화소값 IN(X, Y)과 화소값 IN(PX, PY) 사이의 차분 절대값이 임계값 T 이하인 화소를 선택한다. 또한, 화소값 IN(X, Y)과 화소값 IN(PX, PY) 사이의 차분 절대값이 임계값 T 이하인 화소수가 m인 경우, ε-필터는 ｍ개의 화소와 주목 화소의 화소값을 평균화한다. 이하에서, 탭수가 N이고 임계값이 T인 ε-필터는 ε(N, T)의 형태로 나타내고, ε-필터로부터의 출력값은 ε(N, T)의 형태로 나타낸다. 또한, 처리 영역내의 다른 화소의 좌표는 (PX, PY)의 형태로 나타낸다.
이러한 노이즈 제거에 관해서, 예를 들면 일본 특허 공개 공보 제2006-180268호는 ε-필터를 이용하는 대신에 양방향 필터가 이용되는 방법을 제안한다. 여기서, 양방향 필터는 조건부 평균값 필터 중 하나이다. 따라서, 양방향 필터는 관련 화소 및 주목 화소 사이의 거리와 관련 화소의 화소값 및 주목 화소의 화소값 사이의 차분값에 기초하여 각각 계수 Ws 및 We를 계산한다. 또한, 양방향 필터는 이 계수 Ws 및 We를 이용한 평균화 처리에 기초하여 엣지 성분을 보존하고, 노이즈를 억제한다.
도 25는 통상적인 양방향 필터를 도시하는 블록도이다. 도 26에 도시한 바와 같이, 양방향 필터(1)는, 예를 들면 대응부가 래스터 주사(raster scanning)의 순서로 순차적으로 주목 화소 P(X, Y)를 주사시키고, 주목 화소 P(X, Y)의 좌표(X, Y) 및 화소값 IN(X, Y), 및 그 중심에 주목 화소 P(X, Y)를 갖는 처리 영역 내의 다른 화소 P(PX, PY)의 화소값 IN(PX, PY)을 그 입력으로서 순차적으로 수신하도록 한다. 이 도 26에서, 처리 영역은 (2N+1) 화소가 수직 방향으로 배치되고 (2N+1) 화소가 수평 방향으로 배치되는 범위이다(N: 정수). 그러나, 처리 영역은 수직 방향과 수평 방향의 크기가 다르게 설정될 수도 있다.
양방향 필터(1)(도 25를 참조)에서, 주목 화소 P(X, Y)의 좌표(X, Y)는 계수연산부(2)의 거리 연산부(3)에 입력된다. 또한, 주목 화소 P(X, Y)의 화소값 IN(X, Y) 및 처리 영역 내의 다른 화소 P(PX, PY)의 화소값 IN(PX, PY)은 계수 연산부(2)의 엣지 연산부(4)에 입력된다.
거리 연산부(3)는 주목 화소 P(X, Y)의 좌표(X, Y)를 이용해서 수학식 1로 나타내는 연산 처리를 실행한다. 이후, 처리 영역 내의 주목 화소 P(S, Y) 및 다른 화소 P(PA, PY)에 대해서, 거리 연산부(3)는 가우스 곡선의 특성에 의해, 주목 화소 P(X, Y)로부터의 거리가 더 증가함에 따라, 그 값이 감소하는 거리 계수 Ws(Ws(X, Y, PX, PY))를 생성한다.
Figure 112008004037129-PAT00001
여기에서 σs는 노이즈 제거의 강도를 결정하는 파라미터이다.
엣지 연산부(4)는 화소값 IN(X, Y) 및 화소값 IN(PX, PY)을 이용해서 수학식 2로 나타내는 연산 처리를 실행한다. 이후, 처리 영역 내의 주목 화소 P(X, Y) 및 다른 화소 P(PX, PY)에 대해서, 엣지 연산부(4)는 가우스 곡선의 특성에 의해 주목 화소 P(X, Y)의 화소값 IN(X, Y)으로부터 화소값이 멀어짐에 따라, 그 값이 감소하는 엣지 계수 We(We(X, Y, PX, PY))를 생성한다.
Figure 112008004037129-PAT00002
여기에서 σe는 노이즈 제거의 강도를 결정하는 파라미터이다.
승산부(5)는 수학식 3으로 나타내는 연산 처리를 실행함으로써 거리 계수 Ws(Ws(X, Y, PX, PY))와 엣지 계수 We(We(X, Y, PX, PY))를 승산하고, 이에 의해 가중치 부여 계수 W(W(X, Y, PX, PY))를 계산한다.
Figure 112008004037129-PAT00003
필터부(6)는 수학식 4로 나타내는 연산 처리의 실행을 통해 가중치 부여 계수 W(X, Y, PX, PY)를 이용해서 처리 영역 내의 주목 화소 P(X, Y)의 화소값 IN(X, Y) 및 다른 화소의 화소값 IN(PX, PY) 각각을 가중치 부여하고, 이에 의해 평균화의 처리를 실행한다. 양방향 필터(1)는 필터부(6)에서 실행된 연산 처리의 결과 OUT(X, Y)을 출력한다.
Figure 112008004037129-PAT00004
양방향 필터(1)를 이용한 노이즈의 제거에서，엣지 성분은 ε-필터가 사용되는 경우에 비해서 노이즈를 순조롭게 억제하도록 보존될 수 있다. 따라서, ε-필터가 사용되는 경우에 비해서 화질이 향상될 수 있다. 그러나, 양방향 필터(1)에서，수학식 1 및 수학식 2로 나타내는 바와 같이, "exp"로 나타내는 지수 함수의 연산 처리를 처리 영역 내의 모든 화소에 대해 실행하는 것이 필요하다. 결국, 1 화소의 화소값의 계산을 위해 {(2N+1)×(2N+1)}회, 지수 함수의 연산 처리를 실행할 필요가 있다. 따라서, 연산 처리량이 방대해져, 처리가 복잡해지는 문제에 직면한다.
또한, 양방향 필터(1)에서, 가중치 부여 계수 W는 주목 화소마다 상이하고, 수학식 4에서의 분모의 계산이 충분한 정밀도가 확보되면서 주목 화소마다 실행될 필요가 있다. 이 경우에, 제산기(divider), 룩업 테이블 등을 이용하여 필터부가 간단히 구성되는 경우, 필터부의 구성이 번잡해지는 문제가 초래된다. 또한, 소프트웨어 처리를 이용하여 필터부가 구성되는 것에 불과하여, 제산(division)을 필요로 하는 계산량이 방대해지는 문제가 초래된다.
본 발명은 이상의 점을 고려해서 이루어진 것으로, 간이한 처리 및 구성으로 양방향 필터의 성능과 유사한 레벨의 노이즈 억제 성능을 확보할 수 있는 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈 제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을 기록한 기록 매체를 제안하자고 하는 것이다.
상기의 과제를 해결하기 위해서, 본 발명의 실시예에 따르면, 촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부 및 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고, 노이즈 억제부가 화상 데이터를 처리하는 제1 ε-필터, 제1 ε-필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 같은, 화상 데이터를 처리하는 제2 ε-필터, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한, 화상 데이터를 처리하는 제3 ε-필터, 제2 ε-필터와 탭수가 같고, 제3 ε-필터와 임계값이 같은, 화상 데이터를 처리하는 제4 ε-필터, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 제4 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치가 제공된다.
본 발명의 다른 실시예에 따르면, 촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부 및 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고, 노이즈 억제부가 화상 데이터를 처리하는 제1 ε-필터, 제1 ε -필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 같은, 화상 데이터를 처리하는 제2 ε-필터, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한, 화상 데이터를 처리하는 제3 ε-필터, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치가 제공된다.
본 발명의 또 다른 실시예에 따르면, 촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부 및 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고, 노이즈 억제부가 화상 데이터를 처리하는 제1 ε-필터, 제1 ε-필터와 임계값이 상이하고, 제1 ε-필터와 탭수가 같은, 화상 데이터를 처리하는 제2 ε-필터, 제2 ε-필터와 임계값이 같고, 제1 ε-필터와 탭수가 상이한, 화상 데이터를 처리하는 제3 ε-필터, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치가 제공된다.
본 발명의 또 다른 실시예에 따르면, 촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부 및 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고, 노이즈 억제부가 화상 데이터를 처리하는 제1 ε-필터, 제1 ε-필터와 탭수 및/또는 임계값이 상이한, 화상 데이터를 처리하는 제2 ε-필터, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치가 제공된다.
본 발명의 또 다른 실시예에 따르면, 화상 데이터를 처리하는 제1 ε-필터, 제1 ε-필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 같은, 화상 데이터를 처리하는 제2 ε-필터, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한, 화상 데이터를 처리하는 제3 ε-필터, 제2 ε-필터와 탭수가 같고, 제3 ε-필터와 임계값이 같은, 화상 데이터를 처리하는 제4 ε-필터, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 제4 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 노이즈 제거 장치가 제공된다.
본 발명의 또 다른 실시예에 따르면, 제1 ε-필터에 의해 화상 데이터를 처리하는 단계, 제1 ε-필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 화상 데이터를 처리하는 단계, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 화상 데이터를 처리하는 단계, 제2 ε-필터와 탭수가 같고, 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 화상 데이터를 처리하는 단계, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 제4 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 단계를 포함하는 노이즈 제거 방법이 제공된다.
본 발명의 또 다른 실시예에 따르면, 제1 ε-필터에 의해 화상 데이터를 처 리하는 단계, 제1 ε-필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 화상 데이터를 처리하는 단계, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 화상 데이터를 처리하는 단계, 제2 ε-필터와 탭수가 같고, 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 화상 데이터를 처리하는 단계, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 제4 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 단계를 포함하는 노이즈 제거 방법의 프로그램이 제공된다.
본 발명의 또 다른 실시예에 따르면, 화상 데이터의 노이즈를 제거하는 노이즈 제거 방법의 프로그램을 기록한 기록 매체가 제공되며, 노이즈 제거 방법의 프로그램은 제1 ε-필터에 의해 화상 데이터를 처리하는 단계, 제1 ε-필터와 탭수가 상이하고, 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 화상 데이터를 처리하는 단계, 제1 ε-필터와 탭수가 같고, 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 화상 데이터를 처리하는 단계, 제2 ε-필터와 탭수가 같고, 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 화상 데이터를 처리하는 단계, 및 제1 ε-필터의 출력값, 제2 ε-필터의 출력값, 제3 ε-필터의 출력값, 제4 ε-필터의 출력값, 및 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 출력 데이터를 출력하는 단계를 포함한다.
본 발명의 상기 실시예에 따르면, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 대응하는 가중치 부여 가 산 처리를 실행함으로써 노이즈 성분이 억제될 수가 있다. 그 결과, 간이한 처리 및 구성으로, 양방향 필터와 유사한 레벨의 노이즈 억제 성능이 확보될 수 있다.
본 발명에 따르면, 간이한 처리 및 구성으로, 양방향 필터와 유사한 레벨의 노이즈 억제 성능이 확보될 수 있다.
이하, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예를 상술한다.
[제1 실시예]
(1) 실시예의 구성
도 2는 본 발명의 제1 실시예에 따른 디지털 스틸 카메라를 도시하는 블록도이다. 디지털 스틸 카메라(11)에서, 촬상 소자(13)는 CCD(Charge Coupled Device) 고체 촬상 소자, CMOS(Complementary Metal-Oxide Semiconductor) 고체 촬상 소자 등으로 구성된다. 촬상 소자(13)는 렌즈 유닛(도시하지 않음)에 의해 촬상면에 형성된 광학 화상을 광전 변환 처리하고, 적색, 청색, 및 녹색의 화소값을 베이어(Bayer) 배열에 대응하는 순서로 순차적으로 출력한다.
전처리부(14)는 촬상 소자(13)로부터의 출력 신호를 상관 이중 샘플링 처리, 자동 이득 조정 처리, 및 아날로그-디지털 변환 처리하고, RAW 데이터 D1을 출력한다.
광학 보정부(15)는, 예를 들면 디지털 신호 프로세서로 구성되고, 전처리부(14)로부터 출력되는 RAW 데이터 D1을 결함 보정 처리, 및 노이즈 억제 처리하 고, RAW 데이터 D2를 출력한다.
화상 처리부(16)는 입력된 RAW 데이터 D2에 대하여 디모자이크(demosaic) 처리, 해상도 변환 처리, 감마 보정 처리, 화이트 밸런스 조정 처리, 및 화질 보정 처리 등의 화질 보정 처리를 실행하고, RAW 데이터 D2를 휘도 신호 및 색차 신호의 형태로 얻어진 화상 데이터로 변환하고, 그 결과의 화상 데이터를 출력한다. 디지털 스틸 카메라(11)에서, 이 화상 처리부(16)에서의 처리를 통해 얻어지는 화상 데이터를 표시 장치(도시하지 않음) 상에 표시하고, 또한 촬상 결과의 모니터 화상도 표시 장치 상에 표시한다.
인코더(ENC)(17)는, 예를 들면 JPEG(Joint Photographic Coding Experts Group) 등의 정지 화상의 부호화 방식을 이용하여 화상 처리부(16)로부터 출력되는 화상 데이터를 압축하고, 그 결과의 화상 데이터를 출력한다.
인코더(17)로부터 출력되는 출력 데이터, 또는 광학 보정부(15)로부터 출력되는 RAW 데이터 D2는 인터페이스(IF)(18)를 통해서 기록 매체(19)에 기록된다. 기록 매체(19)는 이 실시예에서 메모리 카드이며, 인터페이스(18)를 통해서 출력되는 각종의 데이터를 기록한다. 기록 매체(19)는 메모리 카드에 한하지 않고, 광 디스크 및 자기 디스크 등의 각종의 기록 매체 중 하나가 기록 매체(19)에 널리 적용될 수 있다.
도 3은 광학 보정부(15)의 노이즈 제거 처리에 관한 구성을 도시하는 블록도이다. 광학 보정부(15)는 전처리부(14)로부터 출력되는 RAW 데이터 D1을 라인 버퍼(21)를 통해서 그 입력으로서 수신한다.
주변 화소 참조부(22)는 각각 화상 데이터 D1을 출력 가능한 복수의 라인 버퍼의 직렬 회로를 포함한다. 주변 화소 참조부(22)는 라인 버퍼(21)로부터 출력되는 RAW 데이터 D1을 그 입력으로서 순차적으로 수신하고, 수신한 RAW 데이터 D1을 전송한다. 이 동작에 따라, 주변 화소 참조부(22)는 복수의 라인 버퍼로부터 RAW 데이터 D1을 동시 병렬적으로 출력함으로써, RAW 데이터 D1로 구성되는 모자이크 화상 상에 순차적으로 주목 화소를 설정한다. 마지막으로, 주변 화소 참조부(22)는 주목 화소로부터의 화상 데이터 및 주목 화소에 대응하는 주변 화소로부터의 화상 데이터를 순차적으로 출력한다.
고역 통과 필터(23)는 주변 화소 참조부(22)로부터 출력되는 RAW 데이터를 대역 제한하고 RAW 데이터의 고주파수 성분을 선택적으로 출력한다.
고주파수 노이즈 제거부(24)는 이차원의 메디안(median) 필터 등으로 구성된다. 고주파수 노이즈 제거부(24)는 고역 통과 필터(23)로부터의 출력 데이터의 노이즈를 억제하고 그 결과 데이터를 출력한다.
저역 통과 필터(25)는 주변 화소 참조부(22)로부터 출력되는 RAW 데이터를 대역 제한하고 RAW 데이터의 저주파수 성분의 화상 데이터 D3을 출력한다.
저주파수 노이즈 제거부(26)는 저역 통과 필터(25)로부터의 출력 데이터 D3의 노이즈를 억제하고, 그 결과의 화상 데이터 D4를 출력한다.
화상 합성부(28)는 고주파수 노이즈 제거부(24)로부터의 출력 데이터 및 저주파수 노이즈 제거부(26)로부터의 출력 데이터 D4를 서로 가산하고, 노이즈가 억제된 RAW 데이터 D2를 출력한다.
도 1은 저주파수 노이즈 제거부(26)의 구성을 상세하게 도시하는 블록도이다. 저주파수 노이즈 제거부(26)는 저역 통과 필터(25)로부터 출력되는 화상 데이터 D3을 라인 버퍼(31)를 통해서 그 입력으로서 수신한다.
주변 화소 참조부(32)는 각각 화상 데이터 D3을 출력 가능한 복수의 라인 버퍼의 직렬 회로를 포함한다. 주변 화소 참조부(32)는 라인 버퍼(31)로부터 출력되는 화상 데이터 D3을 순차적으로 그 입력으로서 수신하고, 수신한 화상 데이터 D3을 전송한다. 이 동작에 따라, 주변 화소 참조부(32)는 복수의 라인 버퍼로부터의 화상 데이터 D3을 동시 병렬적으로 출력함으로써, 화상 데이터 D3으로 구성되는 화상 상에 순차적으로 주목 화소를 설정한다. 마지막으로, 주변 화소 참조부(32)는 주목 화소로부터의 화상 데이터 및 그 중심에 주목 화소를 갖는 처리 영역내의 주목 화소에 대응하는 주변 화소로부터의 화상 데이터를 순차적으로 출력한다. 도 1에서, 도 25의 경우와 대비하여 주목 화소 P(X, Y)의 화소값을 IN(X, Y)의 형태로 나타내고, 처리 영역내의 다른 화소 P(PX, PY)의 화소값을 IN(PX, PY)의 형태로 나타낸다.
다단 ε-필터부(33)는 주변 화소 참조부(32)로부터의 출력 데이터를 그 입력으로서 수신하고 처리하여, 화상 데이터 D3의 엣지 성분을 보존하면서 양방향 필터와 거의 유사한 원활함으로 화상 데이터 D3의 노이즈를 억제하고, 화상 데이터 D4를 출력한다. 또한, 다단 ε-필터부(33)에서, ε-필터부(34)에 제공된 복수의 ε-필터(35A∼35D) 각각에 주변 화소 참조부(32)로부터의 출력 데이터가 입력된다.
즉, ε-필터부(34)에서，ε-필터(35A∼35D)의 탭수 및 임계값은 각각 N1 및 T1, N2 및 T1, N1 및 T2, 및 N2 및 T2이다. 여기서, 탭수 N1은 탭수 N2보다 작고(N1<N2), 탭수 N2는 처리 영역에 대응하는 탭수이다. 또한, 임계값 T1은 임계값 T2보다 작다(T1<T2).
승산부(36A∼36D)는 각각 가중치 부여 계수 K1∼K4로 ε-필터(35A∼35D)로부터의 출력 데이터를 승산하고, 그 결과의 출력 데이터를 출력한다. 또한, 승산부(37)는 주목 화소 P(X, Y)의 화소값 IN(X, Y)을 가중치 부여 계수 K0으로 승산하고, 그 결과의 출력 데이터를 출력한다.
가산부(38)는 승산부(36A∼36D)로부터의 출력 데이터 및 승산부(37)로부터의 출력 데이터를 서로 가산하고, 노이즈를 억제하여 얻어지는 저주파수 성분의 화상 데이터 D4를 출력한다.
ε-필터(35A∼35D), 승산부(36A∼36D, 37), 및 가산부(38)의 구성에 의해, 다단 ε-필터부(33)의 기능은 2 부분으로 나누어짐으로써 이해될 수 있다. 그 기능 중 하나는 다단 ε-필터부(33)가 ε-필터(35A, 35B)로부터의 출력값 및 ε-필터(35C, 35D)로부터의 출력값을 서로 가중치 부여 가산하는 동작에 해당한다. 여기서, 전술한 바와 같이, ε-필터(35A, 35B)는 서로 탭수가 상이하고, 임계값이 동일하다. 또한, ε-필터(35C, 35D)도 서로 탭수가 상이하고, 임계값이 동일하다. 또한, 그 기능 중 다른 하나는 다단 ε-필터부(33)가 ε-필터(35A, 35C)로부터의 출력값, ε-필터(35B, 35D)로부터의 출력값, 및 주목 화소 P(X, Y)의 화소값 IN(PX, PY)을 서로 가중치 부여 가산하는 동작에 해당한다. 여기서, 전술한 바와 같이, ε-필터(35A, 35C)는 서로 임계값이 상이하고, 탭수가 동일하다. 또한, ε- 필터(35B, 35D)도 서로 임계값이 상이하고, 탭수가 동일하다.
여기서, 도 4는 부호 A에 의해, GA={7×ε(7, T)+6×ε(3, T)}/13으로 나타내는 X 방향의 주파수 특성을 나타낸다. 모든 입력 데이터가 임계값 이하인 경우에 있어서, 여기서 기술되는 주파수 특성은 탭수 7 및 임계값 T의 ε-필터 ε(7, T)의 출력값과 탭수 3 및 임계값 T의 ε-필터 ε(3, T)의 출력값이, 가중치 부여 계수 7/13 및 6/13으로 각각 가중치 부여 가산되는 경우에 얻어진다. 또한, ε-필터 ε(7, T)은 X 방향의 탭 계수가 [1111111]이며, ε-필터 ε(3, T)은 X 방향의 탭 계수가 [0011100]이다. 또한, GA={7×ε(7, T)+6×ε(3, T)}/13으로 나타내는 X 방향의 주파수 특성은 탭 계수가 [1133311]인 ε-필터의 주파수 특성과 동일하다.
한편, 도 4에서, 부호 B는 파라미터 σs가 1.65인 경우에, 수학식 1로 나타내는 거리 계수 Ws의 주파수 특성을 나타낸다. 부호 B는 파라미터 σs가 1.65로 설정되고, 엣지 계수 We가 1.0으로 설정될 경우의 양방향 필터의 주파수 특성을 나타낸다. 양방향 필터에서，X 방향의 탭 계수는 [1 5 19 48 83 100 83 48 19 5 1]로 나타낸다. 부호 A로 나타내는 주파수 특성 및 부호 B로 나타내는 주파수 특성을 서로 비교하면, 게인이 0.2 이상인 경우에는 부호 A로 나타내는 주파수 특성 및 부호 B로 나타내는 주파수 특성은 거의 동일한 것으로 이해된다. 따라서, 파라미터 σs가 1.65로 설정되고, 엣지 계수 We가 1로 설정될 경우의 양방향 필터의 주파수 특성은 서로 탭수가 상이하고, 임계값이 동일한 ε-필터의 출력값의 가중치 부여 가산에 의해 근사될 수 있다.
수학식 5는 탭 계수가 [1133311]인 ε-필터의 주파수 특성이, 탭수가 각각 3 및 7이며, 임계값이 동일한 ε-필터의 출력값의 가중치 부여 가산에 의해 실현될 수 있는 것을 검증하는 수식이다.
Figure 112008004037129-PAT00005
또한, 도 5의 부호 C∼E는 ε-필터 ε(7, T)으로부터의 출력값과 ε-필터 ε(3, T)으로부터의 출력값의 합성 비율이 각각 1:3, 2:2, 및 3:1로 설정될 경우의 주파수 특성을 나타낸다. 도 5의 주파수 특성에 의해, 합성 비율이 변화되면, 파라미터 σs가 여러 가지로 상이한 경우에도, 전술한 경우와 마찬가지로, 엣지 계수 We가 1로 설정될 경우의 양방향 필터의 주파수 특성은 서로 탭수가 상이하고, 임계값이 동일한 ε-필터의 출력값의 가중치 부여 가산에 의해 실현될 수 있는 것이 이해된다.
반면에, 도 6은 파라미터 σe가 1.0으로 설정되는 경우에, 수학식 2로 나타내는 엣지 계수 We의 값을 나타내는 특성 곡선 그래프이다. 도 6에 도시된 특성은 거리 계수 Ws가 1로 설정되고, 파라미터 σe가 1.0으로 설정될 경우의 양방향 필터 의 응답과 동일하다. 도 6에서, 종축은 100배인 엣지 계수 We의 값을 나타낸다. 또한, 횡축은 주목 화소 P(X, Y)의 화소값 IN(X, Y)과 처리 영역내의 다른 화소 P(PX, PY)의 화소값 IN(PX, PY) 사이의 차분 절대값을 나타낸다. 도 6으로부터 분명한 바와 같이, 차분 절대값이 0인 경우, 엣지 계수 We는 1이 되고, 차분 절대값이 1인 경우, 엣지 계수 We는 0.61이 된다. 또한, 차분 절대값이 2인 경우, 엣지 계수 We는 0.14가 되고, 차분 절대값이 3 이상인 경우, 엣지 계수 We는 거의 0이 된다.
따라서, 가우스 곡선에 의한 엣지 계수 We의 특성은 차분 절대값이 증가함에 따라 순차 계단 형상으로 값이 감소하는 특성과 동일하다. 따라서, 이 계단 형상의 값의 감소값이 각각 가중치 부여 계수로 설정되고, 도 6에 도시된 화소 차분값이 각각 임계값으로 설정되는 ε-필터의 출력값은 이들 가중치 부여 계수를 이용하여 가중치 부여 가산되면, 도 7에 도시한 바와 같이, 거리 계수 Ws가 1.0으로 설정되고, 파라미터 σe가 1.0으로 설정될 경우의 양방향 필터의 응답을 확보할 수 있다.
즉, 거리 계수 Ws가 1.0으로 설정되고, 파라미터 σe가 1.0으로 설정될 경우에, 양방향 필터의 응답 GB는 14/100×ε(N, 2)+47/100×ε(N, 1)+39/100×IN(X, Y)으로 나타낼 수 있다. 또한, 이 경우에 양방향 필터의 응답 GB는 서로 임계값이 상이하고, 탭수가 동일한 ε-필터의 출력값 및 주목 화소 P(X, Y)의 화소값 IN(X, Y)의 가중치 부여 가산에 의해 실현될 수 있다. 도 7에서, 숫자 14 및 47은 각각 ε-필터 ε(N, 2) 및 ε(N, 1)의 가중치를 100배함으로써 얻어진다. 또한, 숫자 39는 주목 화소 P(X, Y)의 화소값 IN(X, Y)의 가중치를 100배함으로써 얻어진다.
여기서, 다음의 수학식 6은 거리 계수 Ws가 1로 설정될 경우의 양방향 필터의 주파수 특성이, 서로 탭수가 동일하고, 임계값이 상이한 ε-필터의 출력값의 가중치 부여 가산에 의해 실현될 수 있는 것을 검증하는 수식이다. 이 수식에서, OUTe(X, Y)는 거리 계수 Ws가 1로 설정될 경우의 양방향 필터의 출력값을 나타낸다. 또한, ε(N, 0)은 임계값 T가 0으로 설정되는 ε-필터를 나타내며, 이 값은 주목 화소 P(X, Y)의 화소값 IN(X, Y)과 동일하다. 따라서, 이 수식의 변형에 의해서도, 거리 계수 Ws가 1로 설정될 경우의 양방향 필터의 주파수 특성이, 서로 임계값이 상이하고, 탭수가 동일한 ε-필터의 출력값 및 주목 화소 P(X, Y)의 화소값 IN(X, Y)의 가중치 부여 가산에 의해 실현될 수 있는 것이 이해된다.
Figure 112008004037129-PAT00006
반면에, 도 8은 파라미터 σe가 10으로 설정될 경우에, 수학식 2로 나타내는 엣지 계수 We의 값을 나타내는 특성 곡선 그래프이다. 이 경우, 도 6에 도시한 차분 절대값이 파라미터 σe가 1.0으로 설정될 경우에 10배로 된다. 따라서, 도 7의 경우와의 대비하여, 도 9에 도시한 바와 같이, 파라미터 σe의 값에 대응하도록 임계값이 10배로 되는 ε-필터의 출력값 및 주목 화소 P(X, Y)의 화소값 IN(X, Y)의 가중치 부여 가산에 의해, 양방향 필터의 주파수 특성이 실현될 수 있는 것이 이해된다. 도 9에 도시한 예에서, 가우스 곡선의 근사 정밀도가 열화된다. 그러나, ε-필터의 단수를 증가시키면, 근사 정밀도를 향상시킬 수 있다.
따라서, σe=1.65, σe=1.0으로 설정된 양방향 필터는, 도 10에 도시한 바와 같이, 복수의 ε-필터의 출력값의 가중치 부여 가산 처리로 구성될 수 있다. 즉, 도 10에 도시한 예에서, 임계값이 2, 1, 및 0으로 설정된 3개의 탭을 갖는 ε-필터 ε(3, 2), ε(3, 1), 및 ε(3, 0)의 출력값은, 각각 가중치 부여 계수 0.14, 0.47, 및 0.39에서 서로 가중치 부여 가산되어 제1 가산값을 생성한다. 또한, 임계값이 2, 1, 및 0으로 설정된 7개의 탭을 갖는 ε-필터 ε(7, 2), ε(7, 1), 및 ε(7, 0)의 출력값은, 각각 가중치 부여 계수 0.14, 0.47, 및 0.39에서 가중치 부여 가산되어 제2 가산값을 생성한다. 또한, 제1 및 제2 가산값은 각각 가중치 부여 계수 6/13 및 7/13에서 서로 가중치 부여 가산되고, 이에 의해 σs=1.65 및 σs=1.0을 갖는 양방향 필터를 구성할 수 있다.
여기서, 도 10에 도시한 구성은 다음 수학식 7로 나타낼 수 있다.
Figure 112008004037129-PAT00007
또한, 수학식 7은 정리하여 다음 수학식 8로 나타낼 수 있다. 따라서, 임계값이 2 및 1로 설정되는 3개의 탭을 갖는 ε-필터 ε(3, 2) 및 ε(3, 1)의 출력값, 임계값이 2 및 1로 설정되는 7개의 탭을 갖는 ε-필터 ε(7, 2) 및 ε(7, 1)의 출력값, 및 주목 화소 P(X, Y)의 화소값 IN(X, Y)의 가중치 부여 가산에 의해, σs=1.65 및 σs=1.0으로 설정되는 양방향 필터를 구성할 수 있다.
Figure 112008004037129-PAT00008
수학식 8에 대응하도록, ε-필터(35A∼35D)(도 1 참조)에서, 탭수 N1이 3으 로 설정되고, 탭수 N2가 7로 설정되며, 임계값 T1 및 T2가 각각 1 및 2로 설정된다. 또한, 승산부(37)의 가중치 부여 계수 K0 및 승산부(36A∼36D)의 가중치 부여 계수 K1∼K4는 수학식 8로 나타내는 값으로 각각 설정된다.
도 11은 도 1에 도시한 구성을 갖는 저주파수 노이즈 제거부(26)에서 실행되는 처리 절차를 나타내는 플로우차트이다. 여기에서, "폭" 및 "높이"는 처리 대상으로서 각각 화상 데이터 D3의 수평 방향의 화소수 및 수직 방향의 화소수를 나타낸다. 또한, "i" 및 "j"는 각각 주목 화소의 수직 방향의 위치 및 수평 방향의 위치를, "높이" 및 "폭"과 대비하여 나타내는 변수이다.
이 처리 절차가 시작되면, 저주파수 노이즈 제거부(26)의 동작은 스텝 SP1에서 스텝 SP2로 진행하고, 주목 화소의 수직 방향의 위치를 나타내는 변수 i를 0으로 초기화한다. 또한, 다음의 스텝 SP3에서, 주목 화소의 수평 방향의 위치를 나타내는 변수 j는 0으로 초기화된다. 다음으로, 스텝 SP4에서, 저주파수 노이즈 제거부(26)는 가산부(38)에서의 가산값을 나타내는 변수합을 0으로 초기화한다.
다음으로, 스텝 SP5에서, 저주파수 노이즈 제거부(26)에서, 승산부(37)는 주목 화소 P(X, Y)의 화소값 IN(X, Y)을 가중치 부여 계수 K0으로 가중치 부여하고, 그 결과값을 변수합에 가산한다. 또한, 다음의 스텝 SP6에서，저주파수 노이즈 제거부(26)는 ε-필터(35A∼35D) 중 어느 하나를 특정하는 변수 k를 0으로 초기화한다. 또한, 다음의 스텝 SP7에서, 저주파수 노이즈 제거부(26)는 변수 k로 특정되는 ε-필터를 이용하여 주변 화소 참조부(32)로부터의 출력 데이터를 처리하고, 변수 k로 특정되는 ε-필터로부터의 출력값을 대응하는 가중치 부여 계수로 가중치 부여하고, 가중치 부여된 출력값을 변수합에 가산한다.
다음의 스텝 SP8에서, 저주파수 노이즈 제거부(26)는 변수 k를 1씩 증가시킨다. 또한, 다음의 스텝 SP9에서, 저주파수 노이즈 제거부(26)는 미처리된 ε-필터가 남아있는지의 여부를 판단한다. 스텝 SP9에서 긍정 결과가 얻어지면(예: 스텝 SP9에서), 이 동작은 스텝 SP7로 되돌아간다. 따라서, 저주파수 노이즈 제거부(26)는 순차적으로 ε-필터를 절환하여, 각 ε-필터의 출력값을 가중치 부여해서 가산한다. 모든 ε-필터에서 처리가 완료되면, 스텝 SP9에서 부정 결과가 얻어져(아니오: 스텝 SP9에서), 이 동작은 스텝 SP10으로 진행한다.
스텝 SP10에서, 저주파수 노이즈 제거부(26)는 변수합에 대한 가산값을 출력한다. 또한, 다음의 스텝 SP11에서, 저주파수 노이즈 제거부(26)는 주목 화소의 수평 방향의 위치를 나타내는 변수 j를 1씩 증가시킨다. 또한, 다음의 스텝 SP12에서, 저주파수 노이즈 제거부(26)는 변수 j를 수평 방향의 화소수, 폭과 비교해서, 1라인에 대한 처리가 아직 완료되지 않았는지의 여부를 판단한다.
스텝 SP12에서 긍정 결과가 얻어지면, 저주파수 노이즈 제거부(26)는 그 동작을 스텝 SP4로 되돌리고, 수평 방향의 다음의 주목 화소에 대한 처리를 반복한다. 반면에, 스텝 SP12에서 부정 결과가 얻어지면, 저주파수 노이즈 제거부(26)의 동작은 스텝 SP13으로 진행한다. 그 후, 저주파수 노이즈 제거부(26)는 주목 화소의 수직 방향의 위치를 나타내는 변수 i를 1씩 증가시킨다. 다음으로, 스텝 SP14에서, 저주파수 노이즈 제거부(26)는 변수 i를 수직 방향의 화소수, 높이와 비교해서, 1화면에 대한 처리가 아직 완료되지 않았는지의 여부를 판단한다.
스텝 SP14에서 긍정 결과가 얻어지면, 저주파수 노이즈 제거부(26)는 그 동작을 스텝 SP3으로 되돌리고, 다음의 라인에 대한 처리를 시작한다. 반면에, 스텝 SP14에서 부정 결과가 얻어지면, 저주파수 노이즈 제거부(26)의 동작은 스텝 SP15로 진행하고, 이에 의해 노이즈 억제 처리를 완료한다.
(2) 실시예의 동작
이상의 구성으로, 디지털 스틸 카메라(11)에서(도 2 참조), 전처리부(14)는 촬상 소자(13)로부터 출력되는 촬상 신호를 아날로그-디지털 변환 처리하여 RAW 데이터 D1을 생성한다. 광학 보정부(15)는 생성된 RAW 데이터 D1의 노이즈를 억제한다. 또한, 다음 단계의 화상 처리부(16)는 RAW 데이터 D2를 디모자이크 처리하여 풀 컬러의 화상 데이터를 생성한다. 풀 컬러의 화상 데이터가 휘도 신호 및 색차 신호의 형태로 얻어진 화상 데이터로 보정된 후, 인코더(17)는 그 결과의 화상 데이터를 데이터-압축한다. 또한, 기록 매체(19)는 그 결과의 화상 데이터를 기록한다. 또한, 유저가 RAW 데이터를 기록 매체(19)에 기록하도록 지시하는 경우에는, 광학 보정부(15)로부터 출력되는 RAW 데이터 D2가 기록 매체(19)에 기록된다.
광학 보정부(15)에서의 노이즈 제거 처리에서(도 3 참조), RAW 데이터 D1은 라인 버퍼(21) 및 주변 화소 참조부(22)를 통해서 고역 통과 필터(23) 및 저역 통과 필터(25)에 입력되어, 각각 고주파수 성분 및 저주파수 성분으로 분리된다. 또한, 고주파수 성분 및 저주파수 성분이 각각 고주파수 노이즈 제거부(24) 및 저주파수 노이즈 제거부(26)에 입력되어, 노이즈를 억제한 후, 그 결과의 고주파수 성분 및 저주파수 성분이 화상 합성부(28)에서 합성되어 RAW 데이터 D2를 생성한다. 따라서, 디지털 스틸 카메라(11)에서，RAW 데이터 D1의 형태로 얻어지는 화상 데이터는 고주파수 성분과 저주파수 성분으로 대역 분리되고, 고주파수 성분과 저주파수 성분의 노이즈가 각각 억제된다. 그 결과, 대역 분리를 수행하지 않고 노이즈가 억제되는 경우에 비하여 화질의 열화를 감소하도록 노이즈가 효율적으로 억제될 수 있다.
전술한 광학 보정부(15)에서의 저주파수측의 노이즈의 억제에 대하여, 종래에 ε-필터를 적용해서 엣지 성분이 보존되면서 노이즈가 억제되고, 이에 의해 화질의 열화를 방지하였지만, 노이즈 억제 성능을 더욱 개선하는 것이 요구된다. 노이즈 억제의 처리에 ε-필터 대신에 양방향 필터를 사용하면, 노이즈 억제 성능을 더욱 향상시킬 수 있지만, 구성 및 처리가 복잡해진다.
따라서, 디지털 스틸 카메라(11)에서(도 1 참조), 저주파수 성분을 갖는 화상 데이터 D3는 라인 버퍼(31) 및 주변 화소 참조부(32)를 통해서 다단 ε-필터부(33)에 입력된다. 또한, 복수의 ε-필터(35A∼35D)로부터의 출력값 및 주목 화소 P(X, Y)의 화소값 IN(X, Y)은 서로 가중치 부여 가산된다. 그 결과, 양방향 필터의 경우와 마찬가지로, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 따른 가중치 부여 가산 처리에 의해, 노이즈 성분이 억제된다.
따라서, 디지털 스틸 카메라(11)에서, 간단히 ε-필터를 사용해서 노이즈가 억제되는 경우에 비해서 노이즈 억제 성능이 극적으로 향상될 수 있다. 즉, 보다 구체적으로, 간단히 ε-필터를 사용해서 노이즈가 억제되는 경우에 비하여 엣지가 순조롭게 보존되어 노이즈가 충분히 억제될 수 있다.
또한, 구성이 간이한 ε-필터(35A∼35D)를 각각 이용해서 노이즈가 억제될 수 있으며, 그 결과, 양방향 필터가 사용되는 경우에 비하여 구성 및 처리가 간략화될 수 있다. 즉, 본 실시예의 ε-필터는 계수 1을 이용하여 평균 처리를 실행하는 필터이므로, 제산의 계산에서의 분모가 평균화 처리되는 화소수가 된다. 따라서, 분모가 유한한 정수값이 된다. 따라서, 예를 들면, 룩업 테이블 등을 이용해서 제산의 처리가 실행될 수 있다. 또한, 계수값이 1이기 때문에 분자의 계산도 간단하다. 그 결과, 디지털 스틸 카메라(11)는 전반적으로 계산이 간단한 특징을 갖는다. 따라서, 저주파수 노이즈 제거부(26)는 소프트웨어의 형태로 구성되는 경우에, 처리가 간략화될 수가 있다. 또한, 저주파수 노이즈 제거부(26)는 하드웨어의 형태로 구성되는 경우에, 구성이 간략화될 수 있으며, 병렬 처리의 실행으로 처리 속도가 고속도화될 수 있다.
또한, 간단한 가중치 부여 계수를 이용한 선형 합성 처리에 의해 노이즈가 억제된다. 따라서, 가중치 부여 계수는 서로 변경되는 등 하며, 이에 의해 노이즈 제거 필터의 특성을 유연하게 변경할 수 있다.
(3) 실시예의 효과
본 발명의 실시예에 따르면, 복수의 ε-필터로부터의 출력값 및 주목 화소의 화소값은 서로 가중치 부여 가산되고, 이에 의해 화상 데이터의 노이즈를 억제한다. 그 결과, 간이한 처리 및 구성으로, 양방향 필터와 유사한 레벨의 노이즈 억제 성능이 확보될 수 있다. 즉, 탭수 및 임계값이 각각 N1 및 T1, N2 및 T1, N1 및 T2, 및 N2 및 T2로 설정된 제1∼제4 ε-필터로부터의 출력값 및 주목 화소의 화소값은 서로 가중치 부여 가산되고, 이에 의해 화상 데이터의 노이즈를 억제한다. 그 결과, 간이한 처리 및 구성으로, 양방향 필터와 유사한 레벨의 노이즈 억제 성능이 확보될 수 있다.
[제2 실시예]
도 12는 도 1에 도시한 제1 실시예와 대비하여 본 발명의 제2 실시예에 따른 디지털 스틸 카메라에 적용되는 저주파수 노이즈 제거부를 도시하는 블록도이다. 여기서, RAW 데이터의, 휘도 레벨이 작은 부분에서 화상 처리부(16)(도 2 참조)의 화상 처리에서 적용되는 γ곡선에 의한 화소값의 보정을 수행하거나, 또는 컴퓨터 등에서의 RAW 데이터 등의 화상 현상 처리에 적용되는 γ곡선에 의한 화소값의 보정을 수행함으로써, 노이즈가 뚜렷해진다. 이러한 상황을 극복하기 위하여, 본 실시예에서, 저주파수 노이즈 제거부(46)는 각각의 승산부(36A∼36D)에서의 가중치 부여 계수 K1∼K4를 가변시키고, 휘도 레벨이 작은 부분에서 노이즈 억제량을 증가시켜서, 화상 데이터 D3의 노이즈를 억제한다. 보다 구체적으로는, 양방향 필터에서 거리 계수 Ws가 계산되는 것에 기초한 파라미터 σs가 어두운 부분에서 등가적으로 커지도록, 가중치 부여 계수 K1∼K4가 각각의 승산부(36A∼36D)에서 가변된다. 디지털 스틸 카메라는 각각의 승산부(36A∼36D)에서의 가중치 부여 계수 K1∼K4가 가변되는 구성을 제외하고, 제1 실시예의 디지털 스틸 카메라(11)와 동일하게 구성된다.
즉, 저주파수 노이즈 제거부(46)에서, 제어부(47)는 주변 화소 참조부(32)로부터 출력되는 화상 데이터를 그 입력으로서 수신하고, 소정 블록마다, 평균 휘도 레벨을 계산한다. 제어부(47)는 소정 블록마다 평균 휘도 레벨을 계산하는 대신에, 화소마다 휘도 레벨을 계산하여도 된다. 제어부(47)는 계산된 휘도 레벨에 따라, 도 13에 도시하는 특성 곡선에 의해 휘도 레벨이 증가함에 따라 그 값이 감소하도록, 파라미터 αs를 계산한다.
또한, 다음 수학식 9로 나타내는 바와 같이, 임계값 T1을 갖는 3-탭의 ε-필터(35A) 및 이에 대응하는 7-탭의 ε-필터(35C)의 합성 비율이 변화되고, 이 합성 비율의 변화에 연동해서 임계값 T2를 갖는 3-탭의 ε-필터(35B) 및 이에 대응하는 7-탭의 ε-필터(35D)의 합성 비율이 변화되도록, 계산된 파라미터 αs를 이용하여 각각의 승산부(36A∼36D)에서의 가중치 부여 계수 K1∼K4가 가변된다. 따라서, 이 경우에, 저주파수 노이즈 제거부(46)는 휘도 레벨이 낮은 부분에서 탭수가 적은 ε-필터로부터의 출력 신호 성분이 증가하도록 가중치 부여 계수 K1∼K4를 가변시킨다.
Figure 112008004037129-PAT00009
도 14에서, 부호 L1, L2, 및 L3은 각각 3-탭의 ε-필터로부터의 출력 신호 및 7-탭의 ε-필터로부터의 출력 신호가, 3:1, 1:1, 및 1:3의 비율로 합성될 경우의 주파수 특성을 나타낸다. 도 14에 도시한 바와 같이, 탭수가 적은 ε-필터로부 터의 출력 신호가 증가하도록, 가중치 부여 계수 K1∼K4가 가변되면, 컷오프 주파수가 감소될 수 있어, 노이즈를 억제하는 능력이 향상될 수 있다.
본 발명의 제2 실시예에 따르면, 휘도 레벨이 낮은 부분에서 탭수가 적은 ε-필터로부터의 출력 신호가 증가하도록, 가중치 부여 계수가 가변되고, 그 결과, 노이즈가 더욱 효율적으로 제거될 수 있고, 이에 의해 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제3 실시예]
본 발명의 제3 실시예에서, 밝은 부분에서의 광학 샷 노이즈가 감소된다. 이 때문에, 제3 실시예에서, 양방향 필터에서의 엣지 계수 We의 계산을 위한 파라미터 σe가 밝은 부분에서 등가적으로 커지도록, ε-필터의 특성이 가변된다. 본 발명의 제3 실시예에 따른 디지털 스틸 카메라는 ε-필터의 특성이 가변되는 구성이 제2 실시예와 다른 점을 제외하고는 제2 실시예의 디지털 스틸 카메라와 동일하게 구성된다. 따라서, 제3 실시예는 도 12에 도시한 구성을 유용해서 이하에서 설명한다.
즉, 저주파수 노이즈 제거부(46)에서, 제어부(47)는 주변 화소 참조부(32)로부터 출력되는 화상 데이터를 그 입력으로서 수신하고, 소정 블록마다 평균 휘도 레벨을 계산한다. 제어부(47)는 소정 블록마다 평균 휘도 레벨을 계산하는 대신에, 화소마다 휘도 레벨을 계산하여도 된다. 제어부(47)는 계산된 휘도 레벨에 따라서, 도 15에 도시하는 특성 곡선에 의해 휘도 레벨이 증가함에 따라 파라미터 αe 의 값이 증가하도록, 파라미터 αe를 계산한다.
또한, 이 계산된 파라미터 αe를 이용하여, 다음 수학식 10으로 나타내는 바와 같이, 제어부(47)는 7탭의 ε-필터(35A, 35B)의 임계값을 각각 αe로 설정하고, 7탭의 ε-필터(35C, 35D)의 임계값을 각각 2αe로 설정한다. 따라서, 이 경우, 저주파수 노이즈 제거부(46)는 도 16에 도시한 바와 같이, 탭수가 다른 ε-필터의 임계값 사이의 비율을 소정값으로 유지하면서, 밝은 부분에서 그 값이 커지도록, 임계값을 가변시키고, 이에 의해 밝은 부분에서의 광학 샷 노이즈를 감소시킨다.
Figure 112008004037129-PAT00010
본 발명의 제3 실시예에 따르면, 탭수가 다른 ε-필터의 임계값 사이의 비율을 소정값으로 유지하면서, 밝은 부분에서 그 값이 커지도록 임계값을 가변시킨다. 그 결과, 밝은 부분에서의 광학 샷 노이즈를 감소시킴으로써 노이즈가 더욱 효율적으로 제거된다. 결과적으로, 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제4 실시예]
제4 실시예에서, 제2 및 제3 실시예에서 기술된 노이즈 제거 처리에 대한 구성이 서로 병용되고, 이에 의해 어두운 부분에서의 노이즈와 밝은 부분에서의 광학 샷 노이즈 모두를 감소시킨다. 본 발명의 제4 실시예에 따른 디지털 스틸 카메라 는 노이즈 제거 처리에 관한 구성이 제2 실시예와 다른 점을 제외하고는, 제2 실시예의 디지털 스틸 카메라와 동일하게 구성된다. 따라서, 이하에서는 도 12의 구성을 유용해서 제4 실시예를 설명한다.
즉, 저주파수 노이즈 제거부(46)에서, 제어부(47)는 주변 화소 참조부(32)로부터 출력되는 화상 데이터를 그 입력으로서 수신하고, 소정 블록마다 평균 휘도 레벨을 계산한다. 제어부(47)는 소정 블록마다 평균 휘도 레벨을 계산하는 대신에, 화소마다 휘도 레벨을 계산하여도 된다. 제어부(47)는 계산된 휘도 레벨에 따라서, 도 13에 도시하는 특성 곡선에 의해 휘도 레벨이 증가함에 따라 파라미터 αe의 값이 감소하도록, 파라미터 αs를 계산한다. 또한, 제어부(47)는 도 15에 도시하는 특성 곡선에 의해 휘도 레벨이 증가함에 따라서 그 값이 증가하도록, 파라미터 αe를 계산한다.
또한, 다음 수학식 11에서 나타내는 바와 같이, 제어부(47)는 계산된 파라미터 αe 및 αs를 이용하여, 3탭의 ε-필터(35A, 35B)의 임계값 및 7탭의 ε-필터(35C, 35D)의 임계값을 각각 αe 및 2αe로 설정한다. 또한, 3탭의 ε-필터(35A) 및 대응하는 7탭의 ε-필터(35C)의 합성 비율과, 3탭의 ε-필터(35B) 및 대응하는 7탭의 ε-필터(35D)의 합성 비율이 가변된다.
Figure 112008004037129-PAT00011
본 발명의 제4 실시예에 따르면, 제어부는 휘도 레벨이 낮은 부분에서 탭수가 적은 ε-필터의 출력 신호 성분이 증가하도록, 가중치 부여 계수를 가변시킨다. 또한, 제어부는 탭수가 다른 ε-필터의 임계값 사이의 비율을 소정값으로 유지하면서, 밝은 부분에서 그 값이 커지도록 임계값을 가변시킨다. 그 결과, 밝은 부분에서의 광학 샷 노이즈와 어두운 부분에서의 γ곡선에 의한 노이즈 모두를 감소시킴으로써 노이즈가 더욱 효율적으로 제거된다. 결과적으로, 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제5 실시예]
도 17은 도 1에 도시한 제1 실시예와 대비하여 본 발명의 제5 실시예에 따른 디지털 스틸 카메라에 적용되는 저주파수 노이즈 제거부의 구성을 도시하는 블록도이다. 저주파수 노이즈 제거부(56)는 탭수 N2, 임계값 T2의 ε-필터(35D) 및 ε-필터(35D)와 관련된 승산부(36D)가 생략된 점을 제외하고, 전술한 제1 내지 제4 실 시예와 동일하게 구성된다.
여기서, 도 18a 및 도 18b는 도 9의 경우와 대비하여, 도 1에 도시한 저주파수 노이즈 제거부(26)의 ε-필터(35A∼35D)의 처리를 설명하는 개략선도이다. 도 18 및 도 18 이후의 설명에서는，ε-필터(35A∼35D)로부터의 출력은 각각 부호 a∼d로 나타낸다. 도 1에 도시한 제1 실시예의 저주파수 노이즈 제거부(26)에서, 차분 절대값이 임계값 T1보다 작을 경우, ε-필터(35A∼35D)로부터의 출력 a~d가 합성되고, 그 결과의 합성 출력이 출력된다(도 18a 참조). 반면에, 차분 절대값이 임계값 T1보다 크고, 임계값 T2보다 작을 경우, 임계값이 T2의 ε-필터(35B, 35D)로부터의 출력 b 및 d만이 합성되고, 그 결과의 합성 출력이 출력된다(도 18b 참조). 따라서, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 따른 가중치 부여 가산 처리를 실행함으로써, 노이즈 성분이 억제될 수 있으며, 이에 의해 간단히 ε-필터가 사용되는 경우에 비하여, 노이즈 제거 성능을 향상시킬 수 있다.
여기서, 도 17에 도시된 제5 실시예에서, 도 19a 및 도 19b에 도시한 바와 같이, 차분 절대값이 임계값 T1보다 작을 경우, ε-필터(35A∼35C)의 출력 a~c가 합성되고, 그 결과의 합성 출력이 출력된다(도 19a 참조). 반면에, 차분 절대값이 임계값 T1보다 크고, 임계값 T2보다 작을 경우, 임계값 T2의 ε-필터(35B)로부터의 출력 b만이 출력된다(도 19b 참조). 따라서, 도 17에 도시된 제5 실시예에서도, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 따른 가중치 부여 가산 처리를 실행함으로써, 노이즈 성분이 억제 될 수 있고, 이에 의해 간단히 ε-필터가 사용되는 경우에 비하여, 노이즈 제거 성능을 향상시킬 수 있다.
본 발명의 제5 실시예에 따르면, 제1 ε-필터, 제1 ε-필터와 탭수가 다른 제2 ε-필터, 및 제1 ε-필터와 임계값이 상이한 제3 ε-필터의 출력값 및 주목 화소의 화소값은 단순히 가중치 부여 가산되는 경우, 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제6 실시예]
도 20은 도 1의 제1 실시예와 대비하여 본 발명의 제6 실시예에 따른 디지털 스틸 카메라에 적용되는 저주파수 노이즈 제거부의 구성을 도시하는 블록도이다. 저주파수 노이즈 제거부(66)는 탭수 N2, 임계값 T1의 ε-필터(35C) 및 ε-필터(35C)와 관련된 승산부(36C)가 생략된 점을 제외하고, 전술한 제1 내지 제4 실시예와 동일하게 구성된다.
여기서, 도 18a 및 도 18b의 경우와 대비하여 도 21a 및 도 21b에 도시한 바와 같이, 도 20에 도시된 본 실시예에서, 차분 절대값이 임계값 T1보다 작을 경우, ε-필터(35A, 35B, 35D)로부터의 출력 a, b 및 d가 합성되고, 그 결과의 합성 출력이 출력된다(도 21a 참조). 반면에, 차분 절대값이 임계값 T1보다 크고, 임계값 T2보다 작을 경우, 임계값 T2의 ε-필터(35B, 35D)로부터의 출력 b 및 d가 합성되고, 그 결과의 합성 출력이 출력된다(도 21b 참조). 따라서 도 20에 도시된 본 실시예에서, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 따른 가중치 부여 가산 처리를 실행함으로써, 노이즈 성분이 억제될 수 있고, 이에 의해 간단히 ε-필터가 사용되는 경우에 비하여, 노이즈 제거 성능을 향상시킬 수 있다.
본 발명의 제 6 실시예에 따르면, 제1 ε-필터, 제1 ε-필터와 임계값이 상이한 제2 ε-필터, 및 제2 ε-필터와 임계값이 동일하고 제1 ε-필터와 탭수가 다른 제3 ε-필터의 출력값 및 주목 화소의 화소값은 단순히 가중치 부여 가산되는 경우, 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제7 실시예]
도 22는 도 1의 제1 실시예와 대비하여 본 발명의 제7 실시예에 따른 디지털 스틸 카메라에 적용되는 저주파수 노이즈 제거부의 구성을 도시하는 블록도이다. 저주파수 노이즈 제거부(76)는 탭수 N1, 임계값 T1의 ε-필터(35A), ε-필터(35A)와 관련된 승산부(36A), 탭수 N2, 임계값 T2의 ε-필터(35D), 및 ε-필터(35D)와 관련된 승산부(36D)가 생략된 점을 제외하고, 전술한 제1 내지 제4 실시예와 동일하게 구성된다.
여기서, 도 18a 및 도 18b의 경우와 대비하여 도 23a 및 도 23b에 도시한 바와 같이, 도 22에 도시한 본 실시예에서, 차분 절대값이 임계값 T1보다 작을 경우, ε-필터(35B, 35C)로부터의 출력 b 및 c가 합성되고, 그 결과의 합성 출력이 출력된다(도 23a 참조). 반면에, 차분 절대값이 임계값 T1보다 크고, 임계값 T2보다 작을 경우, 임계값 T2의 ε-필터(35B)로부터의 출력 c만이 출력된다(도 23b 참조). 결과적으로, 도 22에 도시된 본 실시예에서도, 관련 화소와 주목 화소 사이의 거리 및 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분값에 따른 가중치 부여 가산 처리를 실행함으로써, 노이즈 성분이 억제될 수 있고, 이에 의해 간단히 ε-필터가 사용되는 경우에 비하여, 노이즈 제거 성능을 향상시킬 수 있다. ε-필터(35B, 35C)를 사용하는 대신에, ε-필터(35A, 35B), ε-필터(35A, 35C), 또는 ε-필터(35A, 35D)를 이용해서 ε-필터부(34)가 구성되어도 된다.
본 발명의 제7 실시예에 따르면, 제1 ε-필터 및 제1 ε-필터와 탭수 또는 임계값이 상이한 제2 ε-필터의 출력값 및 주목 화소의 화소값이 단순히 가중치 부여 가산되는 경우, 제1 실시예와 마찬가지의 효과를 얻을 수 있다.
[제8 실시예]
전술한 제7 실시예에서, 도 24a의 모식도에서 도시한 바와 같이, 3탭의 ε-필터와 7탭의 ε-필터의 출력값이 각각 소정의 가중치 부여 계수(도 24a 및 도 24b의 예에서는 a 및 b)로 가중치 부여 가산되는 경우에 대해서 설명했다. 그러나, 본 발명은 이에 한하지 않는다. 즉, 도 24a의 경우와 대비하여 도 24b에 도시한 바와 같이 3탭의 ε-필터로 계산된 처리 영역을 제외하도록, 나머지 ε-필터에서 조건부 평균화 처리가 실행될 수 있으며, 조건부 평균화 처리의 결과와 3탭의 ε-필터를 이용한 계산 결과의 합성에 기초하여 7탭의 ε-필터의 출력이 얻어져도 된다. 도 24a 및 도 24b에서, ε-필터의 처리 영역을 해칭으로 나타낸다. 도 24a 및 도 24b의 경우에, 처리가 더욱 간략화될 수 있다.
또한, 전술한 실시예에서, 휘도 레벨에 따라 처리가 절환되는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 예를 들어, 휘도 레벨 대신에 특정한 ε-필터에서의 임계값 이하의 샘플수에 따라서 처리가 절환되는 경우 등이 채 택될 수 있다. 따라서, 여러 가지 방법이 조합되어도 된다.
또한, 전술한 실시예에서, 저주파수 노이즈가 간단히 복수의 ε-필터를 이용하여 제거되는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 메디안 필터 등의 다른 필터를 조합해서 노이즈가 제거될 수도 있다.
또한, 전술한 실시예에서, 화상 데이터가 고주파수 성분과 저주파수 성분으로 분리되고, 이에 의해 노이즈를 제거하는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 예를 들면, 본 발명은 화상 데이터가 밴드 패스 필터를 이용해서 3 이상의 주파수 대역을 갖는 성분으로 분리되어 원하는 처리를 행하는 경우 및 화상 데이터가 주파수 대역을 갖는 성분으로 분리되지 않고 직접 처리되는 경우 등에 널리 적용될 수 있다.
또한, 전술한 실시예에서，RAW 데이터의 노이즈가 제거되는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 본 발명은 풀 컬러의 화상 데이터 및 휘도 신호 및 색차 신호의 형태로 얻어진 화상 데이터 등의 여러 가지 포맷를 갖는 화상 데이터의 노이즈가 제거되는 경우에 널리 적용될 수 있다.
또한, 전술한 실시예에서, 디모자이크 처리 이전 단계에서 노이즈가 제거되는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 본 발명은 디모자이크 처리 후에 노이즈가 제거되는 경우, 화상 처리부에서의 처리 도중에 노이즈가 제거되는 경우, 및 화상 처리부에서의 처리 후에 노이즈가 제거되는 경우 등의 여러 가지 과정에서 노이즈가 제거되는 경우에 널리 적용될 수 있다.
또한, 전술한 실시예에서, 계수가 1인 ε-필터가 사용되는 경우에 대해서 설 명했지만, 본 발명은 이에 한하지 않는다. 즉, 본 발명은 계수가 1 이외의 ε-필터가 사용되는 경우에도 널리 적용될 수 있다.
또한, 전술한 실시예에서, 관련 화소의 화소값과 주목 화소의 화소값 사이의 차분 절대값 및 관련 화소와 주목 화소 사이의 거리를 파라미터로서 사용되고, 이 파라미터가 가우스 곡선의 특성에 의해 가중치 부여가 변화되도록 설정되고, 이에 의해 양방향 필터와 동일한 특성을 확보하는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 파라미터는 가우스 곡선의 특성 대신에 여러 가지 특성 중 하나에 의해 가중치 부여가 변화되도록 설정되어도 된다.
또한, 전술한 실시예에서, 본 발명이 디지털 스틸 카메라 또는 디지털 비디오 카메라에 적용되는 경우에 대해서 설명했지만, 본 발명은 이에 한하지 않는다. 즉, 본 발명은 화상을 데이터를 처리하는 각종 화상 처리 장치 및 각종 화상 처리 프로그램에 널리 적용될 수 있다. 화상 처리 프로그램은 컴퓨터, 화상 처리 장치 등에 사전에 인스톨되거나, 또는 대신에 광학 디스크, 자기 디스크, 및 메모리 카드 등의 각종 기록 매체 중 하나에 기록해서 제공되어도 된다. 아울러, 인터넷 등의 네트워크를 통한 다운로드에 의해 화상 처리 프로그램이 제공되어도 된다.
본 발명은, 예를 들면, 디지털 스틸 카메라에 적용될 수 있다.
본 발명의 다양한 변형, 조합, 하위 조합 및 변경이 첨부된 특허청구범위의 범위 또는 균등물 내에서 설계 요건 및 다른 요인에 따라 이루어질 수 있다는 것을 당업자는 이해해야 한다.
도 1은 본 발명의 제1 실시예에 따른 디지털 스틸 카메라에서의 저주파수 노이즈 제거부의 구성을 도시하는 블록도.
도 2는 본 발명의 제1 실시예에 따른 디지털 스틸 카메라의 구성을 도시하는 블록도.
도 3은 도 2에 도시된 디지털 스틸 카메라의 광학 보정부의 구성을 도시하는 블록도.
도 4는ε-필터와 양방향 필터의 특성을 나타내는 특성 곡선 그래프.
도 5는 복수의 ε-필터로부터의 출력의 합성을 설명하는 특성 곡선 그래프.
도 6은 양방향 필터에서의 엣지 계수를 설명하는 특성 곡선 그래프.
도 7은 복수의 ε-필터로부터의 출력의 합성을 설명하는 특성 곡선 그래프.
도 8은 σe를 10배로 했을 경우의 양방향 필터에서의 엣지 계수를 설명하는 특성 곡선 그래프.
도 9는 도 8에 도시된 일례에 대응하는 복수의 ε-필터로부터의 출력의 합성을 설명하는 특성 곡선 그래프.
도 10은 탭수 및 임계값이 서로 다른 복수의 ε-필터로부터의 출력의 합성을 설명하는 개략선도.
도 11은 도 1에 도시된 저주파수 노이즈 제거부에서 실행되는 처리 절차를 나타내는 플로우차트.
도 12는 본 발명의 제2 실시예에 따른 디지털 스틸 카메라에서의 저주파수 노이즈 제거부를 도시하는 블록도.
도 13은 휘도와 파라미터 αs 사이의 관계를 나타내는 특성 곡선 그래프.
도 14는 합성 비율을 가변했을 경우의 주파수 특성을 나타내는 특성 곡선 그래프.
도 15는 휘도와 파라미터 αe 사이의 관계를 나타내는 특성 곡선 그래프.
도 16은 도 15에 도시된 파라미터 αe를 설명하는 특성 곡선 그래프.
도 17은 본 발명의 제5 실시예에 따른 디지털 스틸 카메라에서의 저주파수 노이즈 제거부를 도시하는 블록도.
도 18a 및 18b는 각각 도 1에 도시된 구성을 갖는 ε-필터에서의 처리를 설명하는 개략선도.
도 19a 및 19b는 각각 도 17에 도시된 저주파수 노이즈 제거부에서의 처리를 설명하는 개략선도.
도 20은 본 발명의 제6 실시예에 따른 디지털 스틸 카메라에서의 저주파수 노이즈 제거부를 도시하는 블록도.
도 21a 및 21b는 각각 도 20에 도시된 저주파수 노이즈 제거부에서의 처리를 설명하는 개략선도.
도 22는 본 발명의 제7 실시예에 따른 디지털 스틸 카메라에서의 저주파수 노이즈 제거부를 도시하는 블록도.
도 23a 및 23b는 각각 도 22에 도시된 저주파수 노이즈 제거부에서의 처리를 설명하는 개략선도.
도 24a 및 24b는 각각 본 발명의 다른 실시예에 따른 저주파수 노이즈 제거부의 구성을 설명하는 모식도.
도 25는 종래 기술의 양방향 필터를 도시하는 개략블록도.
도 26은 도 25에 도시된 양방향 필터의 동작을 설명하는 개략블록도.
[도면의 주요 부분에 대한 부호의 설명]
1 : 양방향 필터
11 : 디지털 스틸 카메라
15 : 광학 보정부
26, 46, 56, 66 : 저주파수 노이즈 제거부
33 : 다단 ε-필터부
34 : ε-필터부
35A∼35D : ε-필터
36A∼36D, 37 : 승산부
38 : 가산부
47 : 제어부

Claims (11)

  1. 촬상 장치로서,
    촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부,
    상기 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고,
    상기 노이즈 억제부는,
    상기 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제2 ε-필터,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한, 상기 화상 데이터를 처리하는 제3 ε-필터,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제4 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치.
  2. 제1항에 있어서,
    상기 화상 데이터의 휘도 레벨을 검출하고, 상기 휘도 레벨 검출 결과에 기초하여, 상기 휘도 레벨이 낮은 부분에서 탭수가 적은 ε-필터의 출력 신호 성분이 증가하도록 상기 가중치 부여 가산부에서의 가중치 부여 계수를 가변시키는 제어부를 더 포함하는 촬상 장치.
  3. 제1항에 있어서,
    상기 화상 데이터의 휘도 레벨을 검출하고, 상기 휘도 레벨 검출 결과에 기초하여, 상기 휘도 레벨이 높은 부분에서 각각의 임계값이 증가하도록 상기 제1 내지 제4 ε-필터의 임계값을 가변시키는 제어부를 더 포함하는 촬상 장치.
  4. 촬상 장치로서,
    촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부, 및
    상기 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고,
    상기 노이즈 억제부는,
    상기 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제2 ε-필터,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한, 상기 화상 데이터를 처리하는 제3 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치.
  5. 촬상 장치로서,
    촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부, 및
    상기 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고,
    상기 노이즈 억제부는,
    상기 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 임계값이 상이하고, 상기 제1 ε-필터와 탭수가 같은, 상기 화상 데이터를 처리하는 제2 ε-필터,
    상기 제2 ε-필터와 임계값이 같고, 상기 제1 ε-필터와 탭수가 상이한, 상기 화상 데이터를 처리하는 제3 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치.
  6. 촬상 장치로서,
    촬상 결과를 취득해서 화상 데이터를 출력하는 촬상부, 및
    상기 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제부를 포함하고,
    상기 노이즈 억제부는,
    상기 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 탭수 및/또는 임계값이 상이한, 상기 화상 데이터를 처리하는 제2 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치.
  7. 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제2 ε-필터,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한, 상기 화상 데이터를 처리하는 제3 ε-필터,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제4 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부 를 포함하는 노이즈 제거 장치.
  8. 제1 ε-필터에 의해 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 상기 화상 데이터를 처리하는 단계, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 단계를 포함하는 노이즈 제거 방법.
  9. 제1 ε-필터에 의해 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 상기 화상 데이터를 처리하는 단계, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 단계를 포함하는 노이즈 제거 방법의 프로그램.
  10. 화상 데이터의 노이즈를 제거하는 노이즈 제거 방법의 프로그램을 기록한 기록 매체로서,
    상기 노이즈 제거 방법의 프로그램은,
    제1 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 동일한 제2 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한 제3 ε-필터에 의해 상기 화상 데이터를 처리하는 단계,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 동일한 제4 ε-필터에 의해 상기 화상 데이터를 처리하는 단계, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 단계를 포함하는 노이즈 제거 방법의 프로그램을 기록한 기록 매체.
  11. 촬상 장치로서,
    촬상 결과를 취득해서 화상 데이터를 출력하는 촬상 수단, 및
    상기 화상 데이터의 노이즈를 억제해서 출력 데이터를 출력하는 노이즈 억제 수단을 포함하고,
    상기 노이즈 억제 수단은,
    상기 화상 데이터를 처리하는 제1 ε-필터,
    상기 제1 ε-필터와 탭수가 상이하고, 상기 제1 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제2 ε-필터,
    상기 제1 ε-필터와 탭수가 같고, 상기 제1 ε-필터와 임계값이 상이한, 상기 화상 데이터를 처리하는 제3 ε-필터,
    상기 제2 ε-필터와 탭수가 같고, 상기 제3 ε-필터와 임계값이 같은, 상기 화상 데이터를 처리하는 제4 ε-필터, 및
    상기 제1 ε-필터의 출력값, 상기 제2 ε-필터의 출력값, 상기 제3 ε-필터의 출력값, 상기 제4 ε-필터의 출력값, 및 상기 화상 데이터에서의 주목 화소의 화소값을 가중치 부여 가산하여 상기 출력 데이터를 출력하는 가중치 부여 가산부를 포함하는 촬상 장치.
KR1020080005345A 2007-01-18 2008-01-17 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을기록한 기록 매체 KR20080068576A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-00008674 2007-01-18
JP2007008674A JP4288623B2 (ja) 2007-01-18 2007-01-18 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
KR20080068576A true KR20080068576A (ko) 2008-07-23

Family

ID=39090334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080005345A KR20080068576A (ko) 2007-01-18 2008-01-17 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을기록한 기록 매체

Country Status (6)

Country Link
US (1) US20080175510A1 (ko)
EP (1) EP1947837A2 (ko)
JP (1) JP4288623B2 (ko)
KR (1) KR20080068576A (ko)
CN (1) CN101232574B (ko)
TW (1) TW200847764A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130069373A (ko) * 2011-12-15 2013-06-26 삼성전자주식회사 촬상 장치 및 화상 처리 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594445B2 (en) 2005-11-29 2013-11-26 Adobe Systems Incorporated Fast bilateral filtering using rectangular regions
TW200828983A (en) * 2006-12-27 2008-07-01 Altek Corp Method of eliminating image noise
JP4527750B2 (ja) * 2007-05-30 2010-08-18 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
CN101569199B (zh) * 2007-10-03 2012-06-27 松下电器产业株式会社 减少块状噪声的方法及装置
US8300974B2 (en) * 2007-11-12 2012-10-30 Mitsubishi Electric Corporation Image processing device, image display device, and image processing method therefor
US8655097B2 (en) * 2008-08-22 2014-02-18 Adobe Systems Incorporated Adaptive bilateral blur brush tool
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5326920B2 (ja) * 2009-08-07 2013-10-30 株式会社リコー 画像処理装置、画像処理方法、及び、コンピュータプログラム
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8805111B2 (en) * 2010-02-09 2014-08-12 Indian Institute Of Technology Bombay System and method for fusing images
JP5418777B2 (ja) * 2010-02-19 2014-02-19 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102354393B (zh) * 2011-07-12 2013-09-25 中国资源卫星应用中心 一种高光谱成像仪数据的噪声去除方法
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5834728B2 (ja) * 2011-09-30 2015-12-24 大日本印刷株式会社 雑音除去装置
JP5824341B2 (ja) * 2011-11-25 2015-11-25 日本放送協会 撮像装置、記録装置、映像信号処理装置、撮像システム及び映像信号処理プログラム
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
JP6074198B2 (ja) * 2012-09-12 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
KR101981573B1 (ko) 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
JP2014106921A (ja) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd ポインティング装置及びポインティング装置用プログラム
JP2014110592A (ja) * 2012-12-04 2014-06-12 Toshiba Corp 画像処理装置
JP6079342B2 (ja) * 2013-03-18 2017-02-15 日産自動車株式会社 画像処理装置および画像処理方法
CN104103037B (zh) * 2013-04-02 2017-02-15 杭州海康威视数字技术股份有限公司 一种图像增强处理方法和装置
JP6327869B2 (ja) * 2014-01-29 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
CN106664372B (zh) * 2014-09-30 2018-04-06 富士胶片株式会社 图像处理装置、图像处理方法及记录介质
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2016052001A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体
CN107079095B (zh) * 2014-09-30 2020-02-04 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
CN112055130B (zh) * 2015-01-08 2023-03-17 索尼半导体解决方案公司 图像处理装置、成像装置和图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60113564T2 (de) * 2000-12-14 2006-07-13 Matsushita Electric Works, Ltd., Kadoma Bildverarbeitungseinrichtung und Mustererkennungsvorrichtung, bei der die Bildverarbeitungseinrichtung verwendet wird
JP2002259965A (ja) * 2001-02-26 2002-09-13 Sony Corp 画像ノイズ低減方法及び装置
JP4649781B2 (ja) * 2001-06-20 2011-03-16 ソニー株式会社 画像処理方法および装置
JP4273748B2 (ja) 2002-11-18 2009-06-03 ソニー株式会社 画像処理装置および方法
JP4413504B2 (ja) * 2003-02-13 2010-02-10 株式会社東芝 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
JP4442413B2 (ja) 2004-12-22 2010-03-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130069373A (ko) * 2011-12-15 2013-06-26 삼성전자주식회사 촬상 장치 및 화상 처리 방법

Also Published As

Publication number Publication date
TW200847764A (en) 2008-12-01
US20080175510A1 (en) 2008-07-24
JP4288623B2 (ja) 2009-07-01
JP2008177801A (ja) 2008-07-31
CN101232574B (zh) 2010-06-09
EP1947837A2 (en) 2008-07-23
CN101232574A (zh) 2008-07-30

Similar Documents

Publication Publication Date Title
KR20080068576A (ko) 촬상 장치, 노이즈 제거 장치, 노이즈 제거 방법, 노이즈제거 방법의 프로그램, 및 노이즈 제거 방법의 프로그램을기록한 기록 매체
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
US9741099B2 (en) Systems and methods for local tone mapping
US9710896B2 (en) Systems and methods for chroma noise reduction
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
US8849056B2 (en) Apparatus and method for image edge-preserving smoothing
JP5643320B2 (ja) 画像信号処理のための時間フィルタリング技術
US9031319B2 (en) Systems and methods for luma sharpening
JP5688090B2 (ja) 重み付け勾配を利用した画像データのデモザイク処理のためのシステム及び方法
US9025867B2 (en) Systems and methods for YCC image processing
JP5597717B2 (ja) 撮像素子における欠陥画素の検出及び補正のためのシステム及び方法
US11089247B2 (en) Systems and method for reducing fixed pattern noise in image data
US8872946B2 (en) Systems and methods for raw image processing
US8917336B2 (en) Image signal processing involving geometric distortion correction
JP4869653B2 (ja) 画像処理装置
US20130321675A1 (en) Raw scaler with chromatic aberration correction
US8238685B2 (en) Image noise reduction method and image processing apparatus using the same
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4946417B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP5242750B2 (ja) 画像処理装置
JP4385890B2 (ja) 画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid