KR20090087811A - 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한기록 매체 - Google Patents

Abstract

본 발명은, 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거하는 것을 목적으로 한다. 본 발명은, RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값으로 변환하고, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하고, 노이즈가 제거된 상기 노이즈 제거용의 화소값을 원래의 화소값으로 변환함으로써, 휘도 신호에 영향을 주지 않고, 색 노이즈만을 제거할 수 있다.

RAW 데이터, 모자이크 화상, 휘도 신호, 노이즈 제거부, 화상 데이터

Description

촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리 방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한 기록 매체{IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM HAVING PROGRAM FOR IMAGE PROCESSING METHOD RECORDED THEREON}

본 발명은, 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리 방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한 기록 매체에 관한 것으로, 예를 들면 디지털 스틸 카메라에 적용할 수 있다. 본 발명은, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 각 주목 화소의 화소값을 변환하여 노이즈를 제거한 후, 원래의 화소값으로 역 변환함으로써, 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있도록 한다.

종래, 디지털 스틸 카메라에서는, 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터를 디모자이크 처리하여 풀 컬러 화상을 생성한 후, 휘도 신호, 색차 신호의 화상 데이터로 변환하여 기록 매체에 기록하고 있다. 이러한 컬러 화상의 노이즈는, 휘도 신호 성분의 노이즈인 휘도 노이즈와, 휘도 신호 성분을 제외한 색 신호 성분의 노이즈인 색 노이즈로 분류되며, 색 노이즈를 제거함으로써 화질을 매우 향상시킬 수 있는 것이 알려져 있다.

디지털 스틸 카메라에 관해서, 일본 특허 공개 2005-311455 공보에는, 노이즈 리덕션 처리에 적절한 주변 화소를 선택하고, 이 선택한 주변 화소를 이용하여 노이즈 리덕션 처리함으로써, RAW 데이터의 단계에서 효율적으로 노이즈를 제거하는 방법이 제안되어 있다.

또한 일본 특허 공개 2004-221838 공보에는, 엣지의 연장 방향을 따른 소정 범위의 화소값을 이용하여 주목 화소의 화소값을 보간 연산 처리함으로써, 디모자이크 처리 등에서, 엣지를 정밀도 좋게 재현하는 방법이 제안되어 있다.

그런데 RAW 데이터의 단계에서 색 노이즈를 제거하면, 휘도 신호 성분에까지 영향을 주어, 각 색 신호의 휘도값까지도 변화되는 문제가 있다. 그 결과, 엣지 부분 등이 잘못된 색으로 표시되어, 현저하게 화질이 열화하는 경우가 있다.

이 문제를 해결하는 하나의 방법으로서, 휘도 신호, 색차 신호의 단계에서 노이즈를 제거하는 것이 생각된다. 이 방법에 따르면, 휘도 신호에 영향을 주는 일 없이, 색 노이즈를 제거할 수 있다고 생각된다.

그러나 이 방법에서는, 노이즈가 혼입한 그대로의 상태에서 디모자이크 처리를 하게 되어, 노이즈의 혼입이 많은 경우에, 디모자이크 처리에 영향을 주는 문제가 있다. 구체적으로, 예를 들면 일본 특허 공개 2004-221838 공보에 개시된 방법에 의해, 디모자이크 처리 등에서 엣지를 재현하는 경우에는, 노이즈에 의해 잘못하여 엣지를 재현하게 되어, 엣지 부분 등이 잘못된 색으로 표시되고, 또한 오히려 색 노이즈가 발생하여, 현저하게 화질이 열화하는 경우가 있다. 또한 휘도 신호 및 색차 신호의 단계에서는, RAW 데이터로부터의 일련의 처리에 의해 노이즈의 특성이 복잡하게 변화되고 있으며, 그 결과, 색 노이즈를 다 제거할 수 없는 문제도 있다. 또한 신호 처리 회로 등의 구성 상의 제약으로부터, 노이즈 제거 회로의 구성이 마련되지 않는 경우도 있으며, 이 경우에는, 적용할 수 없는 문제도 있다.

<발명의 개시>

본 발명은 이상의 점을 고려하여 이루어진 것으로, 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있는 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리 방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한 기록 매체를 제안하고자 하는 것이다.

상기의 과제를 해결하기 위하여 본 발명은, 촬상 장치에 적용하여, RAW 데이터를 출력하는 촬상부와, 상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환부와, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거부와, 상기 변환부와는 역의 처리에 의해, 상기 노이즈 제거부에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환부와, 상기 역 변환부에서 처리한 화상값에 의한 모자이크 화상을 디모자이크 처리하여, 풀 컬러의 화상 데이터를 생성하는 디모자이크부를 구비하도록 한다.

또한 본 발명은, 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 장치에 적용하여, 상기 RAW 데이터에 의한 모 자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환부와, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거부와, 상기 변환부와는 역의 처리에 의해, 상기 노이즈 제거부에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환부를 구비하도록 한다.

또한 본 발명은, 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법에 적용하여, 상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과, 상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환의 스텝을 구비하도록 한다.

또한 본 발명은, 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법의 프로그램에 적용하여, 상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과, 상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환의 스텝을 구비하도록 한다.

또한 본 발명은, 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법의 프로그램을 기록한 기록 매체에 적용하여, 상기 화상 처리 방법의 프로그램은, 상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과, 상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과, 상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환의 스텝을 구비하도록 한다.

본 발명의 구성에 의하면, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에서, 노이즈를 제거하고 있기 때문에, 휘도 신호에의 영향을 충분히 저감하여 색 노이즈를 억압할 수 있다. 따라서 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있다.

본 발명에 따르면, 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있다.

도 1은 본 발명의 실시예 1의 디지털 스틸 카메라를 도시하는 블록도.

도 2는 도 1의 디지털 스틸 카메라에서의 광학 보정부 및 화상 처리부의 구성을 도시하는 블록도.

도 3은 도 1의 디지털 스틸 카메라에서의 촬상 소자의 화소의 배치를 도시하는 평면도.

도 4는 도 2의 광학 보정부에서의 간이 디모자이크부(15)의 처리의 설명에 이용하는 평면도.

도 5는 도 4의 후속을 도시하는 평면도.

도 6은 도 2의 광학 보정부에서의 간이 디모자이크부(15)의 청색 화소의 처리의 설명에 이용하는 평면도.

도 7은 도 6의 후속을 도시하는 평면도.

도 8은 도 2의 광학 보정부에서의 노이즈 제거부의 설명에 이용하는 평면도.

도 9는 도 2의 광학 보정부에서의 간이 디모자이크부(18)의 적색 화소의 처리의 설명에 이용하는 평면도.

도 10은 도 2의 광학 보정부에서의 간이 디모자이크부(18)의 청색 화소의 처리의 설명에 이용하는 평면도.

도 11은 도 10의 후속을 도시하는 평면도.

도 12는 도 11의 후속을 도시하는 평면도.

도 13은 도 2의 화상 처리부에서의 엣지 판별 디모자이크부를 도시하는 블록도.

도 14는 도 13의 엣지 판별 디모자이크부의 가중치 산출부(23)의 설명에 이용하는 평면도.

도 15는 도 14의 후속의 설명에 이용하는 평면도.

도 16의 (A) 및 (B)는, 다른 실시예에서의 간이 디모자이크부(15, 18)의 처리의 설명에 이용하는 평면도.

<부호의 설명>

1 : 디지털 스틸 카메라

3 : 촬상 소자

4 : 전 처리부

5 : 광학 보정부

6 : 화상 처리부

7 : 인코더

8 : 인터페이스

9 : 기록 매체

11 : 버퍼

12 : 주변 화소 참조부

13 : 4색 분리부

14, 17 : 노이즈 제거부

15, 18 : 간이 디모자이크부

16 : 색차 계산부

19 : RB 계산부

20 : 엣지 판별 디모자이크부

21 : 주목 화소 결정부

22 : 엣지 방향 산출부

23 : 가중치 산출부

24 : 제1 보간부

25 : 제2 보간부

26 : 셀렉터

28 : YCC 변환부

29 : YCC 합성부

30 : 화이트밸런스부

<발명을 실시하기 위한 최량의 형태>

이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 설명한다.

(1) 실시예 1의 구성

도 1은 본 발명의 실시예의 디지털 스틸 카메라를 도시하는 블록도이다. 이 디지털 스틸 카메라(1)에서, 촬상 소자(3)는, CCD(Charge Coupled Device) 고체 촬상 소자, CMOS(Complementary Metal-Oxide Semiconductor) 고체 촬상 소자 등에 의해 구성된다. 촬상 소자(3)는, 도시하지 않은 렌즈 유닛에 의해 촬상면에 형성된 광학상을 광전 변환 처리하고, 적색, 청색, 녹색의 화소값을 베이어 배열에 대응하는 순서로 순차적으로 출력한다.

전 처리부(4)는, 촬상 소자(3)의 출력 신호를 상관 이중 샘플링 처리, 자동이득 조정 처리, 아날로그 디지털 변환 처리하여, RAW 데이터 D1을 출력한다.

광학 보정부(5)는, 이 전 처리부(4)로부터 출력되는 RAW 데이터 D1을 결함 보정 처리, 화이트 밸런스 조정 처리하여, RAW 데이터 D2를 출력한다. 또한 광학 보정부(5)는, 소정 시간 이하의 짧은 전하 축적 시간으로 촬영하는 경우 등의, 충분한 SN비에 의해 RAW 데이터 D1을 취득할 수 없는 경우, 또는 유저가 색 노이즈의 제거 처리를 지시한 경우, 색 노이즈의 제거 처리를 실행하여, RAW 데이터 D2를 출력한다.

화상 처리부(6)는, 이 RAW 데이터 D2를 디모자이크 처리, 해상도 변환 처리, 감마 보정 처리, 화질 보정 처리 등을 하여, 휘도 신호 및 색차 신호의 화상 데이터 D3으로 변환하여 출력한다. 이 디지털 스틸 카메라(1)는, 이 화상 처리부(6)에서 처리한 화상 데이터 D3을 도시하지 않은 표시 장치에 의해 표시하고, 촬상 결과의 모니터 화상을 표시한다.

인코더(ENC)(7)는, 예를 들면 JPEG(Joint Photographic Coding Experts Group) 등의 정지 화상의 부호화 방식에 의해, 화상 처리부(6)로부터 출력되는 화상 데이터 D3을 데이터 압축하여 출력한다.

인터페이스(IF)(8)는, 이 인코더(7)의 출력 데이터, 또는 광학 보정부(5)로부터 출력되는 RAW 데이터 D2를 기록 매체(9)에 기록한다. 또한 기록 매체(9)는, 이 실시예에서는 메모리 카드이며, 인터페이스(8)로부터 출력되는 각종 데이터를 기록한다. 또한 이 기록 매체(9)는, 메모리 카드에 한하지 않고, 광 디스크, 자기 디스크 등, 다양한 기록 매체를 널리 적용할 수 있다.

도 2는 광학 보정부(5) 및 화상 처리부(6)의 색 노이즈의 제거에 관한 구성을 도시하는 블록도이다. 이 도 2에서, 광학 보정부(5)는, RAW 데이터 D1을 버퍼(B)(11)에 입력한다. 여기에서 이 RAW 데이터 D1은, 촬상 소자(3)의 베이어 배열의 순서로 순차적으로 각 화소의 화소값이 연속하는 화상 데이터이고, 도 3은 이 촬상 소자(3)의 베이어 배열을 도시하는 평면도이다. 촬상 소자(3)는, 홀수 라인에 녹색 및 적색의 화소 Gr, R이 교대로 배치되고, 계속해서 짝수 라인에 청색 및 녹색의 화소 B, Gb가 교대로 배치되어, 2화소×2화소의 블록의 반복에 의해 형성된다. 또한 이하에서, 이 1개의 블록에서의 2개의 녹색의 화소를 부호 Gr, Gb에 의해 나타낸다. 따라서 RAW 데이터 D1은, 이 베이어 배열에 대응하여 홀수 라인에서는 녹색, 적색의 화소값이 교대로 반복되어 버퍼(11)에 저장되고, 짝수 라인에서는 청색, 녹색의 화소값이 반복되어 버퍼(11)에 저장된다. 또한 이하에서, 녹색, 적색, 청색의 화소값 및 화상 데이터는, 적절하게, 대응하는 화소의 부호 Gr, Gb, R, B를 이용하여 나타낸다.

주변 화소 참조부(12)는, 일정 영역분의 버퍼에 의해 구성되며, 버퍼(11)에 저장되어 있는 RAW 데이터 D1부터 순차적으로, 소정의 사이즈마다 화상 데이터 Gr, Gb, R, B를 읽어내어 출력한다. 주변 화소 참조부(12)는, 이 화상 데이터 Gr, Gb, R, B의 처리에 의해 RAW 데이터 D1에 의한 모자이크 화상 상에 순차적으로 주목 화소를 설정하고, 이 주목 화소의 화상값과 주변 화소의 화소값을 순차적으로 출력한다.

4색 분리부(13)는, 이 주변 화소 참조부(12)부터 순차적으로 출력되는 화상 데이터 Gr, Gb, R, B를, 도 3에 대하여 전술한 2화소×2화소의 블록의 배치에서의 4종류의 화상 데이터로 분리하여 출력한다.

화이트 밸런스부(WB)(30)는, 이 4색 분리부(13)로부터 출력되는 화상 데이터 Gr, Gb, R, B를 화이트 밸런스 조정하여 출력한다. 노이즈 제거부(14)는, 이 화이트 밸런스부(30)로부터 출력되는 화상 데이터 Gr, Gb, R, B로부터 색 노이즈를 제거하여 출력한다. 즉 노이즈 제거부(14)에서, 간이 디모자이크부(15)는, 화상 처리부(6)에서의 디모자이크 처리에 비하여 간이한 연산 처리에 의해, 4색 분리부(13)로부터 출력되는 화상 데이터 Gr, Gb, R, B를 디모자이크 처리한다. 보다 구체적으로, 노이즈 제거부(14)는, 주목 화소의 근방 화소로부터, 각 주목 화소에서 동일한 색 신호 성분을 갖는 처리 기준의 화소값을 주목 화소마다 생성한다.

이 실시예에서는, 이 처리 기준의 화소값에, 녹색의 화소값이 적용되며, 간이 디모자이크부(15)는, 적색, 청색의 화소 R, B에 대해서만, 처리 기준의 화소값을 생성한다. 즉 간이 디모자이크부(15)는, 인접하는 녹색의 화소 Gr, Gb의 화소값을 이용한 보간 연산 처리에 의해, 각각 적색, 청색의 화소 R, B의 공간 위치에서의 녹색의 화소값을 계산하고, 이들 적색, 청색의 화소 R, B에 대해서, 각각 처리 기준의 화소값을 생성한다.

즉 도 3 및 도 4에 도시한 바와 같이, 노이즈 제거부(14)는, 주목 화소가 적색의 화소 R2인 경우, 이 적색의 화소 R2에 인접하는 녹색의 화소 Gb0, Gr2, Gr3, Gb2의 화소값을 평균값화하여, 주목 화소 R2의 공간 위치에서의 녹색의 화소값 Gx2 를 구한다. 노이즈 제거부(14)는, 이 계산한 녹색의 화소값 Gx2를, 이 적색의 화소 R2의 처리 기준의 화소값으로 설정한다. 또한 청색의 화소 B에 대해서도, 마찬가지로 하여, 인접하는 녹색의 화소의 화소값을 평균값화하여, 청색의 화소 B1의 공간 위치에서의 녹색 화소의 화소값을 계산하여 처리 기준의 화소값 Gy로 설정한다. 간이 디모자이크부(15)는, 이 계산한 적색, 청색의 화소 R, B의 위치에서의 녹색의 화소값 Gx, Gy를, 4색 분리부(13)로부터 출력되는 화소값 Gr, Gb, R, B와 함께 출력한다.

색차 계산부(16)는, 간이 디모자이크부(15)로부터 출력되는 화소값 Gr, Gb, R, B, Gx, Gy를 이용하여, 처리 기준의 화소값을 기준으로 하여 적색 화소, 청색 화소의 화소값을 나타내는 노이즈 제거용의 화소값을 생성한다. 보다 구체적으로, 이 실시예에서, 색차 계산부(16)는, 간이 디모자이크부(15)로부터 출력되는 화소값 Gr, Gb, R, B, Gx, Gy로부터 색차를 계산하고, 이 실시예에서는, 이 색차의 화소값이 노이즈 제거용의 화소값에 적용된다. 또한 이 처리 기준의 화소값을 기준으로 한 색차의 화소값은, 휘도 신호 및 색차 신호에서의 색차의 화소값만을 나타내는 것은 아니고, 광의로, 처리 기준에 포함되는 색 신호 성분과의 대비에 의해, 주목 화소의 색상을 나타내는 화소값이다.

여기에서 이 실시예에서는, 처리 기준의 화소값에 녹색의 화소값이 적용되기 때문에, 색차 계산부(16)는, 적색, 청색의 화소 R, B의 화소값에 대해서만, 녹색의 화소값에 대한 색차를 계산한다. 즉 도 3 및 도 4와의 대비에 의해 도 5에 도시한 바와 같이, 적색 화소 R2의 색차 Cr2에 대해서는, 이 적색 화소 R2의 위치에서 계 산된 처리 기준의 화소값 Gx2를, 이 적색 화소 R2의 화소값 R2로부터 감산하고, 그 결과 얻어지는 감산값 (R2-Gx2)를 적색 화소 R2의 색차로 설정한다. 또한 도 6에 도시한 바와 같이, 청색 화소 B1의 색차 Cb1에 대해서는, 마찬가지로, 이 청색 화소 B1의 위치에서 계산된 처리 기준의 화소값 Gy2를, 이 청색 화소 B1의 화소값으로부터 감산하여, 감산값 (B1-Gy1)을 청색 화소 B1의 색차 Cb1로 설정한다.

색차 계산부(16)는, 적색 및 청색의 화소 R 및 B의 모두에서, 이 색차의 계산을 실행하고, 그 결과, 도 3과의 대비에 의해 도 7에 도시한 바와 같이, 적색 화소 R 및 청색 화소 B의 화소값을, 각각 녹색의 화소값을 기준으로 한 색차의 화소값 Cr, Cb로 변환한다.

노이즈 제거부(17)는, 색차 계산부(16)에서 계산한 적색 및 청색의 색차마다, 각각 노이즈 제거 처리를 실행하여 출력한다. 구체적으로 이 실시예에서는, 도 8에 도시한 바와 같이, 9화소×9화소의 ε필터를 이용하여 노이즈를 제거한다. 여기에서 예를 들면 적색 화소의 색차 Crc를 노이즈 제거하는 경우, 이 적색 화소를 중심으로 한 9화소×9화소의 영역에는, 해칭으로 나타낸 바와 같이, 25개의 적색 화소의 색차가 포함되어 있게 된다. 따라서 노이즈 제거부(17)는, 이 25화소의 색차를 ε필터에 의해 처리하여 주목 화소의 노이즈를 제거한다. 또한 마찬가지로 하여, 청색 화소의 색차를 처리하여 노이즈를 제거한다. 또한 이 경우에, 원래의 녹색의 화소값 Gr, Gb에 대해서도, 또는 이 원래의 녹색의 화소값 Gr, Gb와 간이 디모자이크부(15)에서 계산한 녹색의 화소값 Gx, Gy에 대해서도, 노이즈 제거 처리를 실행하도록 하여도 된다.

간이 디모자이크부(18)는, 간이 디모자이크부(15)와 마찬가지의 보간 연산 처리에 의해, 적색의 화소, 청색의 화소의 공간 위치에서의 녹색의 화소값 Gx, Gy를 계산한다.

즉 간이 디모자이크부(18)는, 도 9에 도시한 바와 같이, 주목 화소가 적색의 화소 R2인 경우, 이 적색의 화소에 인접하는 녹색의 화소 Gb0, Gr2, Gr3, Gb2의 화소값을 평균값화하고, 평균값을 주목 화소 R2의 공간 위치에서의 녹색의 화소값 Gx로 설정한다. 또한 청색의 화소 B에 대해서도, 마찬가지로 하여, 인접하는 녹색의 화소의 화소값을 평균값화하여, 청색의 화소 B의 공간 위치에서의 녹색의 화소값 Gy로 설정한다.

RB 계산부(19)는, 간이 디모자이크부(18)에서 계산한 녹색의 화소값 Gx, Gy를 이용하여, 적색 화소 R, 청색 화소 B의 화소값을 계산한다. 즉 RB 계산부(19)는, 간이 디모자이크부(18)에서 계산한 적색 화소 R의 공간 위치에서의 녹색의 화소값 Gx를, 해당 화소의 색차 Cr2에 가산하여, 적색 화소 R의 화소값을 계산한다. 따라서 도 9에 도시하는 적색 화소 R2의 화소값 R2는, Cr2+Gx2로 나타내어진다.

또한 도 10 및 도 11에 도시한 바와 같이, 청색의 화소 B1에 대해서도, 인접하는 녹색의 화소 Gr1, Gb0, Gb1, Gr3의 평균값에 의한 녹색의 화소값 Gy1을, 이 청색의 화소 B1의 색차 Cb1에 가산하여, 해당 청색의 화소 B1의 화소값을 계산한다. 적색 및 청색의 화소 R 및 B의 모두에서, 이 색차의 계산을 실행함으로써, 도 9와의 대비에 의해 도 12에 도시한 바와 같이, 촬상 소자(3)의 베이어 배열에 대응하는 순서로 녹색, 적색, 청색의 색 신호가 반복되는 RAW 데이터 D2가 생성되고, 광학 보정부(5)는, 이 RAW 데이터 D2를 화상 처리부(6), 인터페이스(8)에 출력한다. 또한 예를 들면 적색 및 청색의 색차에 대해서만 노이즈 제거 처리를 실행하는 경우에는, 간이 디모자이크부(15)에서 생성한 처리 기준의 화소값 Gx, Gy를, RB 계산부(19)의 처리에서 사용하도록 하여, 간이 디모자이크부(18)에서의 처리를 생략하도록 하여도 된다.

화상 처리부(6)에서, 엣지 판별 디모자이크부(20)는, 이 광학 보정부(5)로부터 출력되는 RAW 데이터 D2를 디모자이크 처리하여, 촬상 소자(3)의 각 화소의 공간 위치에서 적색, 녹색, 청색의 색 데이터 R, G, B를 갖고 있는 풀 컬러의 화상 데이터를 생성한다. 이 처리에서, 엣지 판별 디모자이크부(20)는, 엣지의 연장 방향의 화소값을 이용하여 주목 화소의 화소값을 보간 연산 처리함으로써, 엣지를 정밀도 좋게 재현한다.

즉 도 13은, 엣지 판별 디모자이크부(20)의 구성을 도시하는 블록도이다. 엣지 판별 디모자이크부(20)는, 광학 보정부(5)로부터 출력되는 RAW 데이터 D2를 주목 화소 결정부(21)에 입력하고, 여기에서 주목 화소를 순차적으로 절환하면서, 각 주목 화소를 중심으로 한 국소 영역의 화소값을 출력한다. 여기에서 이 실시예에서는, 이 국소영역은, 예를 들면 주목 화소를 중심으로 한 7화소×7화소의 영역으로 설정된다.

엣지 방향 산출부(22)는, 국소 영역마다, 이 주목 화소 결정부(21)로부터 출력되는 화소값으로부터 화상 구배를 계산하고, 엣지가 연장되는 방향을 나타내는 엣지 방향 벡터 V1을 계산한다. 또한 엣지 방향 벡터 V1에 의해 결정되는 방향과 직교하는 방향의 화상 구배의 크기로부터 엣지의 강도를 검출하여 출력한다.

가중치 산출부(23)는, 엣지 방향 산출부(22)에서 계산된 엣지 방향 벡터 V1에 의해, 보간 연산 처리에 사용하는 화소값을 선택하고, 또한 각 화소값의 가중 계수를 계산한다. 즉 도 14에 도시한 바와 같이, 가중치 산출부(23)는, 엣지 방향 벡터 V1에 의해 결정되는 방향의, 주목 화소를 통과하는 직선 L에 대하여, 각 화소의 거리 d1, d2, d3, d4, ……를 계산한다. 또한 이 거리 d1, d2, d3, d4, ……를 소정의 임계값 Th1에 의해 판정하고, 이 거리 d1, d2, d3, d4, ……가 임계값 Th1 이하인 화소를 보간 연산 처리에 사용하는 화소로 선택한다. 또한 이 거리 d1, d2, d3, d4, ……가 짧아짐에 따라서 값이 커지도록, 이 선택한 각 화소를 각각 가중치 부여하는 제1 가중 계수 W1을 생성한다. 또한 도 15에 도시한 바와 같이, 엣지 방향 벡터 V1에 의해 결정되는 방향의, 주목 화소로부터 선택한 각 화소의 거리 I1, I2, I3, I4, ……를 계산하고, 이 거리 I1, I2, I3, I4, ……가 짧아짐에 따라서 값이 커지도록, 선택한 각 화소를 각각 가중치 부여하는 제2 가중 계수 W2를 생성한다.

제1 보간부(24)는, 각각 제1 및 제2 가중 계수 W1 및 W2를 이용한 대응하는 화소값의 가중치 부여 가산에 의해, 주목 화소의 화소값을 보간 연산 처리에 의해 계산한다. 또한 이 제1 및 제2 가중 계수 W1 및 W2를 이용한 가중치 부여 가산 결과를 평균값화하고, 평균값을 출력한다.

제2 보간부(25)는, 엣지 방향 산출부(22)에서 구한 엣지의 강도를 소정의 임계값에 의해 판정하고, 엣지의 강도가 소정값 이하인 경우, 전혀 엣지의 방향을 고 려하지 않는, 주목 화소를 중심으로 한 소정 범위의 화소값으로부터, 주목 화소의 화소값을 계산하여 출력한다.

셀렉터(26)는, 제1 보간부(24)로부터 출력되는 평균값을, 주목 화소의 화소값으로서 출력한다. 또한 엣지 방향 산출부(22)에서 구한 엣지의 강도를 소정의 임계값에 의해 판정하고, 엣지의 강도가 소정값 이하인 경우, 이 제1 보간부(24)로부터 출력되는 평균값 대신에, 제2 보간부(25)의 출력값을 선택하여 출력한다.

YCC 변환부(28)(도 2)는, 다음 식의 연산 처리에 의해, 엣지 판별 디모자이크부(20)로부터 출력되는 풀 컬러의 화상 데이터 D4를 연산 처리하고, 이 화상 데이터 D4를 휘도 신호, 색차 신호의 화상 데이터 D5로 변환하여 출력한다.

또한 YCC 변환부(28)는, 이 (1-1)∼(1-3)식에서의 계수를 보정하고 아울러 색 변환 매트릭스를 적용한 색 조정 처리 등을 실행한다. 또한 생성한 화상 데이터 D5의 감마를 설정한다.

YCC 합성부(29)는, YCC 변환부(28)로부터 출력되는 화상 데이터 D5로부터 YCC의 화상 데이터 D3을 생성하여 인코더(7), 외부 기기 등에 출력한다.

(2) 실시예 1의 동작

이상의 구성에서, 이 디지털 스틸 카메라(1)에서는(도 1), 촬상 소자(3)에 서, 촬상 소자(3)의 베이어 배열에 대응하는 순서로 적색, 청색, 녹색의 화소값이 순차적으로 연속하는 촬상 신호가 생성되고, 이 촬상 신호가 전 처리부(4)에서 아날로그 디지털 변환 처리되어 RAW 데이터 D1이 생성된다. 디지털 스틸 카메라(1)에서는, 광학 보정부(5)에서, 이 RAW 데이터 D1의 노이즈가 억압된다. 또한 계속해서 화상 처리부(6)에서, RAW 데이터 D2가 디모자이크 처리되어 풀 컬러의 화상 데이터가 생성되고, 이 풀 컬러의 화상 데이터 D3이 휘도 신호 및 색차 신호에 의한 화상 데이터 D3으로 변환되고, 인코더(7)에 의해 데이터 압축되어 기록 매체(9)에 기록된다. 또한 유저가 RAW 데이터에 의한 기록을 지시한 경우에는, 광학 보정부(5)로부터 출력되는 RAW 데이터 D2가 기록 매체(9)에 기록된다.

RAW 데이터 D2는, 화상 처리부(6)에서의 디모자이크 처리에서(도 13), 엣지의 방향의 화소가 선택되고, 이 선택된 화소의 화소값을 이용한 보간 연산 처리에 의해 풀 컬러의 화상 데이터 D4가 생성된다. 즉 이 경우, 예를 들면 녹색의 화소에 대해서는, 각각 적색 및 청색의 근방 화소로부터 엣지 방향이 검출되고, 이 엣지 방향의 화소를 이용한 보간 연산 처리에 의해 적색 및 청색의 화소값이 구해진다. 또한 적색의 화소에 대해서는, 각각 녹색 및 청색의 근방 화소로부터 엣지 방향이 검출되고, 이 엣지 방향의 화소를 이용한 보간 연산 처리에 의해 녹색 및 청색의 화소값이 구해진다. 또한 청색의 화소에 대해서는, 각각 적색 및 녹색의 근방 화소로부터 엣지 방향이 검출되고, 이 엣지 방향의 화소를 이용한 보간 연산 처리에 의해 적색 및 녹색의 화소값이 구해진다.

따라서 이 디지털 스틸 카메라(1)에서는, 엣지의 방향에 따라서 주목 화소마 다 보간 연산 처리 대상의 화소가 절환되어 디모자이크 처리되고, 그 결과, RAW 데이터 D2에 혼입한 노이즈는, 복잡하게 특성이 변화되어 풀 컬러의 화상 데이터 D4에 혼입하게 된다. 따라서 이와 같이 디모자이크 처리한 후에는, 간단하게는 색 노이즈를 제거할 수 없게 된다.

또한 디모자이크 처리한 후에 노이즈 제거하는 경우에는, 애당초 RAW 데이터 D2를 직접 기록 매체(9)에 기록하는 경우에, 노이즈를 제거할 수 없게 된다.

또한 디모자이크 처리의 처리 대상인 RAW 데이터 D2에 노이즈가 혼입되어 있는 경우, 엣지를 오검출하여, 디모자이크 처리 후의 풀 컬러의 화상 데이터 D4에서, 부자연스럽게 엣지가 강조되게 된다. 또한 오히려 색 노이즈가 발생하여, 현저하게 화질이 열화할 우려도 있다.

따라서 이 실시예와 같이 화상 처리부(6)를 구성하는 경우에는, 화상 처리부(6)에서 디모자이크 처리하기 전인, RAW 데이터의 단계에서 노이즈를 제거하는 것이 필요하게 되지만, 간단히, 각 색의 화소마다 노이즈 제거 처리를 실행한 것으로는, 휘도 신호가 영향을 받아, 엣지 부분 등이 잘못된 색으로 표시되어, 현저하게 화질이 열화할 우려가 있다.

따라서 이 실시예에서는, 광학 보정부(5)에서(도 2), RAW 데이터 D1은, 주변 화소 참조부(12)에 의해, 순차적으로 주목 화소가 설정되고, 이 주목 화소와 주변 화소의 화소값이 4색 분리부(13)를 통하여 간이 디모자이크부(15)에 입력된다. RAW 데이터 D1은, 이 간이 디모자이크부(15)에서, 주목 화소마다, 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값이 계산된다. 또한 계속되는 색차 계산 부(16)에서, 이 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값으로 변환되고, 이 노이즈 제거용의 화소값이 노이즈 제거부(17)에서 노이즈 제거된다. 또한 그 후, 원래의 화소값으로 변환된다.

따라서 디지털 스틸 카메라(1)에서는, 직접 각 화소의 색 신호를 각각 노이즈 제거하는 경우에 비해, 각별히, 휘도 신호에 영향을 주는 일 없이, 색 노이즈만을 제거할 수 있어, 종래에 비해 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있다.

또한 노이즈를 제거한 후에는, 원래의 RAW 데이터로 변환되어 있음으로써, 다른 RAW 데이터에 대한 노이즈 제거 처리와 용이하게 조합하여, 노이즈 제거 효과를 한층 더 높일 수도 있다.

보다 구체적으로, 이 실시예에서는, 촬상 소자(3)의 베이어 배열이, 2개의 녹색 화소 Gr, Gb와, 적색, 청색의 화소 R, B에 의한 2화소×2화소의 블록의 반복으로 형성되고, 광학 보정부(5)에서는, 이들 화소 중 녹색 화소의 화소값이 이 처리 기준의 화소값으로 설정되어, 각 주목 화소의 색차가 노이즈 제거용의 화소값으로서 구해진다. 따라서 RAW 데이터 D2에서 가장 화소수가 많은 녹색의 화소값에 대해서는, 전혀 색차를 구하지 않아도, 노이즈 제거 처리를 실행할 수 있다. 따라서 이 디지털 스틸 카메라(1)에서는, 처리 기준의 화소값을 녹색의 화소값으로 설정하여 녹색의 화소에 대해서는 처리 기준의 계산을 생략하여, 전체 구성이 간략화된다.

(3) 실시예 1의 효과

이상의 구성에 따르면, 주목 화소의 근방 화소로부터 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 생성하고, 이 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에 각 주목 화소의 화소값을 변환하여 노이즈를 제거한 후, 원래의 화소값으로 변환함으로써, 화질의 열화를 유효하게 회피하여 RAW 데이터에 포함되는 색 노이즈를 제거할 수 있다.

또한 RAW 데이터를 구성하는 적색, 녹색, 청색의 화소 중, 녹색 화소의 화소값을 처리 기준의 화소값으로 설정하고, 이 처리 기준의 화소값과 적색 또는 녹색의 화소값의 차분값에 의해 색차의 화소값을 생성하여 노이즈 제거용의 화소값으로 설정함으로써, 녹색의 화소에 대해서는 처리를 생략하여 구성을 간략화할 수 있다.

또한 RAW 데이터를 구성하는 녹색 화소의 화소값, 혹은 이 녹색의 화소의 화소값과 생성한 처리 기준의 화소값으로부터 노이즈를 제거함으로써, 한층 더 노이즈를 저감할 수 있다.

(4) 실시예 2

이 실시예에서는, 처리 기준인 녹색의 화소값 Gx, Gy에, 근방 녹색 화소의 메디안 값을 적용한다. 이 실시예의 디지털 스틸 카메라는, 이 처리 기준의 화소값을 생성하는 구성이 서로 다른 점을 제외하고, 전술한 실시예 1의 디지털 스틸 카메라(1)와 동일하게 구성된다.

즉 이 실시예에서, 간이 디모자이크부(15)는, 도 3에 도시한 바와 같이, 적색 화소 R2에 대해서는, 이 적색 화소에 인접하는 녹색 화소 Gb0, Gr2, Gr3, Gb2의 화소값을 값이 작은 순으로 소트하고, 소트 결과의 2번째의 화소값과 3번째의 화소 값의 평균값을 계산한다. 간이 디모자이크부(15)는, 이 평균값을 메디안 값으로 하여 이 적색 화소 R2의 위치에서의 녹색의 화소값으로 설정한다. 또한 마찬가지로 하여, 청색 화소에 대해서, 인접 화소의 화소값을 소트하여 메디안 값을 구하고, 녹색의 화소값으로 설정한다. 또한 이 처리에서, 인접하는 4화소의 메디안 값 대신에, 더 넓은 범위의 화소의 메디안 값을 적용하도록 하여도 된다.

이 간이 디모자이크부(15)의 처리에 대응하여, 간이 디모자이크부(18)는, 마찬가지의 연산 처리에 의해 적색 화소 및 청색 화소의 위치에서의 녹색의 화소값을 계산하고, 원래의 RAW 데이터를 생성한다.

이 실시예와 같이, 처리 기준인 녹색의 화소값을 생성할 때에, 근방 녹색 화소의 메디안 값을 적용하도록 하여도, 실시예 1과 마찬가지의 효과를 얻을 수 있다.

(5) 실시예 3

이 실시예에서는, 적색 화소 및 대응하는 청색 화소의 공간 위치가 동일하다고 하여, 적색 화소 및 청색 화소의 공간 위치에서의 녹색의 화소값을 계산한다. 또한 이 실시예에서는, 이 계산 방법이 서로 다른 점을 제외하고, 전술한 실시예와 동일하게 구성된다.

즉 촬상 소자(3)는, 베이어 배열이 2화소×2화소의 블록의 반복에 의해 형성되어 있고, 이 2화소×2화소의 블록의 화소의 배치가 도 16의 (A)에 도시한 바와 같이 구성되어 있는 것으로 한다. 여기에서 이 도 14에서의 적색 화소 R 및 청색 화소 B의 공간 위치가, 점 P에 의해 나타내는 이 2화소×2화소의 블록의 중앙 위치 라고 가정한다. 이 가정에 따라서 간이 디모자이크부(15, 18)는, 도 16의 (A) 및 도 16의 (B)에 도시한 바와 같이, 이 2화소×2화소의 블록의 녹색 화소 Gr, Gb의 평균값을, 적색 화소 R 및 청색 화소 B의 공간 위치에서의 녹색의 화소값으로 설정한다.

이 실시예에 따르면, 적색 화소 R 및 청색 화소 B의 공간 위치가 동일하다고 가정하여 녹색 화소값을 계산함으로써, 계산량을 저감하여 전술한 실시예와 마찬가지의 효과를 얻을 수 있다.

(6) 실시예 4

이 실시예에서는, 처리 기준인 녹색의 화소값 Gx, Gy를 각각 적색 및 청색의 화소의 화소값 R 및 B로부터 감산하여 노이즈 제거용의 화소값을 생성하는 대신에, 이들 녹색의 화소값 Gx, Gy와 대응하는 적색 및 청색의 화소의 화소값 R 및 B와의 비에 의해 노이즈 제거용의 화소값을 생성한다. 또한 이 실시예의 디지털 스틸 카메라는, 이 색차에 관한 구성이 서로 다른 점을 제외하고, 전술한 실시예의 디지털 스틸 카메라(1)와 동일하게 구성된다.

즉 이 실시예에서, 색차 계산부(16)는, 적색 화소 R의 색차 Cr에 대해서는, 이 적색 화소 R의 위치에서 계산된 처리 기준의 화소값 Gx에서, 이 적색 화소 R의 화소값 R을 나눗셈하고, 나눗셈한 값 R/Gx를 이 적색 화소 R의 노이즈 제거용의 화소값으로 설정한다. 또한 마찬가지로, 이 청색 화소 B에 대해서는, 이 청색의 화소 B의 위치에서 계산된 처리 기준의 화소값 Gy에서, 이 청색 화소 B의 화소값 B를 나눗셈하고, 나눗셈한 값 B/Gy를 이 청색 화소 B의 노이즈 제거용의 화소값으로 설 정한다.

또한 이 색차의 생성 처리에 대응하도록, RB 계산부(19)는, 노이즈 제거 처리한 색차 Cr, Cb에 각각 대응하는 녹색 화소값 Gx, Gy를 승산하여, 원래의 화소값 R, B로 변환한다.

이 실시예와 같이, 처리 기준의 화소값과, 적색 또는 녹색의 화소값의 비율에 의해, 노이즈 제거용의 화소값을 생성하도록 하여도, 실시예 1과 마찬가지의 효과를 얻을 수 있다.

(7) 실시예 5

이 실시예에서는, 녹색의 화소값 대신에, 휘도값을 처리 기준의 화소값에 적용한다. 이 실시예의 디지털 스틸 카메라는, 이 처리 기준의 화소값에 관한 구성이 서로 다른 점을 제외하고, 전술한 실시예의 디지털 스틸 카메라(1)와 동일하게 구성된다.

이 실시예에서, 간이 디모자이크부(15)는, 녹색 화소에 대해서는, 인접하는 적색 화소 및 청색 화소의 화소값을 이용한 보간 연산 처리에 의해, 각 녹색 화소의 공간 위치에서의 적색 화소 및 청색 화소의 화소값을 계산한다. 또한 마찬가지로, 적색 화소에 대해서는, 인접하는 녹색 화소 및 청색 화소의 화소값을 이용한 보간 연산 처리에 의해, 각 적색 화소의 공간 위치에서의 녹색 화소 및 청색 화소의 화소값을 계산한다. 또한 마찬가지로, 청색 화소에 대해서는, 인접하는 적색 화소 및 녹색 화소의 화소값을 이용한 보간 연산 처리에 의해, 각 청색 화소의 공간 위치에서의 적색 화소 및 녹색 화소의 화소값을 계산한다.

간이 디모자이크부(15)는, 이 계산 결과에 기초하여 화소마다 휘도값을 계산한다. 또한 이 휘도값의 계산은, 간단히 적색, 녹색, 청색의 화소값을 가산하여 간이하게 휘도값을 계산하여도 되고, 나아가서는 (1-1)식의 연산 처리를 실행하여 정확하게 각 화소의 휘도값을 계산하여도 된다.

색차 계산부(16)는, 이 처리 기준의 화소값 Y를 이용하여, 화소마다, 색차의 화소값 (R-Y) 및 (B-Y)를 계산한다. 또한 이 경우에, (1-2) 및 (1-3)식을 이용하여 색차의 화소값을 계산하여도 된다.

노이즈 제거부(17)는, 이 색차의 화소값을 노이즈 제거 처리한다. 간이 디모자이크부(18), RB 계산부(19)는, 이 노이즈 제거 처리한 색차의 화소값을 원래의 모자이크 화상의 화소값으로 변환한다. 또한 이 경우에, (1-2) 및 (1-3)식을 이용하여 색차의 화소값을 계산한 경우에는, 다음 식의 연산 처리에 의해, 각 화소값을 계산한다.

또한 이들의 처리에서, (1-1)식의 연산 처리를 생략하고, 직접 (1-2) 및 (1-3)식을 이용하여 색차의 화소값을 계산하여도 된다. 또한 녹색의 화소에 대해서는 처리를 생략하고, 적색 화소, 청색 화소에 대해서만 일련의 처리를 실행하도록 하여도 된다.

이 실시예에 따르면, 휘도값을 처리 기준의 화소값으로 설정하여 색차의 화소값을 구하도록 하여도, 전술한 실시예와 마찬가지의 효과를 얻을 수 있다.

(8) 실시예 6

이 실시예의 디지털 스틸 카메라는, 엣지 판별 디모자이크부(20)에서의 제2 보간부(25)를 이용하여 간이 디모자이크부(15, 18)를 구성한다.

이 실시예와 같이, 본래의 디모자이크 처리의 구성을 이용하여, 간이 디모자이크부(15, 18)를 구성하면, 전체 구성을 간략화하여 전술한 실시예와 마찬가지의 효과를 얻을 수 있다.

(9) 다른 실시예

또한 전술한 실시예에서는, ε필터에 의해 색 노이즈를 제거하는 경우에 대하여 설명하였지만, 본 발명은 이에 한하지 않고, 웨이블렛 변환 등을 사용하여 색 노이즈를 제거하는 경우, 고주파 성분과 저주파 성분에 대역 분리하여 색 노이즈를 제거하는 경우, 바일래터럴 필터, 트라일래터럴 필터 등을 이용하여 노이즈 제거하는 경우 등, 다양한 노이즈 제거 방법을 널리 적용할 수 있다.

또한 전술한 실시예에서는, 간단히 노이즈 제거부(17)에서 RAW 데이터의 노이즈를 제거하는 경우에 대하여 설명하였지만, 본 발명은 이에 한하지 않고, 다른 다양한 노이즈 제거 방법과 조합하여 노이즈를 제거하도록 하여도 된다.

또한 전술한 실시예에서는, 본 발명을 디지털 스틸 카메라에 적용하는 경우에 대하여 설명하였지만, 본 발명은 이에 한하지 않고, 동화상을 촬영하는 비디오 카메라, 나아가서는 RAW 데이터를 처리하는 각종 화상 처리 장치, 각종 화상 처리 프로그램에 널리 적용할 수 있다. 또한 이 화상 처리 프로그램은, 컴퓨터, 화상 처리 장치 등에 사전에 인스톨하여 제공하도록 하여도 되고, 또한 이 대신에 광 디스크, 자기 디스크, 메모리 카드 등의 각종 기록 매체에 기록하여 제공하도록 하여도 되고, 나아가서는 인터넷 등의 네트워크를 통한 다운로드에 의해 제공하도록 하여도 된다.

본 발명은, 예를 들면 디지털 스틸 카메라에 적용할 수 있다.

Claims (11)

1. RAW 데이터를 출력하는 촬상부와,

   상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환부와,

   상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거부와,

   상기 변환부와는 역의 처리에 의해, 상기 노이즈 제거부에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환부와,

   상기 역 변환부에서 처리한 화상값에 의한 모자이크 화상을 디모자이크 처리하여, 풀 컬러의 화상 데이터를 생성하는 디모자이크부

   를 구비하는 것을 특징으로 하는 촬상 장치.
2. 제1항에 있어서,

   상기 RAW 데이터에 의한 모자이크 화상의 화소가,

   적색, 녹색, 청색의 화소이며,

   상기 처리 기준의 화소값이,

   상기 적색 및 청색의 화소의 공간 위치에서의 녹색의 화소값이며,

   상기 노이즈 제거용의 화소값이,

   상기 처리 기준의 화소값과, 상기 적색 또는 청색의 화소의 화소값의 차분값

   인 것을 특징으로 하는 촬상 장치.
3. 제2항에 있어서,

   상기 노이즈 제거부는,

   상기 모자이크 화상의 녹색의 화소의 화소값, 혹은 상기 모자이크 화상의 녹색의 화소의 화소값 및 상기 적색 및 청색의 화소의 공간 위치에서의 녹색의 화소값으로부터 노이즈를 더 제거하는 것을 특징으로 하는 촬상 장치.
4. 제2항에 있어서,

   상기 처리 기준의 화소값이,

   상기 적색 및 청색의 화소 근방의 녹색의 화소의 화소값의 메디안 값인 것을 특징으로 하는 촬상 장치.
5. 제2항에 있어서,

   상기 RAW 데이터에 의한 모자이크 화상이,

   동일한 화소의 배치에 의한 블록의 반복으로 형성되고,

   상기 처리 기준의 화소값이,

   1개의 상기 블록 내에서의 적색의 화소 및 청색의 화소의 공간 위치가 동일하다고 가정하여 생성된

   것을 특징으로 하는 촬상 장치.
6. 제1항에 있어서,

   상기 RAW 데이터에 의한 모자이크 화상이,

   적색, 녹색, 청색의 화소이고,

   상기 처리 기준의 화소값이,

   상기 적색 및 청색의 화소의 공간 위치에서의 녹색의 화소값이며,

   상기 노이즈 제거용의 화소값이,

   상기 처리 기준의 화소값과, 상기 적색 또는 청색의 화소의 화소값의 비로 나타내어지는 화소값인

   것을 특징으로 하는 촬상 장치.
7. 제1항에 있어서,

   상기 RAW 데이터에 의한 모자이크 화상의 화소가,

   적색, 녹색, 청색의 화소이며,

   상기 처리 기준의 화소값이,

   상기 각 화소의 공간 위치에서의 휘도값이며,

   상기 노이즈 제거용의 화소값이,

   색차의 화소값인

   것을 특징으로 하는 촬상 장치.
8. 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 장치로서,

   상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환부와,

   상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거부와,

   상기 변환부와는 역의 처리에 의해, 상기 노이즈 제거부에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환부

   를 구비하는 것을 특징으로 하는 화상 처리 장치.
9. 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법으로서,

   상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과,

   상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과,

   상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환 의 스텝

   을 구비하는 것을 특징으로 하는 화상 처리 방법.
10. 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법의 프로그램으로서,

    상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과,

    상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과,

    상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환의 스텝

    을 구비하는 것을 특징으로 하는 화상 처리 방법의 프로그램.
11. 촬상 소자의 화소 배열에 의해 순차적으로 얻어지는 RAW 데이터의 노이즈를 억압하는 화상 처리 방법의 프로그램을 기록한 기록 매체로서,

    상기 화상 처리 방법의 프로그램은,

    상기 RAW 데이터에 의한 모자이크 화상에 순차적으로 주목 화소를 설정하고, 각 주목 화소에서 동일한 색 신호 성분을 갖고 있는 처리 기준의 화소값을 기준으로 한 노이즈 제거용의 화소값에, 상기 주목 화소의 화소값을 변환하는 변환의 스텝과,

    상기 노이즈 제거용의 화소값으로부터 노이즈를 제거하는 노이즈 제거의 스텝과,

    상기 변환의 스텝과는 역의 처리에 의해, 상기 노이즈 제거의 스텝에서 노이즈를 제거한 상기 노이즈 제거용의 화소값을, 원래의 화소값으로 변환하는 역 변환의 스텝

    을 구비하는 것을 특징으로 하는 화상 처리 방법의 프로그램을 기록한 기록 매체.

Images