KR101981573B1

KR101981573B1 - 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치

Info

Publication number: KR101981573B1
Application number: KR1020120133196A
Authority: KR
Inventors: 장윤성; 최종성; 조주현
Original assignee: 삼성전자주식회사
Priority date: 2012-11-22
Filing date: 2012-11-22
Publication date: 2019-05-23
Also published as: US20140139706A1; KR20140066017A; US9479744B2

Abstract

본 발명은 이미지 신호 프로세서에 관한 것이다. 본 발명의 이미지 신호 프로세서는 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성된다. 이미지 신호 프로세서는, 베이어 이미지 신호의 기준 밝기들 및 변화값들을 포함하는 테이블을 저장하는 메모리, 베이어 이미지 신호의 기준 밝기를 계산하고 테이블로부터 변화값을 선택하고 선택된 변화값에 기반하여 베이어 이미지 신호의 샷 노이즈를 감소하는 샷 노이즈 감소부, 그리고 샷 노이즈가 감소된 베이어 이미지 신호에 기반하여 보간을 수행하는 보간부를 포함한다.

Description

이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치{IMAGE SIGNAL PROCESSOR AND MOBILE DEVICE INCLUDING IMAGE SIGNAL PROCESSOR}

본 발명은 이미지 처리 장치에 관한 것으로, 더 상세하게는 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 장치에 관한 것이다.

콘텐츠 처리 기술 및 콘텐츠 처리 장치가 발전하면서, 대부분의 콘텐츠에 이미지가 활용되고 있다. 이미지는 정보를 시각을 통해 사용자에게 전달하는 수단으로, 일반 텍스트나 청각만을 사용하는 음성보다 높은 전달성을 갖는다.

이미지 촬영 장치는 디지털 이미지 센서를 이용하여 이미지를 촬영한다. 디지털 이미지 센서는 디지털 장치로서의 한계, 구조적인 한계, 비용적인 한계 등으로 인해 제한된 정밀도를 가지며, 노이즈가 섞인 이미지 신호를 촬영 결과로 출력한다. 따라서, 이미지 촬영 장치로부터 노이즈를 감소시키는 다양한 방법들이 연구되고 있다.

본 발명의 목적은 향상된 노이즈 감소 기능을 구비한 모바일 장치 및 이미지 신호 프로세서를 제공하는 데에 있다.

본 발명의 실시 예에 따른 이미지 신호 프로세서는 이미지 센서로부터 상기 베이어 이미지 신호를 수신하고, 상기 수신된 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성된다. 상기 이미지 신호 프로세서는, 베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리; 상기 수신된 베이어 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 상기 선택된 변화값에 기반하여 상기 수신된 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고 상기 샷 노이즈가 감소된 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함한다.

실시 예로서, 상기 샷 노이즈 감소부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 연산하여 적응적 문턱값을 계산하고, 그리고 상기 계산된 적응적 문턱값에 기반하여 상기 수신된 베이어 이미지 신호의 샷 노이즈를 감소하도록 구성된다.

실시 예로서, 상기 샷 노이즈 감소부는, 상기 수신된 베이어 이미지 신호의 평탄성을 계산하고, 상기 계산된 평탄성 및 상기 적응적 문턱값을 비교하고, 그리고 상기 비교 결과에 기반하여 상기 수신된 베이어 이미지 신호의 샷 노이즈를 감소하도록 구성된다.

실시 예로서, 상기 샷 노이즈 감소부는, 상기 계산된 평탄성이 상기 적응적 문턱값보다 작을 때 상기 수신된 베이어 이미지 신호에 강한 저대역 통과 필터를 적용하고, 상기 계산된 평탄성이 상기 적응적 문턱값 이상일 때 상기 수신된 베이어 이미지 신호에 약한 저대역 통과 필터를 적용하도록 구성된다.

실시 예로서, 상기 이미지 센서로부터 상기 베이어 이미지 신호를 수신하고, 상기 수신된 베이어 이미지 신호에 대해 배드 픽셀 수정을 수행하고, 상기 배드 픽셀 수정이 수행된 베이어 이미지 신호를 상기 샷 노이즈 감소부로 출력하도록 구성되는 배드 픽셀 수정부를 더 포함하고, 상기 배드 픽셀 수정부는, 상기 수신된 베이어 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 그리고 상기 선택된 변화값에 기반하여 상기 배드 픽셀 수정을 수행하도록 구성된다.

실시 예로서, 상기 배드 픽셀 수정부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 연산하여 적응적 문턱값을 계산하고, 목표 픽셀의 밝기와 기준 밝기(I) 사이의 차이를 계산하고, 상기 계산된 차이 및 상기 적응적 문턱값을 비교하고, 그리고 상기 계산된 차이가 상기 적응적 문턱값보다 작을 때 목표 픽셀을 정상 픽셀로 판별하고, 상기 계산된 차이가 상기 적응적 문턱값 이상일 때 상기 목표 픽셀을 배드 픽셀로 판별하여 배드 픽셀 수정을 수행하도록 구성된다.

실시 예로서, 상기 배드 픽셀 수정부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 연산하여 적응적 문턱값을 계산하고, 배드 픽셀의 주변 픽셀들의 복수의 방향들에 따른 밝기 분포들을 각각 계산하고, 상기 계산된 밝기 분포들과 상기 적응적 문턱값을 비교하고, 상기 비교 결과에 따라 상기 주변 픽셀들 중 상기 배드 픽셀을 수정하기 위한 밝기 분포들을 선택하고, 상기 선택된 밝기 분포들을 사용하여 상기 배드 픽셀을 수정하도록 구성된다.

실시 예로서, 상기 샷 노이즈 감소부로부터 상기 샷 노이즈가 감소된 베이어 이미지 신호를 수신하고, 상기 수신된 베이어 이미지 신호에 대해 고정 패턴 노이즈 감소를 수행하고, 상기 고정 패턴 노이즈 감소가 수행된 베이어 이미지 신호를 상기 보간부로 출력하도록 구성되는 고정 패턴 노이즈 감소부를 더 포함하고, 상기 고정 패턴 노이즈 감소부는, 상기 수신된 베이어 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 그리고 상기 선택된 변화값에 기반하여 상기 고정 패턴 노이즈 감소를 수행하도록 구성된다.

실시 예로서, 상기 고정 패턴 노이즈 감소부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 합하여 적응적 문턱값을 계산하고, 상기 수신된 베이어 이미지 신호에서 제거하고자 하는 패턴에 따른 밝기 차이를 계산하고, 상기 계산된 밝기 차이 및 상기 적응적 문턱값을 비교하고, 그리고 상기 계산된 밝기 차이가 상기 적응적 문턱값보다 작을 때 상기 수신된 베이어 이미지 신호에 강한 고정 패턴 노이즈 감소를 수행하고, 상기 계산된 평탄성이 상기 적응적 문턱값 이상일 때 상기 수신된 베이어 이미지 신호에 약한 고정 패턴 노이즈 감소를 수행하도록 구성된다.

실시 예로서, 상기 보간부는, 상기 수신된 베이어 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 그리고 상기 선택된 변화값에 기반하여 상기 보간을 수행하도록 구성된다.

실시 예로서, 상기 보간부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 연산하여 적응적 문턱값을 계산하고, 제 1 보간 방향을 선택하고, 상기 수신된 베이어 이미지 신호로부터 상기 선택된 제 1 보간 방향의 중앙 픽셀과 이웃 픽셀들 사이의 밝기 차이를 계산하고, 상기 계산된 차이 및 상기 적응적 문턱값을 비교하고, 그리고 상기 계산된 차이가 상기 적응적 문턱값보다 작을 때 상기 제 1 보간 방향의 밝기의 변화의 방향성을 수용하고, 상기 계산된 차이가 상기 적응적 문턱값 이상일 때 상기 제 1 보간 방향의 밝기의 변화의 방향성을 무시하도록 구성된다.

실시 예로서, 상기 보간부는, 제 2 보간 방향을 선택하고, 상기 선택된 제 2 보간 방향에 대해 상기 밝기 차이를 계산하고, 상기 계산된 차이 및 상기 적응적 문턱값을 비교하고, 그리고 상기 제 2 보간 방향의 밝기의 변화의 방향성을 수용하거나 무시하는 동작을 수행하고, 그리고 상기 제 1 및 제 2 보간 방향들에서 수용된 방향성을 조합하여 최종 방향성을 판별하고, 상기 판별된 방향성에 따라 보간을 수행하도록 구성된다.

실시 예로서, 상기 보간부로부터 상기 정상 이미지 신호를 수신하고, 상기 수신된 정상 이미지 신호에 대해 샤프닝(sharpening)을 수행하고, 상기 샤프닝이 수행된 정상 이미지 신호를 상기 후속 프로세서로 출력하도록 구성되는 샤프닝부를 더 포함하고, 상기 샤프닝부는, 상기 수신된 정상 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 그리고 상기 선택된 변화값에 기반하여 상기 샤프닝을 수행하도록 구성된다.

실시 예로서, 상기 샤프닝부는, 미리 정해진 기준 문턱값 및 상기 선택된 변화값을 연산하여 적응적 문턱값을 계산하고, 중앙 픽셀과 이웃 픽셀들 사이의 밝기 차이의 가중 합을 계산하고, 상기 계산된 가중 합 및 상기 적응적 문턱값을 비교하고, 그리고 상기 가중 합이 상기 적응적 문턱값보다 작을 때 상기 수신된 정상 이미지 신호에 약한 샤프닝 필터를 적용하고, 상기 가중 합이 상기 적응적 문턱값 이상일 때 상기 수신된 정상 이미지 신호에 강한 샤프닝 필터를 적용하도록 구성된다.

본 발명의 실시 예에 따른 모바일 장치는, 대상을 촬영하여 베이어(Bayer) 이미지 신호를 출력하도록 구성되는 이미지 센서; 상기 이미지 센서로부터 상기 베이어 이미지 신호를 수신하고, 상기 수신된 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성되는 이미지 신호 프로세서; 그리고 상기 이미지 신호 처리기로부터 상기 정상 이미지 신호를 수신하여 이미지 보정을 수행하도록 구성되는 후속 프로세서를 포함하고, 상기 이미지 신호 프로세서는, 베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리; 상기 수신된 베이어 이미지 신호의 기준 밝기를 계산하고, 상기 계산된 기준 밝기에 따라 상기 메모리에 저장된 테이블로부터 변화값을 선택하고, 상기 선택된 변화값에 기반하여 상기 수신된 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고 상기 샷 노이즈가 감소된 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함한다.

본 발명의 실시 예들에 따르면, 베이어 이미지 신호의 기준 밝기가 계산되고, 기준 밝기에 따라 샷 노이즈의 영향을 감소시키기 위한 문턱값이 적응적으로 조절된다. 따라서, 향상된 노이즈 감소 기능을 구비한 이미지 촬영 장치 및 이미지 신호 프로세서가 제공된다.

도 1은 본 발명의 제 1 실시 예에 따른 이미지 촬영 장치를 보여주는 블록도이다.
도 2는 본 발명의 제 1 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 3은 픽셀 강도에 따른 샷 노이즈의 세기를 보여주는 그래프이다.
도 4는 이미지 센서의 픽셀 어레이의 일부를 보여준다.
도 5는 본 발명의 실시 예에 따른 샷 노이즈 감소 방법을 보여주는 순서도이다.
도 6은 본 발명의 제 2 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 7a는 본 발명의 실시 예에 따른 배드 픽셀 수정 방법을 보여주는 순서도이다.
도 7b는 본 발명의 실시 예에 따른 배드 픽셀 수정 방법의 제 2 예를 보여주는 순서도이다.
도 8은 본 발명의 제 3 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 9는 본 발명의 실시 예에 따른 고정 패턴 노이즈 감소 방법을 보여주는 순서도이다.
도 10은 본 발명의 제 4 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 11은 본 발명의 실시 예에 따른 보간 방법을 보여주는 순서도이다.
도 12는 본 발명의 제 5 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 13은 본 발명의 실시 예에 따른 샤프닝 개선 방법을 보여주는 순서도이다.
도 14는 본 발명의 제 6 실시 예에 따른 이미지 신호 프로세서를 보여주는 블록도이다.
도 15는 본 발명의 실시 예에 따른 시스템-온-칩, 그리고 시스템-온-칩과 통신하는 외부 메모리 및 외부 칩을 보여주는 블록도이다.
도 16은 본 발명의 실시 예에 따른 멀티미디어 장치를 보여주는 블록도이다.

이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 제 1 실시 예에 따른 이미지 촬영 장치(100)를 보여주는 블록도이다. 도 1을 참조하면, 이미지 촬영 장치(100)는 이미지 센서(110), 이미지 신호 프로세서(120, ISP, Image Signal Processor), 후속 프로세서(130), 인터페이스(140), 표시부(150), 그리고 저장부(160)를 포함한다.

이미지 센서(110)는 목표 대상의 이미지를 촬영할 수 있다. 이미지 센서(110)는 행들 및 열들 방향으로 배열된 복수의 이미지 센서 픽셀들을 포함할 수 있다. 이미지 센서(110)는 CCD (Charge Coupled Device) 또는 CIS (CMOS Image Sensor)를 포함할 수 있다. 이미지 센서(110)는 대상을 촬영하여 베이어 이미지 신호를 출력할 수 있다. 베이어 이미지 신호는 베이어 RGB 신호일 수 있다.

이미지 신호 프로세서(120)는 이미지 센서(110)로부터 베이어 이미지 신호를 수신하고, 수신된 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력할 수 있다. 정상 이미지 신호는 RGB 신호 또는 YUV 신호일 수 있다.

이미지 신호 프로세서(120)는 메모리(121) 및 샷 노이즈 감소부(125)를 포함한다. 메모리(121)는 룩업 테이블(LUT, Look Up Table)을 저장하도록 구성된다. 룩업 테이블은 베이어 이미지 신호의 기준 밝기들 및 그들에 따른 변화값들을 테이블의 형태로 포함할 수 있다. 샷 노이즈 감소부(125)는 메모리(121)에 저장된 룩업 테이블(LUT)을 참조하여 샷 노이즈 감소를 수행할 수 있다.

후속 프로세서(130)는 이미지 신호 프로세서(120)로부터 정상 이미지 신호를 수신하고, 수신된 정상 이미지 신호의 보정을 수행하도록 구성된다. 예를 들어, 후속 프로세서(130)는 촬영된 이미지에서 대상을 추적하는 대상 추적부, 촬영된 이미지의 흔들림을 보정하는 디지털 이미지 안정화기(DIS, Digital Image Stabilizer), 추적된 대상의 색, 노이즈 등을 수정하는 수정부 등과 같은 다양한 기능부들 중 적어도 하나를 포함할 수 있다. 후속 프로세서(130)에 의해 처리된 수정 이미지 신호는 인터페이스(140)로 출력된다.

인터페이스(140)는 후속 프로세서(130)로부터 수정 이미지 신호를 수신한다. 인터페이스(140)는 수신된 수정 이미지 신호를 표시부(150) 또는 저장부(160)로 출력하도록 구성된다.

표시부(150)는 인터페이스(140)로부터 출력되는 수정 이미지 신호를 표시하도록 구성된다. 표시부(150)는 LCD 장치, OLED 표시 장치, AMOLED 표시 장치 등과 같은 다양한 표시 장치들 중 적어도 하나를 포함할 수 있다.

저장부(160)는 인터페이스(140)로부터 출력되는 수정 이미지 신호를 저장하고, 저장된 수정 이미지 신호를 인터페이스(140)로 출력하도록 구성된다. 저장부(160)는 플래시 메모리, PRAM (Phase Change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FRAM (Ferroelectric RAM) 등과 같은 불휘발성 메모리, 또는 DRAM (Dynamic RAM), SRAM (Static RAM) 등과 같은 휘발성 메모리 중 적어도 하나를 포함할 수 있다.

이미지 신호 프로세서(120) 내의 각 기능 블록들과 샷 노이즈 감소부(125)는 베이어 이미지 신호의 기준 밝기를 계산하고, 계산된 기준 밝기에 따라 적응적으로 샷 노이즈 감소를 수행하도록 구성된다. 따라서, 향상된 노이즈 감소 기능을 구비한 이미지 촬영 장치 및 이미지 신호 프로세서가 제공된다.

예시적으로, 이미지 신호 프로세서(120), 후속 프로세서(130) 및 인터페이스(140)는 하나의 시스템-온-칩(SoC, System-on-Chip)을 형성할 수 있다. 이미지 센서(110), 이미지 신호 프로세서(120), 후속 프로세서(130) 및 인터페이스(140)는 하나의 시스템-온-칩(SoC, System-on-Chip)을 형성할 수 있다.

도 2는 본 발명의 제 1 실시 예에 따른 이미지 신호 프로세서(120a)를 보여주는 블록도이다. 도 1 및 도 2를 참조하면, 이미지 신호 프로세서(120a)는 메모리(121a), 배드 픽셀 수정부(123a), 샷 노이즈 감소부(125a), 고정 패턴 노이즈 감소부(127a), 그리고 보간부(129a)를 포함한다.

메모리(121a)는 베이어 이미지 신호의 기준 밝기들 및 기준 밝기들에 따른 변화값들을 룩업 테이블(LUT)로 저장하도록 구성된다.

배드 픽셀 수정부(123a)는 이미지 센서(110)로부터 베이어 이미지 신호(예를 들어, 제 1 베이어 이미지 신호(BI1))를 수신하고, 수신된 베이어 이미지 신호에 기반하여 배드 픽셀 수정을 수행하도록 구성된다. 예를 들어, 배드 픽셀 수정부(123a)는 이미지 센서(110)의 특정 픽셀로부터 수신된 신호가 정상 신호인지 배드 신호인지 판별하고, 배드 신호로 판별된 신호의 수정을 수행할 수 있다. 배드 픽셀 수정부(123a)는 배드 픽셀 수정이 수행된 베이어 이미지 신호(예를 들어, 제 2 베이어 이미지 신호(BI2))를 샷 노이즈 감소부(125a)로 출력할 수 있다.

샷 노이즈 감소부(125a)는 배드 픽셀 수정부(123a)로부터 제 2 베이어 이미지 신호(BI2)를 수신하도록 구성된다. 샷 노이즈 감소부(125a)는 수신된 제 2 베이어 이미지 신호(BI2)의 평탄성을 계산하고, 계산된 평탄성을 문턱값과 비교하고, 비교 결과에 따라 제 2 베이어 이미지 신호(BI2)의 필터링을 수행하여 샷 노이즈 감소를 수행할 수 있다. 평탄성은 이미지 센서(110)의 픽셀들의 밝기들이 평탄한 정도를 가리킬 수 있다.

예를 들어, 제 2 베이어 이미지 신호(BI2)의 평탄성이 높은 경우, 이미지 센서(110)의 픽셀들에 입사되는 빛들의 밝기의 차이들은 크지 않을 수 있다. 이때, 샷 노이즈 감소부(125a)는 강한 저대역 필터를 제 2 베이어 이미지 신호(BI2)에 적용하여 샷 노이즈 감소를 수행할 수 있다. 제 2 베이어 이미지 신호(BI2)의 평탄성이 낮은 경우, 이미지 센서(110)의 픽셀들에 입사되는 빛들의 밝기의 차이들은 클 수 있다. 이때, 샷 노이즈 감소부(125a)는 약한 저대역 필터를 제 2 베이어 이미지 신호(BI2)에 적용하여 샷 노이즈 감소를 수행할 수 있다.

샷 노이즈 감소부(125a)는 제 2 베이어 이미지 신호(BI2)의 기준 밝기에 따라, 평탄성의 높고 낮음을 판별하는 문턱값을 적응적으로 조절할 수 있다. 샷 노이즈 감소부(125a)는 샷 노이즈 감소가 수행된 베이어 이미지 신호(예를 들어, 제 3 베이어 이미지 신호(BI3))를 고정 패턴 노이즈 감소부(127a)로 출력한다.

고정 패턴 노이즈 감소부(127a)는 샷 노이즈 감소부(125a)로부터 제 3 베이어 이미지 신호(BI3)를 수신한다. 고정 패턴 노이즈 감소부(127a)는 수신된 제 3 베이어 이미지 신호(BI3)의 고정 패턴 노이즈 감소를 수행하도록 구성된다. 고정 패턴 노이즈 감소부(127a)는 고정 패턴 노이즈 감소가 수행된 베이어 이미지 신호(예를 들어, 제 4 베이어 이미지 신호(BI4))를 보간부(129a)로 출력한다.

보간부(129a)는 고정 패턴 노이즈 감소부(127a)로부터 제 4 베이어 이미지 신호(BI4)를 수신한다. 보간부(129a)는 수신된 제 4 베이어 이미지 신호(BI4)에 기반하여 보간(interpolation)을 수행하도록 구성된다. 보간부(129a)는 보간의 결과에 기반하여, 정상 이미지 신호를 생성 및 출력하도록 구성된다. 정상 이미지 신호는 후속 프로세서(130)로 출력될 수 있다.

예시적으로, 도 2에서, 배드 픽셀 수정부(123a), 샷 노이즈 감소부(125a), 고정 패턴 노이즈 감소부(127a) 및 보간부(129a)는 순차적으로 체인 형태로 도시되어 있다. 그러나, 배드 픽셀 수정부(123a), 샷 노이즈 감소부(125a) 및 노이즈 감소부(127a)의 연결 순서는 변경될 수 있다. 예를 들어, 샷 노이즈 감소부(125a)는 배드 픽셀 수정부(123a)의 전단에 위치할 수 있다.

도 3은 픽셀 강도에 따른 샷 노이즈의 세기를 보여주는 그래프이다. 도 3에서, 가로 축은 픽셀 강도를 가리키고, 세로 축은 샷 노이즈의 RMS (Root-Mean-Square) 값을 가리킨다. 픽셀 강도는 픽셀에 입사되는 빛의 밝기일 수 있다. 이하에서, 간결한 설명을 위하여, 픽셀에 입사되는 빛의 밝기(즉, 픽셀 강도)는 픽셀의 밝기인 것으로 설명된다.

도 1 내지 도 3을 참조하면, 샷 노이즈의 RMS 값은 픽셀 강도의 제곱근에 비례한다. 즉, 샷 노이즈는 픽셀의 밝기의 제곱근에 비례하는 것으로 이해될 수 있다. 픽셀의 밝기가 증가하면, 샷 노이즈 또한 증가한다.

샷 노이즈는 이미지 신호 프로세서(120) 및 후속 프로세서(130)에서 다양한 오동작을 유발할 수 있다. 예를 들어, 고정 패턴 노이즈 감소부(127a)는 제 3 베이어 이미지 신호(BI3)가 가리키는 픽셀의 밝기 또는 주변 픽셀과의 밝기 차이에 따라 다양한 필터들을 적용하여 고정 패턴 노이즈를 감소하는 동작을 수행한다. 샷 노이즈는 픽셀의 밝기에 영향을 주므로, 샷 노이즈는 고정 패턴 노이즈 감소 동작 시에 오동작을 유발할 수 있다.

또한, 보간부(129a)는 제 4 베이어 이미지 신호(BI4)가 가리키는 픽셀의 밝기에 따라 보간을 수행한다. 예를 들어, 보간부(129a)는 이미지 센서(110)의 픽셀들의 밝기의 차이들을 다양한 방향에 따라 계산하고, 각 방향에 따른 밝기 차이들을 분석하여 픽셀들의 방향성을 판별할 수 있다. 보간부(129a)는 판별된 방향성에 따라 보간을 수행할 수 있다. 샷 노이즈는 픽셀의 밝기에 영향을 주므로, 샷 노이즈는 보간 동작 시에 오동작을 유발할 수 있다.

노이즈 감소 동작 또는 보간 동작 시에 오동작이 발생하면, 후속 이미지 프로세서(130)에 오동작의 영향이 반영될 수 있다. 샷 노이즈 또한 후속 이미지 프로세서(130)에 반영될 수 있다. 즉, 샷 노이즈가 방치되면, 이미지 신호 프로세서(120) 및 후속 프로세서(130)를 통해 오동작이 누적 및 증폭되어, 이미지 촬영 장치(100)에 의해 촬영되는 이미지의 품질이 저하될 수 있다.

본 발명의 실시 예에 따른 이미지 신호 프로세서(120) 또는 이미지 촬영 장치(100)는 샷 노이즈를 감소시키는 샷 노이즈 감소부(125a)를 구비한다. 샷 노이즈 감소부(125a)는 도 3에 도시된 샷 노이즈의 특성에 기반하여 적응적으로 샷 노이즈 감소를 수행하도록 구성된다. 또한, 이미지 신호 프로세서(120) 내의 각 기능 블록들은 기준 밝기에 다른 적응적 문턱값을 이용하여 샷 노이즈의 영향을 감쇄시키면서 동작할 수 있다.

예시적으로, 샷 노이즈 감소부(125a)는 적응적 문턱값 계산부(ATCU)를 포함한다. 적응적 문턱값 계산부(ATCU)는 기준 밝기에 수신되는 이미지 신호의 기준 밝기를 계산하고, 기준 밝기에 기반하여 메모리(121a)를 참조하여 변화값을 선택하고, 선택된 변화값을 이용하여 적응적 문턱값을 계산할 수 있다.

도 4는 이미지 센서(110)의 픽셀 어레이의 일부를 보여준다. 도 1 내지 도 4를 참조하면, 이미지 센서(110)는 매트릭스 형태로 배열된 복수의 픽셀들을 포함한다. 참조 기호(G)로 표시된 픽셀들은 녹색 빛에 반응하는 픽셀들일 수 있다. 참조 기호(R)로 표시된 픽셀들은 적색 빛에 반응하는 픽셀들일 수 있다. 참조 기호(B)로 표시된 픽셀들은 청색 빛에 반응하는 픽셀들일 수 있다. 참조 기호(R, G 또는 B)의 좌측에 표시되는 숫자들은 픽셀들의 행들 및 열들을 가리킬 수 있다.

샷 노이즈 감소부(125a)는 이미지 센서(110)의 픽셀 어레이의 일부 영역(SA)을 선택할 수 있다. 예시적으로, 샷 노이즈 감소부(125a)는 샷 노이즈 감소를 수행하고자 하는 픽셀 및 이웃 픽셀들을 포함하는 영역을 일부 영역(SA)으로 선택할 수 있다. 샷 노이즈 감소부(125a)는 미리 설정된 단위로 일부 영역(SA)을 선택할 수 있다.

예를 들어, 샷 노이즈 감소부(125a)는 제 2 베이어 이미지 신호(BI2) 중 일부 신호를 선택함으로써, 이미지 센서(110)의 일부 영역(SA)을 선택할 수 있다. 이하에서, 간결한 설명을 위하여, 이미지 센서(110) 후단의 기능 블록들에서, 이미지 센서(110)의 픽셀들을 선택한다는 표현, 픽셀들의 밝기를 선택한다는 표현, 픽셀들의 밝기를 계산한다는 표현들과 같이, 이미지 센서(110)의 픽셀들과 연관된 표현들은, 별도의 설명이 없이도, 베이어 이미지 신호 또는 정상 이미지 신호에 기반하여 수행되는 것으로 이해된다.

예시적으로, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 특정한 색의 픽셀들을 선택할 수 있다. 샷 노이즈 감소부(125a)는 녹색(G)의 픽셀들을 선택하여 샷 노이즈 감소를 수행하고, 적색(R)의 픽셀들을 선택하여 샷 노이즈 감소를 수행하고, 그리고 청색(B)의 픽셀들을 선택하여 샷 노이즈 감소를 수행할 수 있다. 이하에서, 간결한 설명을 위하여, 하나의 색(예를 들어, 녹색(G))의 픽셀들이 선택된 예가 설명된다.

샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들의 평탄성을 계산할 수 있다. 평탄성은 수학식 1에 따라 계산될 수 있다.

수학식 1에서, S는 평탄성을 가리킨다. 평탄성(S)은 선택된 일부 영역(SA)의 중앙 픽셀 또는 목표 픽셀(G33)과 이웃 픽셀들(G13, G31, G35, G53) 사이의 밝기의 차이의 평균으로 계산될 수 있다. 선택된 일부 영역(SA)의 픽셀들의 밝기 차이가 클수록 평탄성(S)은 증가하고, 선택된 일부 영역(SA)의 픽셀들의 밝기 차이가 적을수록 평탄성(S)은 감소할 수 있다.

수학식 1은 평탄성(S)을 계산하는 일 예를 보여주는 것으로, 평탄성(S)을 계산하는 방법은 수학식 1로 한정되지 않는다. 예를 들어, 평탄성(S)은 목표 픽셀(G33)과 이웃 픽셀들 사이의 밝기의 차이의 가중 평균으로 계산될 수 있다. 평탄성(S)은 목표 픽셀(G33)을 포함하지 않는 이웃 픽셀들 사이의 밝기의 차이의 평균 또는 가중 평균으로 계산될 수 있다. 평탄성(S)은 일부 영역(SA)의 동일 색상의 픽셀들 사이의 분산 또는 표준편차로 계산될 수 있다. 평탄성(S)을 계산하는 방법은 이미지 촬영 장치(100) 또는 이미지 신호 프로세서(120)의 다양한 알고리즘들에 따라 변경될 수 있다.

샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들의 기준 밝기를 계산할 수 있다. 예를 들어, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들의 밝기의 평균을 기준 밝기로 계산할 수 있다. 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들의 밝기의 가중 평균을 기준 밝기로 계산할 수 있다.

예를 들어, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들 중 샷 노이즈 감소를 수행하고자 하는 목표 픽셀에 높은 가중치(또는 낮은 가중치)를 설정하고, 이웃 픽셀들과 목표 픽셀 사이의 거리에 따라 증가(또는 감소)하는 가중치를 이웃 픽셀들에 설정할 수 있다. 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 중심에 위치한 픽셀의 밝기에 높은 가중치(또는 낮은 가중치)를 설정하고, 선택된 일부 영역(SA)의 가장자리에 위치한 픽셀의 밝기에 낮은 가중치(또는 높은 가중치)를 설정하여 기준 밝기를 계산할 수 있다. 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들 각각의 밝기에 비례(또는 반비례)하는 가중치를 설정하여 기준 밝기를 계산할 수 있다. 샷 노이즈 감소부(125a)가 가중치를 설정하는 방법은 이미지 신호 프로세서(120) 또는 후속 프로세서(130)에서 구동되는 다양한 알고리즘들에 따라 변경될 수 있으며, 상술된 방법들에 한정되지 않는다.

샷 노이즈 감소부(125a)는 계산된 기준 밝기에 기반하여, 선택된 일부 영역(SA)의 평탄성(S)을 비교하는 문턱값의 변화값을 택할 수 있다. 도 3에 도시된 바와 같이, 픽셀들의 밝기가 증가하면, 샷 노이즈의 세기 또한 증가한다. 이로 인해, 평탄성(S)의 비교 시에 오류가 발생할 수 있다.

예시적으로, 선택된 일부 영역(SA)의 픽셀들의 평탄성(S)이 특정한 값을 갖는 것으로 가정한다. 선택된 일부 영역(SA)의 픽셀들의 밝기가 증가하면, 샷 노이즈의 세기가 증가한다. 샷 노이즈는 선택된 일부 영역(SA)의 픽셀들에서 임의적으로 발생한다. 샷 노이즈가 발생하는 픽셀의 밝기는 정상 밝기보다 어둡거나 밝게 나타날 수 있다.

특정한 값의 평탄성(S)을 갖는 선택된 일부 영역(SA)의 픽셀들의 평균적인 밝기가 증가하면, 선택된 일부 영역(SA)의 픽셀들에서 임의적으로 발생하는 샷 노이즈의 세기가 증가한다. 샷 노이즈의 세기의 증가는 선택된 일부 영역(SA)의 픽셀들의 평탄성(S)을 증가시킬 수 있다. 즉, 샷 노이즈 감소부(125a)가 특정한 값의 평탄성(S)을 갖는 선택된 일부 영역(SA)의 평탄성(S)을 비교할 때, 선택된 일부 영역(SA)의 픽셀들의 평균적인 밝기에 따라, 평탄성(S)의 비교 결과가 달라질 수 있다.

이와 같은 오류를 방지하기 위하여, 본 발명의 실시 예에 따른 샷 노이즈 감소부(125a)는, 도 3에 도시된 샷 노이즈의 특성에 따라, 평탄성(S)을 비교하는 문턱값을 적응적으로 조절하도록 구성된다.

예시적으로, 샷 노이즈 감소부(125a)는 수학식 2에 따라 적응적 문턱값을 선택할 수 있다.

수학식 2에서, T1은 미리 정해진 기준 문턱값이고, a는 이미지 센서(110)의 기준 노이즈, 채광 상태(lighting condition), 샷 노이즈 감소부(125a)의 알고리즘에 따라 가변되는 스케일 인자(scaling factor) 등을 고려한 계수이고, I는 선택된 일부 영역(SA)의 픽셀들의 기준 밝기이고, 그리고 T2는 적응적 문턱값이다.

샷 노이즈 감소부(125a)는 도 3에 도시된 샷 노이즈의 특성에 따라, 기준 밝기의 제곱근을 기준 문턱값(T1)에 반영하여 적응적 문턱값(T2)을 선택하도록 구성된다. 적응적 문턱값(T2)을 이용하여 선택된 일부 영역(SA)의 픽셀들의 평탄성(S)이 비교되면, 샷 노이즈의 영향이 감쇄된 상태에서 선택된 일부 영역(SA)의 픽셀들의 평탄성(S)이 비교된다.

수학식 1의 적응적 문턱값(T2)의 계산식은 제곱근 연산을 포함한다. 제곱근 연산을 계산하기 위한 회로는 높은 복잡도 및 긴 연산 시간을 가지며, 이미지 신호 프로세서(120) 또는 이미지 촬영 장치(100)의 오버헤드를 증가시킬 수 있다. 따라서, 본 발명의 실시 예에 따른 이미지 촬영 장치(100) 및 이미지 신호 프로세서(120)는 기준 밝기(I)에 따른 제곱근의 연산 값을 룩업 테이블(LUT)의 형태로 메모리(121a)에 저장하도록 구성된다.

예시적으로, 메모리(121a)에 저장되는 룩업 테이블(LUT)은 다양한 범위의 기준 밝기들을 저장하고, 기준 밝기들의 범위들에 따른 변화값들(예를 들어,

또는

)을 저장하도록 구성된다. 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 기준 밝기(I)를 계산하고, 기준 밝기(I)에 따라 메모리(121a)에 저장된 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값을 기준 문턱값(T1)과 연산함으로써 적응적 문턱값(T2)을 도출할 수 있다. 따라서, 이미지 촬영 장치(100) 또는 이미지 신호 프로세서(120)의 오버헤드의 증가 없이, 샷 노이즈가 감소될 수 있다.

도 5는 본 발명의 실시 예에 따른 샷 노이즈 감소 방법을 보여주는 순서도이다. 도 1, 도 2, 도 4 및 도 5를 참조하면, S110 단계에서, 샷 노이즈 감소부(125a)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 예를 들어, 샷 노이즈 감소부(125a)는 샷 노이즈 감소를 수행하고자 하는 목표 픽셀 및 목표 픽셀의 이웃 픽셀들을 포함하는 영역을 일부 영역(SA)으로 선택할 수 있다. 샷 노이즈 감소부(125a)는 미리 정해진 단위에 따라 일부 영역(SA)을 선택할 수 있다.

S120 단계에서, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 기준 밝기(I)를 계산한다. 예를 들어, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 픽셀들의 밝기의 가중 평균을 기준 밝기(I)로 계산할 수 있다.

S130 단계에서, 샷 노이즈 감소부(125a)는 메모리(121a)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예를 들어, 샷 노이즈 감소부(125a)는 계산된 기준 밝기(I)를 이용하여 룩업 테이블(LUT)로부터 변화값을 선택할 수 있다. 샷 노이즈 감소부(125a)는 선택된 변화값 및 기준 문턱값(T1)을 연산하여 적응적 문턱값(T2)을 게산할 수 있다.

S140 단계에서, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)의 평탄성(S)을 계산한다. 예를 들어, 샷 노이즈 감소부(125a)는 수학식 1에 기재된 방법에 따라 선택된 일부 영역(SA)의 평탄성(S)을 계산할 수 있다.

S150 단계에서, 샷 노이즈 감소부(125a)는 계산된 평탄성(S)을 적응적 문턱값(T2)과 비교한다.

평탄성(S)이 적응적 문턱값(T2)보다 작으면, 선택된 일부 영역(SA)의 픽셀들의 밝기는 평탄한 것으로 판별된다. S160 단계에서, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)에 강한 저대역 통과 필터를 적용할 수 있다. 즉, 선택된 일부 영역(SA)이 평탄한 것으로 판별되면, 샷 노이즈 감소부(125a)는 강한 저대역 통과 필터를 이용하여 샷 노이즈를 강하게 감소시킬 수 있다. 선택된 일부 영역(SA)의 픽셀들의 밝기에 따른 샷 노이즈의 변화는 적응적 문턱값(T2)을 통해 보상된다.

평탄성(S)이 적응적 문턱값(T2) 이상이면, 선택된 일부 영역(SA)의 픽셀들의 밝기는 평탄하지 않은 것으로 판별된다. S170 단계에서, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)에 약한 저대역 통과 필터를 적용할 수 있다. 즉, 선택된 일부 영역(SA)이 평탄하지 않은 것으로 판별되면(예를 들어, 선택된 일부 영역(SA)이 복잡한 이미지를 포함하면), 샷 노이즈 감소부(125a)는 약한 저대역 통과 필터를 이용하여 샷 노이즈를 약하게 감소시키고, 원본 이미지의 훼손을 최소화할 수 있다.

예시적으로, 샷 노이즈 감소부(125a)는 목표 픽셀에 대응하는 원본 신호를 필터링된 신호 중 목표 픽셀에 대응하는 신호로 치환할 수 있다. 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)에 대응하는 원본 신호를 필터링된 신호로 치환할 수 있다.

예시적으로, 샷 노이즈 감소부(125a)는 선택된 일부 영역(SA)을 이동시키며 샷 노이즈 감소를 수행할 수 있다. 샷 노이즈 감소부(125a)는 다음 목표 픽셀 및 다음 이웃 픽셀들을 선택하고, 샷 노이즈 감소를 수행할 수 있다. 샷 노이즈 감소부(125a)는 미리 정해진 단위에 따라 다음 일부 영역을 선택하고, 샷 노이즈 감소를 수행할 수 있다.

도 6은 본 발명의 제 2 실시 예에 따른 이미지 신호 프로세서(120b)를 보여주는 블록도이다. 도 6을 참조하면, 이미지 신호 프로세서(120b)는 메모리(121b), 배드 픽셀 수정부(123b), 샷 노이즈 감소부(125b), 고정 패턴 노이즈 감소부(127b), 그리고 보간부(129b)를 포함한다. 도 2의 이미지 신호 프로세서(120a)와 비교하면, 배드 픽셀 수정부(123b)는 적응적 문턱값 계산부(ATCU)를 포함한다. 적응적 문턱값 계산부(ATCU)는 기준 밝기에 수신되는 이미지 신호의 기준 밝기를 계산하고, 기준 밝기에 기반하여 메모리(121a)를 참조하여 변화값을 선택하고, 선택된 변화값을 이용하여 적응적 문턱값을 계산할 수 있다. 배드 픽셀 수정부(123b)는 적응적 문턱값에 기반하여 배드 픽셀 수정을 수행하도록 구성된다. 샷 노이즈 감소부(125b)는 도 2 내지 도 5를 참조하여 설명된 바와 같이 샷 노이즈 감소를 수행할 수 있다.

도 7a는 본 발명의 실시 예에 따른 배드 픽셀 수정 방법의 제 1 예를 보여주는 순서도이다. 도 4, 도 6 및 도 7a를 참조하면, S210 단계에서, 배드 픽셀 수정부(123b)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 배드 픽셀 수정부(123b)에 의해 선택되는 일부 영역(SA)의 사이즈는 샷 노이즈 감소부(125b)에 의해 선택되는 일부 영역의 사이즈와 다를 수 있다.

S220 단계에서, 배드 픽셀 수정부(123b)는 제 1 베이어 이미지 신호(BI1)의 기준 밝기(I)를 계산한다.

S230 단계에서, 배드 픽셀 수정부(123b)는 메모리(121b)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예시적으로, 배드 픽셀 수정부(123b)는 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값에 미리 정해진 스케일 팩터(scaling factor)를 연산할 수 있다. 배드 픽셀 수정부(123b)는 스케일된 변화값을 미리 정해진 기준 문턱값(T1)과 연산하여 적응적 문턱값(T2)을 계산할 수 있다. 배드 픽셀 수정부(123b)의 기준 문턱값(T1)은 샷 노이즈 감소부(125b)의 기준 문턱값과 다를 수 있다.

S240 단계에서, 배드 픽셀 수정부(123b)는 목표 픽셀의 밝기와 기준 밝기(I) 사이의 차이를 계산한다. 계산된 차이가 적응적 문턱값(T2)보다 작으면, S260 단계에서, 배드 픽셀 수정부(123b)는 목표 픽셀을 정상 픽셀로 판별하고, 배드 픽셀 수정을 생략한다.

계산된 차이가 적응적 문턱값(T2) 이상이면, S270 단계에서, 배드 픽셀 수정부(123b)는 목표 픽셀을 배드 픽셀로 판별하고, 배드 픽셀 수정을 수행한다.

배드 픽셀 수정부(123b)가 적응적 문턱값(T2)을 사용하면, 샷 노이즈로 인해 정상 픽셀이 배드 픽셀로 판별되거나 배드 픽셀이 정상 픽셀로 판별되는 오류가 감소될 수 있다.

도 7b는 본 발명의 실시 예에 따른 배드 픽셀 수정 방법의 제 2 예를 보여주는 순서도이다. 도 4, 도 6 및 도 7b를 참조하면, S210' 단계에서, 배드 픽셀 수정부(123b)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 배드 픽셀 수정부(123b)에 의해 선택되는 일부 영역(SA)의 사이즈는 샷 노이즈 감소부(125b)에 의해 선택되는 일부 영역의 사이즈와 다를 수 있다.

S220' 단계에서, 배드 픽셀 수정부(123b)는 제 1 베이어 이미지 신호(BI1)의 기준 밝기(I)를 계산한다.

S230' 단계에서, 배드 픽셀 수정부(123b)는 메모리(121b)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예시적으로, 배드 픽셀 수정부(123b)는 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값에 미리 정해진 스케일 팩터(scaling factor)를 연산할 수 있다. 배드 픽셀 수정부(123b)는 스케일된 변화값을 미리 정해진 기준 문턱값(T1)과 연산하여 적응적 문턱값(T2)을 계산할 수 있다. 배드 픽셀 수정부(123b)의 기준 문턱값(T1)은 샷 노이즈 감소부(125b)의 기준 문턱값과 다를 수 있다.

S240' 단계에서, 배드 픽셀 수정부(123b)는 수정 방향을 선택한다. 예를 들어, 배드 픽셀 수정부(123b)는 목표 픽셀을 중심으로 한 가로, 세로 및 대각선 방향들 중 하나의 방향을 선택할 수 있다.

S250' 단계에서, 배드 픽셀 수정부(123b)는 선택된 수정 방향에서, 이웃 픽셀들 사이의 밝기의 차이를 계산할 수 있다.

S260' 단계에서, 배드 픽셀 수정부(123b)는 계산된 밝기의 차이가 적응적 문턱값(T2)보다 작은지 판별한다. 계산된 밝기의 차이가 적응적 문턱값(T2)보다 작으면, S270' 단계에서, 배드 픽셀 수정부(123b)는 선택된 수정 방향의 특성을 수용할 수 있다. 계산된 밝기의 차이가 적응적 문턱값(T2)보다 작지 않으면, S275' 단계에서, 배드 픽셀 수정부(123b)는 선택된 수정 방향의 특성(예를 들어, 픽셀들의 밝기의 방향성)을 무시할 수 있다.

S280' 단계에서, 배드 픽셀 수정부(123b)는 모든 수정 방향들이 체크되었는지 판별한다. 모든 수정 방향들이 체크되지 않았으면, S285' 단계에서, 배드 픽셀 수정부(123b)는 다음 수정 방향을 선택하고, S250' 단계를 다시 수행할 수 있다. 모든 수정 방향들이 체크되었으면, S290' 단계에서, 배드 픽셀 수정부(123b)는 수용된 수정 방향의 특성들(예를 들어, 픽셀들의 밝기의 방향성들)을 이용하여 목표 픽셀을 수정할 수 있다.

도 8은 본 발명의 제 3 실시 예에 따른 이미지 신호 프로세서(120c)를 보여주는 블록도이다. 도 8을 참조하면, 이미지 신호 프로세서(120c)는 메모리(121c), 배드 픽셀 수정부(123c), 샷 노이즈 감소부(125c), 고정 패턴 노이즈 감소부(127c), 그리고 보간부(129c)를 포함한다. 도 2의 이미지 신호 프로세서(120a)와 비교하면, 고정 패턴 노이즈 감소부(127c)는 적응적 문턱값 계산부(ATCU)를 포함한다. 적응적 문턱값 계산부(ATCU)는 기준 밝기에 수신되는 이미지 신호의 기준 밝기를 계산하고, 기준 밝기에 기반하여 메모리(121a)를 참조하여 변화값을 선택하고, 선택된 변화값을 이용하여 적응적 문턱값을 계산할 수 있다. 고정 패턴 노이즈 감소부(127c)는 적응적 문턱값을 이용하여 고정 패턴 노이즈 감소를 수행하도록 구성된다. 샷 노이즈 감소부(125c)는 도 2 내지 도 5를 참조하여 설명된 바와 같이 샷 노이즈 감소를 수행할 수 있다.

도 9는 본 발명의 실시 예에 따른 노이즈 감소 방법을 보여주는 순서도이다. 도 4, 도 8 및 도 9를 참조하면, S310 단계에서, 고정 패턴 노이즈 감소부(127c)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 고정 패턴 노이즈 감소부(127c)에 의해 선택되는 일부 영역(SA)의 사이즈는 샷 노이즈 감소부(125c)에 의해 선택되는 일부 영역의 사이즈와 다를 수 있다.

S320 단계에서, 고정 패턴 노이즈 감소부(127c)는 제 3 베이어 이미지 신호(BI3)의 기준 밝기(I)를 계산한다.

S330 단계에서, 고정 패턴 노이즈 감소부(127c)는 메모리(121c)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예시적으로, 고정 패턴 노이즈 감소부(127c)는 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값에 미리 정해진 스케일 팩터(scaling factor)를 연산할 수 있다. 고정 패턴 노이즈 감소부(127c)는 스케일된 변화값을 미리 정해진 기준 문턱값(T1)과 연산하여 적응적 문턱값(T2)을 계산할 수 있다. 고정 패턴 노이즈 감소부(127c)의 기준 문턱값(T1)은 샷 노이즈 감소부(125c)의 기준 문턱값과 다를 수 있다.

S340 단계에서, 고정 패턴 노이즈 감소부(127c)는 선택된 일부 영역(SA)의 평탄성(S)을 계산한다. 예를 들어, 고정 패턴 노이즈 감소부(127c)는 수학식 1에 기재된 방법에 따라 선택된 일부 영역(SA)의 평탄성(S)을 계산할 수 있고, 제거하고자 하는 패턴에 위치하는 픽셀들 사이의 밝기 차이만을 이용하여 평탄선(S)을 계산할 수도 있다. 예를 들어, 목표 픽셀이 녹색 픽셀이고 대각선에 위치한 녹색 픽셀들 사이의 패턴(Gr-Gb mismatch pattern)을 제거하고자 할 때, 고정 패턴 노이즈 감소부(127c)는 목표 픽셀과 4개의 대각선 픽셀들 사이의 밝기의 차이값들을 평균하여 평탄성(S)을 계산할 수 있다. 픽셀들의 n 번재 열마다 주기적으로 나타나는 패턴(periodic masmatch pattern)을 제거하고자 하는 경우, 고정 패턴 노이즈 감소부(127c)는 목표 픽셀 및 목표 픽셀과 n 픽셀만큼 좌우에 위치한 픽셀들 사이의 밝기의 차이값들을 평균하여 평탄성(S)을 계산할 수 있다.

S350 단계에서, 고정 패턴 노이즈 감소부(127c)는 계산된 평탄성(S)을 적응적 문턱값(T2)과 비교한다.

평탄성(S)이 적응적 문턱값(T2)보다 작으면, 선택된 일부 영역(SA)의 픽셀들은 평탄한 영역에 위치한 것으로 판별된다. S360 단계에서, 고정 패턴 노이즈 감소부(127c)는 선택된 일부 영역(SA)에 고정 패턴 노이즈 감소를 강하게 수행할 수 있다.

평탄성(S)이 적응적 문턱값(T2) 이상이면, 선택된 일부 영역(SA)의 픽셀들은 텍스처가 많은 영역에 위치하는 것으로 판별된다. S370 단계에서, 고정 패턴 노이즈 감소부(127c)는 선택된 일부 영역(SA)에 약한 고정 패턴 노이즈 감소를 수행하여 텍스처의 훼손을 최소화할 수 있다.

도 9를 참조하여 설명된 고정 패턴 노이즈 감소 방법은 기존의 고정 패턴 노이즈 감소 방법에 추가적으로 수행될 수 있다. 예를 들어, 적응적 문턱값(T2)을 추가적으로 고려하여 고정 패턴 노이즈 감소가 수행될 수 있고, 적응적 문턱값(T2)을 고려하여 고정 패턴 노이즈 감소를 수행하는 단계가 추가적으로 제공될 수 있다.

도 10은 본 발명의 제 4 실시 예에 따른 이미지 신호 프로세서(120d)를 보여주는 블록도이다. 도 10을 참조하면, 이미지 신호 프로세서(120d)는 메모리(121d), 배드 픽셀 수정부(123d), 샷 노이즈 감소부(125d), 고정 패턴 노이즈 감소부(127d), 그리고 보간부(129d)를 포함한다. 도 2의 이미지 신호 프로세서(120a)와 비교하면, 보간부(129d)는 적응적 문턱값 계산부(ATCU)를 포함한다. 적응적 문턱값 계산부(ATCU)는 기준 밝기에 수신되는 이미지 신호의 기준 밝기를 계산하고, 기준 밝기에 기반하여 메모리(121a)를 참조하여 변화값을 선택하고, 선택된 변화값을 이용하여 적응적 문턱값을 계산할 수 있다. 보간부(129d)는 적응적 문턱값을 이용하여 보간을 수행하도록 구성된다. 샷 노이즈 감소부(125d)는 도 2 내지 도 5를 참조하여 설명된 바와 같이 샷 노이즈 감소를 수행할 수 있다.

도 11은 본 발명의 실시 예에 따른 보간 방법을 보여주는 순서도이다. 도 4, 도 10 및 도 11을 참조하면, S410 단계에서, 보간부(129d)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 보간부(129d)에 의해 선택되는 일부 영역(SA)의 사이즈는 샷 노이즈 감소부(125d)에 의해 선택되는 일부 영역의 사이즈와 다를 수 있다.

S420 단계에서, 보간부(129d)는 제 4 베이어 이미지 신호(BI4)의 기준 밝기(I)를 계산한다.

S430 단계에서, 보간부(129d)는 메모리(121d)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예시적으로, 보간부(129d)는 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값에 미리 정해진 스케일 팩터(scaling factor)를 연산할 수 있다. 보간부(129d)는 스케일된 변화값을 미리 정해진 기준 문턱값(T1)과 연산하여 적응적 문턱값(T2)을 계산할 수 있다. 보간부(129d)의 기준 문턱값(T1)은 샷 노이즈 감소부(125d)의 기준 문턱값과 다를 수 있다.

S440 단계에서, 보간부(129d)는 보간 방향을 선택한다. 예를 들어, 도 4에 도시된 선택된 일부 영역(SA)에서, 보간부(129d)는 목표 픽셀(G33)을 중심으로 수직 방향, 수평 방향, 좌상에서 우하로의 제 1 대각선 방향, 그리고 우상에서 좌하로의 제 2 대각선 방향 중 하나를 선택할 수 있다.

S450 단계에서, 보간부(129d)는 선택된 보간 방향에서, 목표 픽셀 및 이웃 픽셀들 사이의 밝기의 차이를 계산할 수 있다.

S460 단계에서, 보간부(129d)는 계산된 차이를 적응적 문턱값(T2)과 비교한다.

계산된 차이가 적응적 문턱값(T2)보다 작으면, S470 단계에서, 보간부(129d)는 선택된 보간 방향의 방향성을 수용할 수 있다. 계산된 차이가 적응적 문턱값(T2) 이상이면, S475 단계에서, 보간부(129d)는 선택된 보간 방향의 방향성을 무시할 수 있다.

S480 단계에서, 보간부(129d)는 모든 보간 방향들이 체크되었는지 판별한다. 모든 보간 방향들이 체크되지 않았으면, S485 단계에서, 보간부(129d)는 다음 수정 방향을 선택하고, S450 단계를 다시 수행할 수 있다. 모든 보간 방향들이 체크되었으면, S490 단계에서, 보간부(129d)는 수용된 보간 방향의 특성들(예를 들어, 픽셀들의 밝기의 방향성들)을 이용하여 목표 픽셀을 보간할 수 있다.

도 12는 본 발명의 제 5 실시 예에 따른 이미지 신호 프로세서(120e)를 보여주는 블록도이다. 도 12를 참조하면, 이미지 신호 프로세서(120e)는 메모리(121e), 배드 픽셀 수정부(123e), 샷 노이즈 감소부(125e), 고정 패턴 노이즈 감소부(127e), 보간부(129e), 그리고 샤프닝부(128e)를 포함한다. 도 2의 이미지 신호 프로세서(120a)와 비교하면, 샤프닝부(128e)는 적응적 문턱값 계산부(ATCU)를 포함한다. 적응적 문턱값 계산부(ATCU)는 기준 밝기에 수신되는 이미지 신호의 기준 밝기를 계산하고, 기준 밝기에 기반하여 메모리(121a)를 참조하여 변화값을 선택하고, 선택된 변화값을 이용하여 적응적 문턱값을 계산할 수 있다. 샤프닝부(128e)는 적응적 문턱값을 이용하여 샤프닝을 수행하도록 구성된다. 샷 노이즈 감소부(125e)는 도 2 내지 도 5를 참조하여 설명된 바와 같이 샷 노이즈 감소를 수행할 수 있다.

도 13은 본 발명의 실시 예에 따른 노이즈 감소 방법을 보여주는 순서도이다. 도 4, 도 12 및 도 13을 참조하면, S510 단계에서, 샤프닝부(128e)는 이미지 센서(110)의 픽셀들의 일부 영역(SA)을 선택한다. 샤프닝부(128e)에 의해 선택되는 일부 영역(SA)의 사이즈는 샷 노이즈 감소부(125e)에 의해 선택되는 일부 영역의 사이즈와 다를 수 있다.

S520 단계에서, 샤프닝부(128e)는 보간부(129e)로부터 출력되는 정상 이미지 신호의 기준 밝기(I)를 계산한다.

S530 단계에서, 샤프닝부(128e)는 메모리(121e)에 저장된 룩업 테이블(LUT)을 참조하여 적응적 문턱값(T2)을 계산한다. 예시적으로, 샤프닝부(128e)는 룩업 테이블(LUT)을 참조하여 변화값을 선택하고, 선택된 변화값에 미리 정해진 스케일 팩터(scaling factor)를 연산할 수 있다. 샤프닝부(128e)는 스케일된 변화값을 미리 정해진 기준 문턱값(T1)과 연산하여 적응적 문턱값(T2)을 계산할 수 있다. 샤프닝부(128e)의 기준 문턱값(T1)은 샷 노이즈 감소부(125e)의 기준 문턱값과 다를 수 있다.

S540 단계에서, 샤프닝부(128e)는 선택된 일부 영역(SA)의 평탄성(S)을 계산한다. 예를 들어, 샤프닝부(128e)는 수학식 1에 기재된 방법과 마찬가지로 선택된 일부 영역(SA)의 평탄성(S)을 계산할 수 있다.

S550 단계에서, 샤프닝부(128e)는 계산된 평탄성(S)을 적응적 문턱값(T2)과 비교한다.

평탄성(S)이 적응적 문턱값(T2)보다 작으면, 선택된 일부 영역(SA)의 픽셀들의 밝기는 평탄한 것으로 판별된다. S560 단계에서, 샤프닝부(128e)는 선택된 일부 영역(SA)에 약한 샤프닝 필터를 적용할 수 있다.

평탄성(S)이 적응적 문턱값(T2) 이상이면, 선택된 일부 영역(SA)의 픽셀들의 밝기는 평탄하지 않은 것으로 판별된다. S570 단계에서, 샤프닝부(128e)는 선택된 일부 영역(SA)에 강한 샤프닝 필터를 적용할 수 있다.

도 14는 본 발명의 제 6 실시 예에 따른 이미지 신호 프로세서(120f)를 보여주는 블록도이다. 도 12를 참조하면, 이미지 신호 프로세서(120f)는 메모리(121f), 배드 픽셀 수정부(123f), 샷 노이즈 감소부(125f), 고정 패턴 노이즈 감소부(127f), 보간부(129f), 그리고 샤프닝부(128f)를 포함한다. 도 2, 도 6, 도 8, 도 10, 도 12를 참조하여 설명된 이미지 신호 프로세서들(120a, 120b, 120c, 120d, 120e)과 비교하면, 배드 픽셀 수정부(123f), 샷 노이즈 감소부(125f), 고정 패턴 노이즈 감소부(127f), 보간부(129f), 그리고 샤프닝부(128f) 각각은 적응적 문턱값 계산부(ATCU)를 포함한다.

배드 픽셀 수정부(123f)의 적응적 문턱값 계산부(ACTU)는 메모리(121f)의 룩업 테이블(LUT)을 참조하여 적응적 문턱값을 계산할 수 있다. 배드 픽셀 수정부(123f)는 계산된 적응적 문턱값을 이용하여 배드 픽셀 수정을 수행할 수 있다.

샷 노이즈 감소부(125f)는 도 3 내지 도 5를 참조하여 설명된 방법에 따라 샷 노이즈 감소를 수행할 수 있다.

고정 패턴 노이즈 감소부(127f)의 적응적 문턱값 계산부(ACTU)는 메모리(121f)의 룩업 테이블(LUT)을 참조하여 적응적 문턱값을 계산할 수 있다. 고정 패턴 노이즈 감소부(127f)는 계산된 적응적 문턱값을 이용하여 고정 패턴 노이즈 감소를 수행할 수 있다.

보간부(129f)의 적응적 문턱값 계산부(ACTU)는 메모리(121f)의 룩업 테이블(LUT)을 참조하여 적응적 문턱값을 계산할 수 있다. 보간부(129f)는 계산된 적응적 문턱값을 이용하여 보간을 수행할 수 있다.

샤프닝부(128f)의 적응적 문턱값 계산부(ACTU)는 메모리(121f)의 룩업 테이블(LUT)을 참조하여 적응적 문턱값을 계산할 수 있다. 샤프닝부(128f)는 계산된 적응적 문턱값을 이용하여 샤프닝을 수행할 수 있다.

도 15는 본 발명의 실시 예에 따른 시스템-온-칩(1000), 그리고 시스템-온-칩(1000)과 통신하는 외부 메모리(2000) 및 외부 칩(3000)을 보여주는 블록도이다. 도 15를 참조하면, 시스템-온-칩(1000)은 파워 오프 도메인 블록(1100) 및 파워 온 도메인 블록(1300)을 포함한다.

파워 오프 도메인 블록(1100)은 시스템-온-칩(1000)의 저전력(Low-power)을 구현하기 위하여 파워-다운(Powerdown)되는 블록이다. 파워 온 도메인 블록(1300)은 파워 오프 도메인 블록(1100)이 파워-다운 상태인 동안 파워 오프 도메인 블록(1100)의 기능을 일부 동작하기 위하여 파워-온(Power-on)되는 블록이다.

파워 오프 도메인 블록(1100)은 메인 중앙 처리 장치(1110), 인터럽트 컨트롤러(1130), 메모리 컨트롤러(1120), 제 1 내지 제 n IP (1141~114n, Intellectual Property) 및 시스템 버스(1150)를 포함한다.

메인 중앙 처리 장치(1110)는 메모리 컨트롤러(1120)를 제어하여 외부 메모리(2000)를 억세스한다. 메모리 컨트롤러(1120)는 메인 중앙 처리 장치(1110)의 제어에 응답하여 외부 메모리(2000)에 저장된 데이터를 시스템 버스(1150)에 전송한다.

인터럽트 컨트롤러(1130)는 제 1 내지 제 n IP (1141~114n) 각각에게 인터럽트(즉, 특정 이벤트)가 발생하였을 경우, 이를 메인 중앙 처리 장치(1110)에 알린다. 제 1 내지 제 n IP (1141~114n)는 시스템-온-칩(1000)의 기능(function)에 따라 구체적인 동작들을 수행한다. 제 1 내지 제 n IP (1141~114n)는 각각의 고유한 내부 메모리들(1361~136n)을 액세스한다. 파워 온 도메인 블록(1300)은 제 1 내지 제 n IP (1141~114n) 각각의 고유한 내부 메모리들(1361~136n)을 포함한다.

파워 온 도메인 블록(1300)은 저전력 관리모듈(1310), 웨이크업 IP (1320, Wake-up IP), 킵얼라이브 IP (1330, Keep Alive IP) 및 제 1 내지 제 n IP (1141~114n)의 내부 메모리들(1361~136n)을 포함한다.

저전력 관리모듈(1310)은 웨이크업 IP (1320)로부터 전송된 데이터에 따라 파워-오프 도메인 블록(1100)을 웨이크업(Wake-up)할 지를 결정한다. 외부의 입력을 기다리는 대기 상태인 동안 오프되는 파워-오프 도메인 블록(1100)의 전력은 오프될 수 있다. 웨이크업은 파워 오프된 시스템-온-칩(1000)에 외부로부터 데이터가 입력되는 경우 전력을 다시 인가하는 동작이다. 즉, 웨이크업은 대기 상태인 시스템-온-칩(1000)을 다시 동작 상태(즉, 파워-온 상태)로 만드는 동작이다.

웨이크업 IP (1320)는 파이(1330, PHY) 및 링크(1340, LINK)를 포함한다. 웨이크업 IP (1320)는 저전력 관리모듈(1310)과 외부 칩(3000) 사이에 인터페이스 역할을 수행한다. 파이(1330)는 외부 칩(3000)과 실제로 데이터를 주고 받고, 링크(1340)는 파이(1330)에서 실제로 주고 받은 데이터를 미리 설정된 프로토콜에 따라 저전력 관리모듈(1310)과 송수신한다.

킵얼라이브 IP (1350)는 웨이크업 IP (1320)의 웨이크업 동작을 판별하여 파워-오프 도메인 블록(1100)의 전력을 활성화하거나 바활성화한다.

저전력 관리 모듈(1310)은 제 1 내지 제 n IP (1141~114n) 중 적어도 하나의 IP로부터 데이터를 수신한다. 데이터가 가공(Processing)되지 않고 단순히 전달만 되는 경우, 저전력 관리 모듈(1310)은 메인 중앙 처리 장치(1110)를 대신하여, 수신된 데이터를 해당 IP의 내부 메모리에 저장한다.

제 1 내지 제 n IP (1141~114n)의 내부 메모리들(1361~136n)는 파워-온 모드에서는 각각의 해당 IP들에 의하여 액세스되고, 파워-오프 모드에서는 저전력 관리 모듈(1310)에 의하여 액세스된다.

제 1 내지 제 n IP (1141~114n) 중 적어도 하나의 IP는 본 발명의 실시 예들에 따른 이미지 신호 프로세서(120a, 120b, 120c, 120d 또는 120e)에 대응할 수 있다. 제 1 내지 제 n IP (1141~114n)는 후속 프로세서(130)를 포함할 수 있다. 제 1 내지 제 n IP (1141~114n)는 그래픽 프로세서(GPU, Graphic Processing Unit), 모뎀(Modem), 사운드 제어기, 보안 모듈 등을 포함할 수 있다.

시스템-온-칩(1000)은 어플리케이션 프로세서(AP, Application Processor)를 형성할 수 있다.

도 16은 본 발명의 실시 예에 따른 멀티미디어 장치(4000)를 보여주는 블록도이다. 도 16을 참조하면, 멀티미디어 장치(4000)는 어플리케이션 프로세서(4100, Application Processor), 휘발성 메모리(4200), 불휘발성 메모리(4300), 하나 또는 그 이상의 입출력 제어기(4400), 하나 또는 그 이상의 입출력 장치(4500), 그리고 버스(4600)를 포함한다.

어플리케이션 프로세서(4100)는 멀티미디어 장치(4000)의 제반 동작을 제어하도록 구성된다. 어플리케이션 프로세서(4100)는 하나의 시스템-온-칩(SoC, System-on-Chip)으로 형성될 수 있다. 어플리케이션 프로세서(4100)는 도 14를 참조하여 설명된 시스템-온-칩(1000)을 포함할 수 있다. 어플리케이션 프로세서(4100)는 본 발명의 실시 예들에 따른 이미지 신호 프로세서들(120a, 120b, 120c, 120d 및 120e 중 적어도 하나) 또는 그들 중 적어도 두 개가 조합된 이미지 신호 프로세서를 포함할 수 있다. 어플리케이션 프로세서(4100)는 그래픽 프로세서(GPU, Graphic Processing Unit), 사운드 제어기, 보안 모듈 등을 더 포함할 수 있다. 어플리케이션 프로세서(4100)는 모뎀(Modem)을 더 포함할 수 있다.

휘발성 메모리(4200)는 멀티미디어 장치(4000)의 동작 메모리일 수 있다. 휘발성 메모리(4200)는 DRAM (Dynamic Random Access Memory) 또는 SRAM (Static Random Access Memory)를 포함할 수 있다.

불휘발성 메모리(4300)는 멀티미디어 장치(4000)의 주 저장소일 수 있다. 불휘발성 메모리(4300)는 플래시 메모리, 하드 디스크 드라이브, 솔리드 스테이트 드라이브 등과 같은 불휘발성 저장 장치를 포함할 수 있다.

하나 또는 그 이상의 입출력 제어기들(4400)는 하나 또는 그 이상의 입출력 장치들(4500)을 제어하도록 구성된다.

하나 또는 그 이상의 입출력 장치들(4500)은 외부로부터 신호를 수신하는 다양한 장치들을 포함할 수 있다. 하나 또는 그 이상의 입출력 장치들(4500)은 키보드, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 이미지 센서를 포함하는 카메라, 마이크, 자이로스코프 센서, 진동 센서, 유선 입력을 위한 데이터 포트, 무선 입력을 위한 안테나 등을 포함할 수 있다.

하나 또는 그 이상의 입출력 장치들(4500)은 외부로 신호를 출력하는 다양한 장치들을 포함할 수 있다. 하나 또는 그 이상의 입출력 장치들(4500)은 LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diode) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치, LED, 스피커, 모터, 유선 출력을 위한 데이터 포트, 무선 출력을 위한 안테나 등을 포함할 수 있다.

멀티미디어 장치(4000)는 목표의 이미지를 획득하고, 획득한 이미지에 기반하여 컬럼 단위의 적분 연산을 수행할 수 있다. 멀티미디어 장치(4000)는 다양한 피처들을 이용하여 목표를 추적하고, 목표의 포즈, 기분, 분위기 등을 추적할 수 있다.

멀티미디어 장치(4000)는 스마트폰, 스마트 패드, 디지털 카메라, 디지털 캠코더, 노트북 컴퓨터 등과 같은 모바일 멀티미디어 장치, 또는 스마트 텔레비전, 데스크톱 컴퓨터 등과 같은 고정식 멀티미디어 장치를 포함할 수 있다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 자명하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100; 이미지 촬영 장치
110; 이미지 센서
120a, 120b, 120c, 120d, 120e; 이미지 신호 프로세서
130; 후속 프로세서 140; 인터페이스
150; 표시부 160; 저장부
121a, 121b, 121c, 121d, 121e; 메모리
123a, 123b, 123c, 123d, 123e; 배드 픽셀 수정부
125a, 125b, 125c, 125d, 125e; 샷 노이즈 감소부
127a, 127b, 127c, 127d, 127e; 노이즈 감소부
129a, 129b, 129c, 129d, 129e; 보간부

Claims

이미지 센서로부터 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성되는 이미지 신호 프로세서에 있어서:
베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호의 제1 기준 밝기를 계산하고, 상기 계산된 제1 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제1 변화값을 선택하고, 상기 선택된 제1 변화값에 기반하여 상기 수신된 제1 베이어 이미지 신호에 대해 배드 픽셀 수정을 수행하고, 상기 배드 픽셀 수정이 수행된 상기 제1 베이어 이미지 신호를 제2 베이어 이미지 신호로 출력하도록 구성되는 배드 픽셀 수정부;
상기 배드 픽셀 수정부로부터 상기 제2 베이어 이미지 신호를 수신하고, 상기 수신된 제2 베이어 이미지 신호의 제2 기준 밝기를 계산하고, 상기 계산된 제2 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제2 변화값을 선택하고, 상기 선택된 제2 변화값에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함하고,
상기 배드 픽셀 수정부는,
미리 정해진 기준 문턱값 및 상기 선택된 제1 변화값을 연산하여 적응적 문턱값을 계산하고,
목표 픽셀의 밝기와 상기 제1 기준 밝기 사이의 차이를 계산하고,
상기 계산된 차이 및 상기 적응적 문턱값을 비교하고, 그리고
상기 계산된 차이가 상기 적응적 문턱값보다 작을 때 상기 목표 픽셀을 정상 픽셀로 판별하고, 상기 계산된 차이가 상기 적응적 문턱값 이상일 때 상기 목표 픽셀을 배드 픽셀로 판별하여 배드 픽셀 수정을 수행하도록 구성되는 이미지 신호 프로세서.
제 1 항에 있어서,
상기 샷 노이즈 감소부는,
미리 정해진 기준 문턱값 및 상기 선택된 제2 변화값을 연산하여 적응적 문턱값을 계산하고, 그리고
상기 계산된 적응적 문턱값에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈를 감소하도록 구성되는 이미지 신호 프로세서.
제 2 항에 있어서,
상기 샷 노이즈 감소부는,
상기 수신된 제2 베이어 이미지 신호의 평탄성을 계산하고,
상기 계산된 평탄성 및 상기 적응적 문턱값을 비교하고, 그리고
상기 비교 결과에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈를 감소하도록 구성되는 이미지 신호 프로세서.
제 3 항에 있어서,
상기 샷 노이즈 감소부는,
상기 계산된 평탄성이 상기 적응적 문턱값보다 작을 때 상기 수신된 제2 베이어 이미지 신호에 강한 저대역 통과 필터를 적용하고, 상기 계산된 평탄성이 상기 적응적 문턱값 이상일 때 상기 수신된 제2 베이어 이미지 신호에 약한 저대역 통과 필터를 적용하도록 구성되는 이미지 신호 프로세서.
제 1 항에 있어서,
상기 샷 노이즈 감소부로부터 상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호를 수신하고, 상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호에 대해 고정 패턴 노이즈 감소를 수행하고, 상기 고정 패턴 노이즈 감소가 수행된 상기 제2 베이어 이미지 신호를 상기 보간부로 출력하도록 구성되는 고정 패턴 노이즈 감소부를 더 포함하고,
상기 고정 패턴 노이즈 감소부는,
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호의 제3 기준 밝기를 계산하고,
상기 계산된 제3 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제3 변화값을 선택하고, 그리고
상기 선택된 제3 변화값에 기반하여 상기 고정 패턴 노이즈 감소를 수행하도록 구성되는 이미지 신호 프로세서.
제 1 항에 있어서,
상기 보간부는,
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호의 제3 기준 밝기를 계산하고,
상기 계산된 제3 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제3 변화값을 선택하고, 그리고
상기 선택된 제3 변화값에 기반하여 상기 보간을 수행하도록 구성되는 이미지 신호 프로세서.
이미지 센서로부터 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성되는 이미지 신호 프로세서에 있어서:
베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호의 제1 기준 밝기를 계산하고, 상기 계산된 제1 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제1 변화값을 선택하고, 상기 선택된 제1 변화값에 기반하여 상기 수신된 제1 베이어 이미지 신호에 대해 배드 픽셀 수정을 수행하고, 상기 배드 픽셀 수정이 수행된 상기 제1 베이어 이미지 신호를 제2 베이어 이미지 신호로 출력하도록 구성되는 배드 픽셀 수정부;
상기 배드 픽셀 수정부로부터 상기 제2 베이어 이미지 신호를 수신하고, 상기 수신된 제2 베이어 이미지 신호의 제2 기준 밝기를 계산하고, 상기 계산된 제2 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제2 변화값을 선택하고, 상기 선택된 제2 변화값에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함하고,
상기 배드 픽셀 수정부는,
미리 정해진 기준 문턱값 및 상기 선택된 제1 변화값을 연산하여 적응적 문턱값을 계산하고, 배드 픽셀의 주변 픽셀들의 복수의 방향들에 따른 밝기 분포들을 각각 계산하고, 상기 계산된 밝기 분포들과 상기 적응적 문턱값을 비교하고, 상기 비교 결과에 따라 상기 주변 픽셀들 중 상기 배드 픽셀을 수정하기 위한 밝기 분포들을 선택하고, 상기 선택된 밝기 분포들을 사용하여 상기 배드 픽셀을 수정하도록 구성되는 이미지 신호 프로세서.
대상을 촬영하여 제1 베이어(Bayer) 이미지 신호를 출력하도록 구성되는 이미지 센서;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성되는 이미지 신호 프로세서; 그리고
상기 이미지 신호 처리기로부터 상기 정상 이미지 신호를 수신하여 이미지 보정을 수행하도록 구성되는 후속 프로세서를 포함하고,
상기 이미지 신호 프로세서는,
베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호의 제1 기준 밝기를 계산하고, 상기 계산된 제1 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제1 변화값을 선택하고, 상기 선택된 제1 변화값에 기반하여 상기 수신된 제1 베이어 이미지 신호에 대해 배드 픽셀 수정을 수행하고, 상기 배드 픽셀 수정이 수행된 상기 제1 베이어 이미지 신호를 제2 베이어 이미지 신호로 출력하도록 구성되는 배드 픽셀 수정부;
상기 배드 픽셀 수정부로부터 상기 제2 베이어 이미지 신호를 수신하고, 상기 수신된 제2 베이어 이미지 신호의 제2 기준 밝기를 계산하고, 상기 계산된 제2 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제2 변화값을 선택하고, 상기 선택된 제2 변화값에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함하고,
상기 배드 픽셀 수정부는,
미리 정해진 기준 문턱값 및 상기 선택된 제1 변화값을 연산하여 적응적 문턱값을 계산하고,
목표 픽셀의 밝기와 상기 제1 기준 밝기 사이의 차이를 계산하고,
상기 계산된 차이 및 상기 적응적 문턱값을 비교하고, 그리고
상기 계산된 차이가 상기 적응적 문턱값보다 작을 때 상기 목표 픽셀을 정상 픽셀로 판별하고, 상기 계산된 차이가 상기 적응적 문턱값 이상일 때 상기 목표 픽셀을 배드 픽셀로 판별하여 배드 픽셀 수정을 수행하도록 구성되는 모바일 장치.
삭제
대상을 촬영하여 제1 베이어(Bayer) 이미지 신호를 출력하도록 구성되는 이미지 센서;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호를 정상 이미지 신호로 변환하여 출력하도록 구성되는 이미지 신호 프로세서; 그리고
상기 이미지 신호 처리기로부터 상기 정상 이미지 신호를 수신하여 이미지 보정을 수행하도록 구성되는 후속 프로세서를 포함하고,
상기 이미지 신호 프로세서는,
베이어 이미지 신호의 기준 밝기들 및 상기 기준 밝기들에 따른 변화값들을 포함하는 테이블을 저장하도록 구성되는 메모리;
상기 이미지 센서로부터 상기 제1 베이어 이미지 신호를 수신하고, 상기 수신된 제1 베이어 이미지 신호의 제1 기준 밝기를 계산하고, 상기 계산된 제1 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제1 변화값을 선택하고, 상기 선택된 제1 변화값에 기반하여 상기 수신된 제1 베이어 이미지 신호에 대해 배드 픽셀 수정을 수행하고, 상기 배드 픽셀 수정이 수행된 상기 제1 베이어 이미지 신호를 제2 베이어 이미지 신호로 출력하도록 구성되는 배드 픽셀 수정부;
상기 배드 픽셀 수정부로부터 상기 제2 베이어 이미지 신호를 수신하고, 상기 수신된 제2 베이어 이미지 신호의 제2 기준 밝기를 계산하고, 상기 계산된 제2 기준 밝기에 따라 상기 메모리에 저장된 상기 테이블로부터 제2 변화값을 선택하고, 상기 선택된 제2 변화값에 기반하여 상기 수신된 제2 베이어 이미지 신호의 샷 노이즈(shot noise)를 감소하도록 구성되는 샷 노이즈 감소부; 그리고
상기 샷 노이즈가 감소된 상기 제2 베이어 이미지 신호에 기반하여 보간(interpolation)을 수행하여 상기 정상 이미지 신호를 생성하도록 구성되는 보간부를 포함하고,
상기 배드 픽셀 수정부는,
미리 정해진 기준 문턱값 및 상기 선택된 제1 변화값을 연산하여 적응적 문턱값을 계산하고, 배드 픽셀의 주변 픽셀들의 복수의 방향들에 따른 밝기 분포들을 각각 계산하고, 상기 계산된 밝기 분포들과 상기 적응적 문턱값을 비교하고, 상기 비교 결과에 따라 상기 주변 픽셀들 중 상기 배드 픽셀을 수정하기 위한 밝기 분포들을 선택하고, 상기 선택된 밝기 분포들을 사용하여 상기 배드 픽셀을 수정하도록 구성되는 모바일 장치.