KR100853025B1 - 결함 픽셀 보정 방법 및 그 장치 - Google Patents

결함 픽셀 보정 방법 및 그 장치 Download PDF

Info

Publication number
KR100853025B1
KR100853025B1 KR1020060120842A KR20060120842A KR100853025B1 KR 100853025 B1 KR100853025 B1 KR 100853025B1 KR 1020060120842 A KR1020060120842 A KR 1020060120842A KR 20060120842 A KR20060120842 A KR 20060120842A KR 100853025 B1 KR100853025 B1 KR 100853025B1
Authority
KR
South Korea
Prior art keywords
defective pixel
pixel
defective
position information
type information
Prior art date
Application number
KR1020060120842A
Other languages
English (en)
Other versions
KR20080050059A (ko
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060120842A priority Critical patent/KR100853025B1/ko
Publication of KR20080050059A publication Critical patent/KR20080050059A/ko
Application granted granted Critical
Publication of KR100853025B1 publication Critical patent/KR100853025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 결함 픽셀 보정 방법 및 그 장치에 관한 것이다. 본 발명의 일 실시예에 따르면, 이미지 센서로부터 픽셀 어레이에 상응하는 픽셀 데이터와 상기 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 각각 입력받고, 상기 입력된 결함 픽셀 위치 정보를 이용하여 상기 결함 픽셀을 보정하는 이미지 프로세서가 제공될 수 있다. 따라서, 본 발명에 의해, 이미지 프로세서가 결함 픽셀 검출을 위한 동작 수행 없이도 결함 픽셀에 대한 정확한 보정을 수행할 수 있다.
이미지 처리 장치, ISP, image signal processor

Description

결함 픽셀 보정 방법 및 그 장치{Method and apparatus for correcting of defective pixel}
도 1은 일반적인 픽셀 어레이의 결함 픽셀의 위치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록도.
도 3은 본 발명의 일 실시예에 따른 이미지 센서의 내부 기능 블록도.
도 4는 본 발명의 일 실시예에 따른 이미지 프로세서의 내부 기능 블록도.
도 5는 본 발명의 일 실시예에 따른 이미지 프로세서가 결함 픽셀을 보정하는 방법을 나타낸 순서도.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 결함 픽셀 유형 정보를 예시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
210 : 이미지 센서
220 : 이미지 프로세서
410 : 어드레스 저장부
420 : 결함 픽셀 보정부
430 : 제어부
본 발명은 이미지 처리 장치에 관한 것으로, 특히 결함 픽셀의 위치 어드레스를 이용하여 결함 픽셀을 용이하게 보정할 수 있도록 하는 방법 및 장치에 관한 것이다.
디지털 카메라는 피사체의 빛 신호를 디지털 신호로 변환하여 처리하는데, 이를 위해 가장 필요한 것 중 하나가 이미지 센서이며, 현재 이미지 센서는 복수의
단위 픽셀을 포함하는 CCD(Charged Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor)가 주로 사용되고 있다.
CCD 및 CMOS는 포토 다이오드와 같은 광전 변환 수단을 통해 각 픽셀에서 피사체로부터 입사된 광을 전기적인 신호(전하)로 축적하고, 이를 디지털 신호로 변환 출력하는 방식으로 이미지를 캡쳐하게 되는데, 이미지 센서의 제조 과정에서 이물질 및 그밖에 제조 공정상의 불안정 요인으로 인해 특정 픽셀에 결함이 존재할 수 있으며, 결함 픽셀에 의해 고정 패턴 노이즈가 발생할 수 있다.
결함 픽셀의 유형은 스턱 하이(Stuck High), 스턱 로우(Stuck Low) 및 비정상 응답(Abnormal Response)과 같이 3가지 유형이 존재할 수 있는데, 이중 스턱 하이 결함 픽셀은 특정 조도에 대해 항상 높은 휘도 값을 나타내는 픽셀로서, 스턱 하이 결함 픽셀에 의한 노이즈를 화이트 노이즈라고 한다.
예를 들어, 픽셀의 휘도값이 0에서 255 범위 내에 있을 경우, 정상적인 기능 픽셀에 의해 캡쳐되었다면 그 휘도값이 25인 경우, 스턱 하이 결함 픽셀은 항상 높은 휘도값, 예를 들어, 255 값을 나타내게 된다.
한편, 스턱 로우 결함 픽셀은 특정 조도에서 항상 낮은 휘도값을 나타내는 픽셀로서, 스턱 로우 결함 픽셀에 의한 노이즈를 블랙 노이즈라고 한다.
예를 들어, 상기한 픽셀의 휘도 값 범위 내에서, 정상적인 기능 픽셀에 의해 100 또는 200의 휘도 값을 나타내는 경우라고 하더라도, 스턱 로우 결함 픽셀을 5 정도의 낮은 휘도 값을 출력하게 된다.
다른 한편, 비정상적 응답 픽셀은 정상적인 픽셀에 비해 상대적인 변화값을 나타내는 픽셀로서, 예를 들어, A의 휘도값을 나타내는 것이 정상적인 경우에, 비정상적 응답 픽셀은 A가 아닌 1.25ⅹA만큼의 값으로 응답하게 된다.
상기한 바와 같이, 이미지 센서의 제조 과정에서 다양한 유형의 결함 픽셀이 존재할 수 있기 때문에 일반적으로 이미지 처리 장치는 결함 픽셀을 검출하여 이를 적절히 보정하는 과정을 수행한다.
도 1과 같이 픽셀 어레이 상에 결함 픽셀이 존재하는 경우, 종래에는 이미지 센서에서 입력되는 데이터를 이용하여 이미지 프로세서가 결함 픽셀을 검출하여 해당 결함 픽셀의 위치 정보를 메모리에 기록한 후 결함 픽셀에 대해 보정을 수행하였다.
이와 같이 이미지 프로세서에서 결함 픽셀을 검출하기 위해서는 별도로 조도 와 배경 이미지 등을 이용하여 결함 픽셀을 검출하기 위한 테스트 환경을 구비하여야 하고, 이미지 센서를 제어해야만 하는 문제점이 있었다.
또한, 이미지 프로세서가 별도로 결함 픽셀을 검출하기 위한 별도의 동작을 수행하여야 하기 때문에 제품 생산 과정이 복잡해지는 문제점이 있었다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은 이미지 프로세서가 이미지 센서로부터 픽셀 어레이의 결함 픽셀에 상응하는 위치 정보를 입력받아 결함 픽셀에 대한 보정을 수행할 수 있는 결함 픽셀 보정 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적은 이미지 프로세서가 이미지 센서의 픽셀 어레이의 결함 픽셀을 검출하기 위한 별도의 동작을 수행하지 않음으로 인해 제품 양산성을 향상시킬 수 있는 결함 픽셀 보정 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 이미지 프로세서가 결함 픽셀 검출을 위한 동작 수행 없이도 결함 픽셀에 대한 정확한 보정을 수행할 수 있는 결함 픽셀 보정 방법 및 그 장치를 제공하는 것이다.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 이미지 센서로부터 픽셀 어레이의 결함 픽셀에 상응하는 위치 정보를 입력받아 결함 픽셀을 보정할 수 있는 이미지 프로세서 및 이미지 처리 장치가 제공된다.
본 발명의 일 실시예에 따르면, 이미지 센서로부터 픽셀 어레이에 상응하는 픽셀 데이터와 상기 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 각각 입력받고, 상기 입력된 결함 픽셀 위치 정보를 이용하여 상기 결함 픽셀을 보정하는 이미지 프로세서가 제공될 수 있다.
상기 이미지 센서와 제1 버스를 통해 상기 결함 픽셀 위치 정보를 입력받고, 제2 버스를 통해 상기 픽셀 데이터를 입력받을 수 있다.
상기 결함 픽셀 위치 정보를 분석하여 결함 픽셀 유형 정보를 생성하는 어드레스 저장부; 및 상기 결함 픽셀 유형 정보에 따라 미리 정해진 보정 알고리즘을 이용하여 상기 결함 픽셀을 보정하는 결함 픽셀 보정부를 포함할 수 있다.
상기 어드레스 저장부는 상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 정해진 크기의 픽셀 블록을 설정하여 상기 픽셀 블록내에 하나 이상의 다른 결함 픽셀이 존재하면 상기 결함 픽셀 유형 정보를 클러스터 단위로 설정할 수 있다.
상기 어드레스 저장부는 상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 정해진 크기의 픽셀 블록을 설정하여 상기 픽셀 블록내에 다른 결함 픽셀이 존재하지 않은 경우 상기 결함 픽셀의 유형 정보를 싱글 단위로 설정할 수 있 다.
상기 결함 픽셀의 유형 정보가 싱글 단위이면, 상기 결함 픽셀 보정부는 결함 픽셀에 인접한 정해진 픽셀 블록내의 픽셀들의 차이값 또는 평균값을 이용하여 상기 결함 픽셀을 보정할 수 있다.
상기 결함 픽셀의 유형 정보가 클러스터(cluster) 단위이면, 상기 결함 픽셀 보정부는 상기 클러스터 단위에 상응하는 결함 픽셀 영역내의 픽셀들의 평균값 또는 중간값을 산출하여 상기 결함 픽셀을 보정할 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 단위 픽셀이 배치된 픽셀 어레이의 결함 픽셀에 상응하여 저장된 결함 픽셀 위치 정보와 상기 픽셀 어레이에 상응하는 픽셀 데이터를 출력하는 이미지 센서; 및 상기 결함 픽셀 위치 정보를 이용하여 상기 픽셀 데이터의 결함 픽셀을 보정하는 이미지 프로세서를 포함하는 이미지 처리 장치가 제공될 수 있다.
상기 이미지 프로세서는, 상기 결함 픽셀 위치 정보를 분석하여 결함 픽셀 유형 정보를 생성하는 어드레스 저장부; 및 상기 결함 픽셀 유형 정보에 따라 미리 정해진 보정 알고리즘을 이용하여 상기 결함 픽셀을 보정하는 결함 픽셀 보정부를 포함할 수 있다.
상기 이미지 프로세서는 제1 버스를 통해 상기 결함 픽셀 위치 정보를 입력받고, 제2 버스를 통해 상기 픽셀 데이터를 입력받을 수 있다.
상기 제1 버스는 I2C(inter-integrated circuit bus) 또는 SPI(serial peripheral interface) 중 어느 하나일 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센서와 연결된 이미지 프로세서가 결함 픽셀을 보정하는 방법이 제공된다.
본 발명의 일 실시예에 따르면, 이미지 센서와 연결된 이미지 프로세서가 결함 픽셀을 보정하는 방법에 있어서, 상기 이미지 센서로부터 픽셀 어레이에 상응하는 픽셀 데이터와 상기 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 입력받는 단계; 상기 입력된 결함 픽셀 위치 정보를 이용하여 결함 픽셀 유형 정보를 생성하는 단계; 및 상기 결함 픽셀 유형 정보에 따라 미리 정해진 보정 알고리즘을 이용하여 상기 결함 픽셀을 보정하는 단계를 포함하되, 상기 결함 픽셀 유형 정보는 싱글 단위 또는 클러스터 단위 중 어느 하나인 것을 특징으로 하는 결함 픽셀 보정 방법이 제공될 수 있다.
상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 어드레스에 인접한 X축 또는 Y축 방향으로 하나 이상의 어드레스가 더 존재하는 경우 클러스터 단위로의 유형 정보를 포함하는 결함 픽셀 유형 정보를 생성하는 단계; 및 상기 결함 픽셀의 유형 정보가 상기 클러스터 단위이면, 상기 결함 픽셀의 유형 정보가 상기 클러스터 단위이면, 상기 클러스터 단위에 상응하는 결함 픽셀 영역내의 픽셀들의 평균값 또는 중간값을 산출하여 상기 결함 픽셀을 보정하는 단계를 더 포함할 수 있다.
상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 어드레스에 인접한 X축 또는 Y축 방향으로 어드레스가 존재하지 않은 경우 싱글 단위로의 유형 정보를 포함하는 결함 픽셀 유형 정보를 생성하는 단계; 및 상기 결함 픽셀의 유형 정보가 상기 싱글 단위이면, 결함 픽셀에 인접한 미리 정해진 크기의 픽셀 블록내의 픽셀들간의 차이값을 이용하여 상기 결함 픽셀을 보정하는 단계를 더 포함할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록도이며, 도 3은 본 발명의 일 실시예에 따른 이미지 센서의 내부 기능 블록도이며, 도 4는 본 발명의 일 실시예에 따른 이미지 프로세서의 내부 기능 블록도이고, 도 6a 및 도 6b는 본 발명의 일 실시예에 따른 결함 픽셀 유형 정보를 예시한 도면이다. 이하에서는 이미지 센서(210)가 이미지 센서(210) 제조 시점에 제조업체에서 수행하는 수율 검사시에 픽셀 어레이의 결함 픽셀에 대한 위치 정보를 메모리에 저장하고 있는 상태에서 이미지 센서(210)가 이미지 프로세서(220)로 픽셀 데이터를 출력할 때 저장된 결함 픽셀 위치 정보를 함께 출력하는 것을 가정하며, 이미지 프로세서(220)는 이미지 센서(210)로부터 입력된 결함 픽셀 위치 정보를 이용하여 결함 픽셀에 대해 보정을 수행하는 것에 대해 설명하기로 한다.
도 2에서 보여지는 바와 같이, 본 발명에 따른 이미지 처리 장치(200)는 이미지 센서(210) 및 이미지 프로세서(220)를 포함하여 구성된다.
이미지 센서(210)는 픽셀 어레이에 상응하는 픽셀 데이터와 픽셀 어레이의 결함 픽셀을 검출하여 해당 결함 픽셀의 위치 정보를 메모리(미도시)에 저장한 후 피사체에 상응하는 픽셀 데이터를 이미지 프로세서(220)로 출력할때마다 메모리에 저장된 결함 픽셀의 위치 정보를 함께 이미지 프로세서(220)로 출력할 수 있다.
이미지 센서(210)는 CCD 또는 CMOS 센서와 같이 복수의 단위 픽셀이 행(row) 또는 열(column)을 따라 배치된 픽셀 어레이를 포함하며, 각 단위 픽셀은 피사체의 광 신호를 전기적인 신호로 변환하여 출력하는 광전 변환 소자(예를 들어, 포토 다이오드)를 포함한다.
이미지 센서(210)는 이미지 센서(210)의 제조 과정에서 존재하는 다양한 유형의 검출된 결함 픽셀에 상응하는 위치 정보(이하에서는 "결함 픽셀 위치 정보"라 칭하기로 함)를 비휘발성 메모리(미도시)에 저장하고 있다. 그리고, 이미지 센 서(210)는 해당 결함 픽셀 위치 정보를 IS(image sensor)-IP(image processor) 버스(225)를 통해 이미지 프로세서(220)로 전송할 수 있다. 여기서, IS-IP 버스(225)는 I2C(inter-integrated circuit bus) 또는 SPI(serial peripheral interface)일 수 있다. 또한, 이미지 센서(210)는 피사체의 광 신호를 변환한 신호(이하에서는 이해와 설명의 편의를 위해 "픽셀 데이터"라 칭하기로 함)를 이미지 프로세서(220)로 전송할 수 있다.
도 3을 참조하면, 이미지 센서(210)는 픽셀 어레이(310), 구동 회로(315), 타이밍 제너레이터(320), 게인부(325), 클램핑부(330), ADC(335) 및 결함 픽셀 정보 출력부(340)를 포함하여 구성된다.
픽셀 어레이(310)는 광전 변환 기능을 갖는 포토 다이오드를 포함하는 단위 픽셀이 복수개 배치되는 것으로, VGA의 경우 33만 픽셀(640ㅧ480), SVGA인 경우 130만 픽셀(1280ㅧ1024)을 포함할 수 있다.
픽셀 어레이(310)는 구동 회로(315)에서 출력하는 펄스를 통해 픽셀 데이터를 순차적으로 출력하는데 여기서 구동 회로(315)는 타이밍 제너레이터(320)가 출력하는 펄스에 따라 픽셀 구동 펄스를 픽셀 어레이(310)로 인입할 수 있다.
구동 회로(315)는 픽셀 어레이(310)의 로우(row) 어드레스를 지정하는 로우 디코더와 지정된 로우 어드레스 중에서 특정 칼럼(column) 어드레스를 지정하는 칼럼 디코더를 포함할 수 있으며, 이를 통해 소정의 노출 시간 동안 각 단위 픽셀에 축적된 픽셀 데이터가 픽셀 라인 순으로(예를 들어, 로우 라인 또는 칼럼 라인 순으로) 순차적으로 출력되도록 할 수 있다.
게인부(325)는 출력된 픽셀 데이터를 미리 정해진 소정의 값 이상으로 증폭하는 기능을 수행하며, 클램핑부(330)는 출력 신호에 의해 회로가 불안정하게 작동되지 않도록 출력 신호의 크기를 제안하는 기능을 수행한다.
게인부(325) 및 클램핑부(330)를 통해 출력된 픽셀 데이터는 ADC(335)를 통해 아날로그 신호에서 디지털 신호로 변환되고, 이와 같이 변환된 디지털 신호가 이미지 프로세서(220)로 출력된다. 본 명세서에서는 이해와 설명의 편의를 위해 ADC(335)를 통해 출력된 디지털 신호를 "픽셀 데이터"로 통칭하기로 한다.
결함 픽셀 정보 출력부(340)는 이미지 센서(210)가 피사체를 촬상하여 상응하는 픽셀 데이터를 출력하는 시점마다 이미지 센서(210)의 내부 메모리(미도시)에 기저장된 결함 픽셀 위치 정보를 독출하여 이미지 프로세서(220)로 출력하는 기능을 수행한다.
이미지 센서(210)는 이미지 센서(210)의 제조 이후 이미지 센서(210)의 수율 검사시에 픽셀 어레이에 상응하는 결함 픽셀을 테스트하는 별개의 장치인 결함 픽셀 검출부(미도시)로부터 해당 결함 픽셀 위치 정보를 입력받아 내부 메모리에 저장하고 있을 수 있다.
따라서, 결함 픽셀 정보 출력부(340)는 이미지 센서(210)가 피사체에 상응하는 픽셀 데이터를 출력하는 시점마다 내부 메모리에서 저장된 결함 픽셀 위치 정보를 독출하여 이미지 프로세서(220)로 출력할 수 있다.
본 명세서에서는 이미지 센서(210)가 픽셀 어레이에 상응하는 결함 픽셀에 대한 결함 픽셀 위치 정보를 픽셀 데이터를 출력하는 시점마다 이미지 프로세 서(220)로 출력하는 것을 중점으로 설명하나, 이미지 센서(210)는 이미지 센서(210)의 사용으로 인해 픽셀 어레이에 상응하여 발생되는 결함 픽셀을 검출할 수 있는 별도의 검출부(미도시)를 내부에 포함할 수도 있음은 당연하다.
물론, 이와 같이 이미지 센서(210)의 내부에 픽셀 어레이에 상응하는 결함 픽셀을 검출하는 검출부를 포함하는 경우, 해당 검출부에 의해 검출된 결함 픽셀에 상응하는 위치 정보를 내부 메모리에 저장할 수 있으며, 저장된 위치 정보를 픽셀 데이터를 출력하는 시점마다 함께 출력하도록 할 수도 있음은 당연하다.
이하, 본 명세서에서 결함이 있는 픽셀을 "결함 픽셀"로 통칭하기로 한다. 즉, 결함 픽셀은 이미지 센서(210)의 제조 과정에서 생성되어 결함이 존재하는 픽셀 일 수도 있으며, 이후 사용 과정에서 결함이 발생된 픽셀일 수도 있다.
이미지 센서(210)의 결함 픽셀 검출 방법은 이미지 센서를 제조하는 제조사마다 다양하며 또한 결함 픽셀 검출 방법은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
상술한 바와 같이, 이미지 센서(210)는 픽셀 어레이에 상응하는 픽셀 데이터와 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 이미지 프로세서(220)로 출력할 수 있다.
이미지 프로세서(220)는 IS-IP 버스(225)를 통해 이미지 센서(210)로부터 결함 픽셀 위치 정보를 입력받고, 데이터 버스로부터 픽셀 데이터를 입력받으며, 이미지 센서(210)로부터 입력된 결함 픽셀 위치 정보를 이용하여 입력된 픽셀 데이터에 대한 보정을 수행하는 기능을 수행한다.
도 3을 참조하면, 본 발명에 따른 이미지 프로세서(220)는 어드레스 저장부(410), 결함 픽셀 보정부(420) 및 제어부(430)를 포함하여 구성된다.
어드레스 저장부(410)는 IS-IP 버스(225)를 통해 이미지 센서(210)로부터 입력된 결함 픽셀 위치 정보를 저장하고, 저장된 결함 픽셀 위치 정보를 이용하여 결함 픽셀 존재 여부에 따른 신호(이하에서는 이해와 설명의 편의를 위해 "결함 픽셀 유형 정보"라 칭하기로 함)를 생성하여 결함 픽셀 보정부(420)로 출력한다. 여기서, 결함 픽셀 유형 정보는 싱글 단위 또는 클러스터 단위 중 어느 하나일 수 있다.
본 명세서에서 "싱글 단위"는 결함 픽셀에 상응하는 어드레스의 인접한 X축 또는 Y축 방향으로 결함 픽셀에 상응하는 어드레스가 존재하지 않는 것으로 정의하기로 한다.
도 6a를 참조하면, 결함 픽셀(610)을 기준으로 미리 정해진 크기의 픽셀 블록내에서 다른 결함 픽셀이 존재하지 않은 경우를 싱글 단위로 정의할 수 있다. 예를 들어, 픽셀 블록의 크기가 3이라면, 도 6a에 예시된 바와 같이 X축 및 Y축 방향으로 픽셀 블록을 설정할 수 있으며, 해당 픽셀 블록내의 다른 결함 픽셀의 존재 여부를 판단할 수 있다.
또한, "클러스터 단위"는 결함 픽셀에 상응하는 어드레스에 인접한 X축 또는 Y축 방향으로 결함 픽셀에 상응하는 어드레스가 하나 이상 존재하는 것으로 정의하기로 한다.
도 6b를 참조하면, 싱글 단위와는 달리 정해진 크기의 픽셀 블록내에 다른 결함 픽셀(615)이 존재하는 경우 클러스터 단위로 인식할 수 있다. 도 6a 및 도 6b에서는 픽셀 블록의 크기가 3인 것을 가정하여 설명하였으나 설정에 따라 임의의 크기로 설정될 수 있음은 당연하다.
예를 들어, 어드레스 저장부(410)는 IS-IP 버스(225)를 통해 이미지 센서(210)를 통해 입력된 결함 픽셀 위치 정보에서 결함이 발생된 임의의 픽셀 어드레스에 인접하는 결함 픽셀에 상응하는 어드레스가 X축 또는 Y축 방향으로 하나 이상 존재하는 경우에는 클러스터 단위에 상응하는 결함 픽셀 유형 정보를 생성하여 결함 픽셀 보정부(420)로 출력할 수 있다.
그리고, 만일 임의의 결함 픽셀에 상응하는 어드레스가 해당 결함 픽셀 어드레스에 인접한 X축 또는 Y축 방향으로 존재하지 않은 경우, 어드레스 저장부(410)는 싱글 단위로의 결함 픽셀 유형 정보를 생성하여 결함 픽셀 보정부(420)로 출력할 수 있다.
또한, 어드레스 저장부(410)는 이미지 센서(210)로부터 입력된 픽셀 데이터를 결함 픽셀 보정부(420)로 출력할 수 있다.
결함 픽셀 보정부(420)는 어드레스 저장부(410)로부터 픽셀 데이터 및 결함 픽셀 유형 정보를 각각 입력받아 이를 이용하여 결함 픽셀에 대해 보정을 수행하여 보정된 픽셀 데이터를 제어부(430)로 출력한다.
예를 들어, 결함 픽셀 보정부(420)는 어드레스 저장부(410)로부터 입력된 결함 픽셀 유형 정보가 싱글 단위인 경우, 결함 픽셀을 중심 픽셀로 설정한 후 미리 정해진 크기의 픽셀 블록을 설정하여 중심 픽셀(즉, 결함 픽셀)을 제외한 인접 픽 셀들의 차이값을 산출하여 차이값이 최소인 인접 픽셀들을 이용하여 중심 픽셀에 대해 보정을 수행할 수 있다. 즉, 중심 픽셀을 중심으로 두 픽셀들간의 차이값을 각각 산출하고, 산출된 차이값이 최소인 두 픽셀의 평균값을 산출하여 중심 픽셀값으로 대체하여 보정할 수 있다(즉, 인접한 픽셀내의 최소차이값(minimum difference)을 이용하여 결함 픽셀에 대해 보정할 수 있다).
예를 들어, 3ㅧ3 픽셀 블록 내에서 중심 픽셀이 결함 픽셀이라고 가정하자. 이때, 결함 픽셀 보정부(420)는 결함 픽셀을 제외한 주위의 8개의 픽셀들 상호간의 차이값(difference)을 산출한다. 여기서, 산출된 차이값은 절대값일 수 있다. 결함 픽셀 보정부(420)는 산출한 차이값들의 크기가 가장 작은 두 픽셀의 평균값으로 중심 픽셀을 대체하여 값을 보정할 수 있다. 다른 예로는 결함 픽셀 보정부(420)는 결함 픽셀을 제외한 인접한 픽셀들의 평균값을 산출하여 중심 픽셀값으로 대체할 수도 있다.
또한, 결함 픽셀 보정부(420)는 픽셀 블록의 중심 픽셀(즉, 결함 픽셀)을 제외한 중심 픽셀에 인접한 픽셀들의 평균값을 산출하여 결함 픽셀을 보정할 수도 있다. 그리고, 결함 픽셀 보정부(420)는 픽셀 블록내의 중심 픽셀을 제외한 가장 큰 픽셀값 또는/및 가장 작은 픽셀값들을 제외한 나머지 픽셀들의 평균값을 산출하여 결함 픽셀을 보정할 수도 있다.
그리고 만일 어드레스 저장부(410)로부터 입력된 결함 픽셀 유형 정보가 클러스터 단위인 경우, 결함 픽셀 보정부(420)는 클러스터 단위에 상응하는 영역(이하, 편의상 "결함 픽셀 영역"이라 칭하기로 함)에 픽셀들의 중간값 또는 평균값을 산출하여 해당 산출된 중간값 또는 평균값을 이용하여 결함 픽셀에 대해 보정을 수행할 수 있다. 여기서, 결함 픽셀 보정부(420)는 결함 픽셀 영역내의 가장 큰값 또는/및 가장 작은값을 버리고 중간 범위에 있는 값들의 평균값(또는 중간값)을 산출하여 결함 픽셀을 보정할 수도 있으며, 해당 결함 픽셀 영역내의 모든 픽셀들의 평균값 또는 중간값을 산출하여 결함 픽셀을 보정할 수도 있다.
제어부(430)는 본 발명에 따른 이미지 프로세서(220)의 내부 구성 요소들(예를 들어, 어드레스 저장부(410), 결함 픽셀 보정부(420) 등)을 제어하는 기능을 수행한다.
또한, 제어부(430)는 결함 픽셀 보정부(420)로부터 보정된 픽셀 데이터를 입력받아 후처리 프로세서(미도시)로 출력하거나 저장부(미도시)에 저장하는 기능을 수행할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 프로세서가 결함 픽셀을 보정하는 방법을 나타낸 순서도이다. 이하 이미지 프로세서(220)는 이미지 센서(210)로부터 결함 픽셀에 상응하는 결함 픽셀 위치 정보와 픽셀 어레이에 상응하는 픽셀 데이터를 각각 입력받아 해당 어드레스 정보를 이용하여 결함 픽셀에 대한 보정을 수행하는 방법에 대해 상세히 설명하기로 한다. 여기서, 이미지 센서(210)가 결함 픽셀을 검출하는 방법은 이미지 센서를 제조하는 제조업체마다 상이하며 그 방법은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
단계 510에서 어드레스 저장부(410)는 제어부(430)의 제어에 의해 IS-IP 버 스(225)를 통해 이미지 센서(210)로부터 결함 픽셀 위치 정보를 입력받는다. 그리고, 어드레스 저장부(410)는 제어부(430)의 제어에 의해 데이터 버스를 통해 이미지 센서(210)로부터 픽셀 데이터를 입력받는다.
단계 515에서 어드레스 저장부(410)는 이미지 센서(210)로부터 입력받은 결함 픽셀 위치 정보를 이용하여 결함 픽셀 유형 정보를 생성한 후 결함 픽셀 보정부(420)로 출력한다. 여기서, 결함 픽셀 유형 정보는 싱글 단위 또는 클러스터 단위 중 어느 하나일 수 있다.
단계 520에서 결함 픽셀 보정부(420)는 제어부(430)의 제어에 의해 어드레스 저장부(410)로부터 입력받은 결함 픽셀 유형 정보가 싱글 단위인지 여부를 판단한다.
만일 싱글 단위라고 결정되면, 단계 525에서 결함 픽셀 보정부(420)는 제어부(430)의 제어에 의해 결함 픽셀에 인접한 미리 정해진 픽셀 블록(예를 들어, 3ㅧ3)에 대해(여기서, 결함 픽셀은 픽셀 블록의 중심 픽셀로 설정될 수 있음) 중심 픽셀을 제외한 두 픽셀간의 상호간의 차이값을 이용하여 중심 픽셀(즉, 결함 픽셀)에 대해 보정할 수 있다.
예를 들어, 결함 픽셀 보정부(420)는 픽셀 블록내에 중심 픽셀을 제외한 두 픽셀간의 상호간의 차이값이 최소인 두 픽셀의 평균값을 산출하여 중심 픽셀(즉, 결함 픽셀)을 보정할 수 있다.
그러나 만일 클러스터 단위이면, 단계 530에서 결함 픽셀 보정부(420)는 제어부(430)의 제어에 의해 클러스터 단위에 상응하는 영역의 픽셀들의 평균값 또는 중간값을 산출하여 결함 픽셀에 대해 보정을 수행할 수 있다. 여기서, 결함 픽셀 보정부(420)는 보다 정확한 보정을 위해 클러스터 단위에 상응하는 영역내의 픽셀들의 가장 큰값, 가장 작은값, 다른 픽셀값들과 편차가 큰 값등을 제외한 나머지 픽셀들의 평균값 또는 중간값을 산출하여 결함 픽셀에 대해 보정을 수행할 수도 있다.
상술한 바와 같이, 본 발명에 따른 결함 픽셀 보정 방법 및 그 장치를 제공함으로써, 이미지 프로세서가 이미지 센서로부터 픽셀 어레이의 결함 픽셀에 상응하는 위치 정보를 입력받아 결함 픽셀에 대한 보정을 수행할 수 있는 효과가 있다.
또한, 본 발명은 이미지 프로세서가 이미지 센서의 픽셀 어레이의 결함 픽셀을 검출하기 위한 별도의 동작을 수행하지 않음으로 인해 제품 양산성을 향상시킬 수 있는 효과도 있다.
또한, 본 발명은 이미지 프로세서가 결함 픽셀 검출을 위한 동작 수행 없이도 결함 픽셀에 대한 정확한 보정을 수행할 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 이미지 센서로부터 픽셀 어레이에 상응하는 픽셀 데이터와 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 각각 입력받고, 상기 결함 픽셀 위치 정보를 이용하여 임의의 결함 픽셀에 상응하는 N X M 픽셀 블록을 설정하며, 상기 픽셀 블록내에 존재하는 결함 픽셀의 개수에 따라 결함 픽셀 유형 정보를 생성하는 어드레스 저장부-상기 N 및 M은 자연수-; 및
    상기 결함 픽셀 유형 정보 및 상기 결함 픽셀 위치 정보를 이용하여 상기 결함 픽셀을 보정하는 결함 픽셀 보정부를 포함하는 이미지 프로세서.
  2. 제 1항에 있어서,
    상기 이미지 센서와 제1 버스를 통해 상기 결함 픽셀 위치 정보를 입력받고, 제2 버스를 통해 상기 픽셀 데이터를 입력받는 것을 특징으로 하는 이미지 프로세서.
  3. 삭제
  4. 제 1항에 있어서,
    상기 어드레스 저장부는 상기 픽셀 블록내에 하나 이상의 다른 결함 픽셀이 존재하면 상기 결함 픽셀 유형 정보를 클러스터 단위로 설정하는 것을 특징으로 하는 이미지 프로세서.
  5. 제 4항에 있어서,
    상기 어드레스 저장부는 상기 픽셀 블록내에 다른 결함 픽셀이 존재하지 않은 경우 상기 결함 픽셀의 유형 정보를 싱글 단위로 설정하는 것을 특징으로 하는 이미지 프로세서.
  6. 제 1항에 있어서,
    상기 결함 픽셀의 유형 정보가 싱글 단위이면, 상기 결함 픽셀 보정부는 결함 픽셀에 인접한 정해진 픽셀 블록내의 픽셀들간의 상호간의 차이값 또는 평균값을 이용하여 상기 결함 픽셀을 보정하는 것을 특징으로 하는 이미지 프로세서.
  7. 제 1항에 있어서,
    상기 결함 픽셀의 유형 정보가 클러스터(cluster) 단위이면, 상기 결함 픽셀 보정부는 결함 픽셀의 영역내의 픽셀들의 평균값 또는 중간값을 산출하여 상기 결함 픽셀을 보정하는 것을 특징으로 하는 이미지 프로세서.
  8. 복수의 단위 픽셀이 배치된 픽셀 어레이의 결함 픽셀에 상응하여 저장된 결함 픽셀 위치 정보와 상기 픽셀 어레이에 상응하는 픽셀 데이터를 출력하는 이미지 센서; 및
    상기 결함 픽셀 위치 정보를 이용하여 상기 픽셀 데이터의 결함 픽셀을 보정하는 이미지 프로세서를 포함하되,
    상기 이미지 프로세서는,
    상기 결함 픽셀 위치 정보를 이용하여 임의의 결함 픽셀에 상응하는 N X M 픽셀 블록을 설정하며, 상기 픽셀 블록내에 존재하는 결함 픽셀의 개수에 따라 결함 픽셀 유형 정보를 생성하는 어드레스 저장부-상기 N 및 M은 자연수-; 및
    상기 결함 픽셀 유형 정보 및 상기 결함 픽셀 위치 정보를 이용하여 상기 결함 픽셀을 보정하는 결함 픽셀 보정부를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  9. 삭제
  10. 제 8항에 있어서,
    상기 이미지 프로세서는 제1 버스를 통해 상기 결함 픽셀 위치 정보를 입력받고, 제2 버스를 통해 상기 픽셀 데이터를 입력받는 것을 특징으로 하는 이미지 처리 장치.
  11. 제 10항에 있어서,
    상기 제1 버스는 I2C(inter-integrated circuit bus) 또는 SPI(serial peripheral interface) 중 어느 하나인 것을 특징으로 하는 이미지 처리 장치.
  12. 이미지 센서와 연결된 이미지 프로세서가 결함 픽셀을 보정하는 방법에 있어서,
    상기 이미지 센서로부터 픽셀 어레이에 상응하는 픽셀 데이터와 상기 픽셀 어레이의 결함 픽셀에 상응하는 결함 픽셀 위치 정보를 입력받는 단계;
    상기 결함 픽셀 위치 정보를 이용하여 결함 픽셀에 상응하는 N X M 픽셀 블록을 설정하는 단계-상기 N 및 M은 자연수-;
    상기 픽셀 블록내에 존재하는 결함 픽셀의 개수에 따라 결함 픽셀의 유형 정보를 생성하는 단계; 및
    상기 결함 픽셀 유형 정보 및 상기 결함 픽셀 위치 정보를 이용하여 상기 결함 픽셀을 보정하는 단계를 포함하되,
    상기 결함 픽셀 유형 정보는 싱글 단위 또는 클러스터 단위 중 어느 하나인 것을 특징으로 하는 결함 픽셀 보정 방법.
  13. 제 12항에 있어서,
    상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 어드레스에 인접한 X축 또는 Y축 방향으로 하나 이상의 어드레스가 더 존재하는 경우 클러스터 단위로의 유형 정보를 포함하는 결함 픽셀 유형 정보를 생성하는 단계; 및
    상기 결함 픽셀의 유형 정보가 상기 클러스터 단위이면, 상기 클러스터 단위에 상응하는 결함 픽셀 영역내의 픽셀들의 평균값 또는 중간값을 산출하여 상기 결함 픽셀을 보정하는 단계를 더 포함하는 결함 픽셀 보정 방법.
  14. 제 12항에 있어서,
    상기 결함 픽셀 위치 정보에서 임의의 결함 픽셀에 상응하는 어드레스에 인접한 X축 또는 Y축 방향으로 어드레스가 존재하지 않은 경우 싱글 단위로의 유형 정보를 포함하는 결함 픽셀 유형 정보를 생성하는 단계; 및
    상기 결함 픽셀의 유형 정보가 상기 싱글 단위이면, 결함 픽셀에 인접한 미 리 정해진 크기의 픽셀 블록내의 픽셀들간의 차이값 또는 평균값을 이용하여 상기 결함 픽셀을 보정하는 단계를 더 포함하는 결함 픽셀 보정 방법.
KR1020060120842A 2006-12-01 2006-12-01 결함 픽셀 보정 방법 및 그 장치 KR100853025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060120842A KR100853025B1 (ko) 2006-12-01 2006-12-01 결함 픽셀 보정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060120842A KR100853025B1 (ko) 2006-12-01 2006-12-01 결함 픽셀 보정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20080050059A KR20080050059A (ko) 2008-06-05
KR100853025B1 true KR100853025B1 (ko) 2008-08-20

Family

ID=39805571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060120842A KR100853025B1 (ko) 2006-12-01 2006-12-01 결함 픽셀 보정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR100853025B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346333A (ja) * 1998-06-02 1999-12-14 Canon Inc 固体撮像装置
JP2006109067A (ja) 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346333A (ja) * 1998-06-02 1999-12-14 Canon Inc 固体撮像装置
JP2006109067A (ja) 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Also Published As

Publication number Publication date
KR20080050059A (ko) 2008-06-05

Similar Documents

Publication Publication Date Title
US11652983B2 (en) Solid-state imaging device, imaging system, and movable object
US7532240B2 (en) Imaging apparatus and imaging methods
JP5311945B2 (ja) 撮像装置および欠陥画素検出方法
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
US8531529B2 (en) Dead pixel compensation testing apparatus
US9092845B2 (en) Image processing device with defect correcting circuit and image processing method
JP2012044452A (ja) 撮像装置及びその欠陥画素検出方法
JP4544027B2 (ja) 固体撮像装置及び点滅欠陥検出方法
KR100874670B1 (ko) 이미지 프로세서, 이미지 처리 장치 및 결함 픽셀 보정 방법
JP5980377B2 (ja) アナログデジタル変換回路、アナログデジタル変換回路の検査方法、撮像装置、撮像装置を有する撮像システム、撮像装置の検査方法
JP2014212450A (ja) 撮像装置
JP2016015695A (ja) 撮像装置及びその制御方法
KR100761797B1 (ko) 결함 픽셀의 위치 어드레스 저장 방법 및 장치
KR100853025B1 (ko) 결함 픽셀 보정 방법 및 그 장치
JP4305225B2 (ja) 赤外線画像補正装置
KR100854722B1 (ko) 결함 픽셀 보정 방법 및 그 장치
JP5762193B2 (ja) アナログデジタル変換回路、アナログデジタル変換回路の検査方法、撮像装置、撮像装置を有する撮像システム、撮像装置の検査方法
US20100231763A1 (en) Defective pixel detector for a digital video camera and associated methods
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP2008283620A (ja) 固体撮像装置
US10368020B2 (en) Image capturing apparatus and control method therefor
JP2007243778A (ja) 撮像装置
JP2008148129A (ja) 撮像装置、及びその制御方法、並びにプログラム
JP2016220008A (ja) 撮像装置
JP2005347956A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 9