KR20220145694A - 이미지 센싱 장치 및 그의 동작방법 - Google Patents

이미지 센싱 장치 및 그의 동작방법 Download PDF

Info

Publication number
KR20220145694A
KR20220145694A KR1020210052598A KR20210052598A KR20220145694A KR 20220145694 A KR20220145694 A KR 20220145694A KR 1020210052598 A KR1020210052598 A KR 1020210052598A KR 20210052598 A KR20210052598 A KR 20210052598A KR 20220145694 A KR20220145694 A KR 20220145694A
Authority
KR
South Korea
Prior art keywords
value
pixel values
target
kernel
pixel
Prior art date
Application number
KR1020210052598A
Other languages
English (en)
Inventor
한지희
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210052598A priority Critical patent/KR20220145694A/ko
Priority to US17/492,037 priority patent/US11889241B2/en
Priority to CN202210411644.4A priority patent/CN115334210A/zh
Publication of KR20220145694A publication Critical patent/KR20220145694A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N9/0455—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 일실시예는 이미지 센싱 장치 및 그의 동작 방법에 관한 것으로, 시스템 정보와 복수의 픽셀값에 기초하여, 커널 별로 상태를 분석하기 위한 분석기; 상기 분석기의 분석결과에 따라 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈(color noise)를 검출하기 위한 검출기; 및 상기 검출기의 검출결과에 따라 상기 타겟 픽셀값을 보정하기 위한 보정기를 포함하는 이미지 센싱 장치를 제공한다.

Description

이미지 센싱 장치 및 그의 동작방법{IMAGE SENSING DEVICE AND OPERATING METHOD OF THE SAME}
본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센싱 장치 및 그의 동작방법에 관한 것이다.
이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.
본 발명의 실시예는 저조도 이미지를 위한 디노이즈(denoise) 기술을 지원하는 이미지 센싱 장치를 제공한다.
본 발명의 일 측면에 따르면, 이미지 센싱 장치는, 시스템 정보와 복수의 픽셀값에 기초하여, 커널 별로 상태를 분석하기 위한 분석기; 상기 분석기의 분석결과에 따라 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈(color noise)를 검출하기 위한 검출기; 및 상기 검출기의 검출결과에 따라 상기 타겟 픽셀값을 보정하기 위한 보정기를 포함할 수 있다.
상기 검출기는, 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널에 속한 픽셀값들의 평균값이 제1 기준값보다 이하이고 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널에 속한 픽셀값들의 평균값이 상기 제1 기준값보다 이하일 때, 상기 타겟 픽셀값의 컬러 노이즈를 검출할 수 있고, 상기 제1 기준값은 상기 타겟 픽셀값에서 제1 문턱값을 뺀 값일 수 있다.
상기 분석기는, 상기 시스템 정보에 기초하여 상기 복수의 픽셀값에 대응하는 싱글 프레임(single frame)이 저조도인지를 판단하기 위한 제1 판단부; 상기 복수의 픽셀값에 기초하여 상기 커널 별로 텍스처(texture)가 플랫(flat) 영역인지를 판단하기 위한 제2 판단부; 및 상기 복수의 픽셀값에 기초하여 상기 커널 별로 낮은 채도 영역인지를 판단하기 위한 제3 판단부를 포함할 수 있다.
상기 제3 판단부는, 상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값이 속한 제1 컬러 채널의 픽셀값들의 제1 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널의 픽셀값들의 제2 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널의 픽셀값들의 제3 평균값에 기초하여, 상기 타겟 커널이 낮은 채도 영역인지를 판단할 수 있다.
상기 제3 판단부는, 상기 제1 평균값이 제2 기준값 이하이거나 또는 상기 제1 평균값이 제3 기준값 이하이면 상기 타겟 커널을 상기 낮은 채도 영역이라고 판단할 수 있고, 상기 제2 기준값은 상기 제2 평균값에서 제2 문턱값을 뺀 값일 수 있고, 상기 제3 기준값은 상기 제3 평균값에서 제3 문턱값을 뺀 값일 수 있다.
상기 제2 판단부는 상기 타겟 커널에 포함된 그린 채널의 픽셀값들에 기초하여 표준편차값을 계산할 수 있고, 상기 표준편차값이 제4 문턱값보다 이하일 때 상기 타겟 커널을 상기 플랫 영역이라고 판단할 수 있다.
상기 보정기는 상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값과 다른 컬러 채널에 속한 픽셀값들에 기초하여 상기 컬러 노이즈를 보정할 수 있다.
상기 시스템 정보는 아날로그 게인(analog gain) 값을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센싱 장치는, 제1 컬러 필터를 가지는 제1 픽셀들과 제2 컬러 필터를 가지는 제2 픽셀들과 제3 컬러 필터를 가지는 제3 픽셀들이 예정된 컬러 패턴(color pattern)으로 배열된 픽셀 어레이를 포함하고, 상기 컬러 패턴에 대응하는 복수의 픽셀값을 생성하기 위한 이미지 센서; 및 시스템 정보와 상기 복수의 픽셀값에 기초하여 커널 별로 컬러 노이즈(color noise)를 검출하되, 타겟 커널에 포함된 모든 픽셀값들을 이용하여 상기 타겟 커널에 포함된 타겟 픽셀값의 컬러 노이즈를 검출하기 위한 이미지 프로세서를 포함할 수 있다.
상기 이미지 프로세서는, 상기 시스템 정보와 복수의 픽셀값에 기초하여, 상기 커널 별로 상태를 분석하기 위한 분석기; 상기 분석기의 분석결과에 따라 상기 타겟 픽셀값의 상기 컬러 노이즈를 검출하기 위한 검출기; 및 상기 검출기의 검출결과에 따라 상기 타겟 픽셀값을 보정하기 위한 보정기를 포함할 수 있다.
상기 상태는 상기 타겟 커널의 조도, 상기 타겟 커널의 채도, 및 상기 타겟 커널의 텍스처(texture)를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 이미지 센싱 장치의 동작방법은, 커널 별로 채도와 텍스처(texture)를 판단하는 단계; 타겟 커널이 낮은 채도 영역이면서 플랫(flat) 영역이면, 상기 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈(color noise)를 검출하는 단계; 및 상기 컬러 노이즈를 보정하는 단계를 포함할 수 있다.
싱글 프레임(single frame)이 저조도인지를 판단하는 단계를 더 포함할 수 있고, 상기 싱글 프레임이 저조도이면 상기 채도와 상기 텍스처를 판단하는 단계를 실시할 수 있다.
본 발명의 실시예는 저조도 이미지를 위한 디노이즈(denoise) 기술을 지원함으로써 우수한 화질의 상기 저조도 이미지를 획득할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 장치의 블록 구성도이다.
도 2는 도 1에 도시된 이미지 센서의 블록 구성도이다.
도 3은 도 2에 도시된 픽셀 어레이의 일예를 보인 구성도이다.
도 4는 도 1에 도시된 이미지 프로세서의 블록 구성도이다.
도 5는 도 4에 도시된 분석기의 블록 구성도이다.
도 6은 도 1에 도시된 이미지 센싱 장치의 동작을 설명하기 위한 흐름도이다.
도 7은 도 5에 도시된 제2 판단부의 동작을 설명하기 위한 도면이다.
도 8은 도 5에 도시된 제3 판단부의 동작을 설명하기 위한 도면이다.
도 9은 도 4에 도시된 검출기의 동작을 설명하기 위한 도면이다.
도 10는 도 4에 도시된 보정기의 동작을 설명하기 위한 그래프 도면이다.
도 11은 본 발명의 디노이즈 성능을 설명하기 위한 도면이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.
도 1에는 본 발명의 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.
도 1을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100), 및 이미지 프로세서(200)를 포함할 수 있다.
이미지 센서(100)는 촬영된 이미지에 대응하는 복수의 픽셀값(DPXs)을 생성할 수 있다. 즉, 이미지 센서(100)는 싱글 프레임(single frame)에 대응하는 복수의 픽셀값(DPXs)을 생성할 수 있다.
이미지 프로세서(200)는 시스템 정보(AG)와 복수의 픽셀값(DPXs)에 기초하여 커널 별로 컬러 노이즈(color noise)를 검출 및 보정할 수 있다. 특히, 이미지 프로세서(200)는 타겟 커널에 포함된 모든 픽셀값을 이용하여 상기 타겟 커널에 포함된 타겟 픽셀값의 컬러 노이즈를 검출할 수 있다.
도 2에는 도 1에 도시된 이미지 센서(100)의 블록 구성도가 도시되어 있다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 및 신호 변환기(120)를 포함할 수 있다.
픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 상기 복수의 픽셀들을 포함할 수 있다(도 3 참조). 픽셀 어레이(110)는 로우 별로 복수의 픽셀신호(VPXs)를 생성할 수 있다. 예컨대, 픽셀 어레이(100)는 제1 로우 시간 동안 제1 로우에 배열된 픽셀들로부터 복수의 픽셀신호(VPXs)를 생성할 수 있고, 제n 로우 시간 동안 제n 로우에 배열된 픽셀들로부터 복수의 픽셀신호(VPXs)를 생성할 수 있다(단, 'n'은 2보다 큰 정수임). 복수의 픽셀신호(VPXs)는 각각 아날로그 타입의 픽셀신호일 수 있다.
신호 변환기(120)는 상기 아날로그 타입의 복수의 픽셀신호(VPXs)를 디지털 타입의 복수의 픽셀값(DPXs)로 변환할 수 있다. 상기 디지털 타입의 복수의 픽셀값(DPXs)은 후술하는 베이어 패턴(bayer pattern)에 대응하여 출력될 수 있다. 예컨대, 신호 변환기(120)는 아날로그 투 디지털 컨터버(analog to digital converter)를 포함할 수 있다.
도 3에는 도 2에 도시된 픽셀 어레이(110)의 일예들을 보인 구성도가 도시되어 있다.
도 3을 참조하면, 픽셀 어레이(110)는 예정된 패턴으로 배열될 수 있다. 예컨대, 픽셀 어레이(120)는 상기 베이어 패턴으로 배열될 수 있다. 상기 베이어 패턴은 2 x 2 픽셀들의 반복 셀로 구성되며, 각각의 셀에는 그린(green) 컬러 필터를 가지는 2개의 픽셀들(Gb, Gr)이 대각선으로 대향하도록 배치되고, 1개의 블루(blue) 컬러 필터를 가지는 1개의 픽셀(B)과 레드(red) 컬러 필터를 가지는 1개의 픽셀(R)이 나머지 코너에 배치될 수 있다. 상기 4개의 픽셀들(B, Gb, Gr, R)은 도 3에 도시된 배치 구조에 반드시 한정되는 것은 아니며, 앞서 설명한 베이어 패턴을 전제로 하되 다양하게 배치될 수 있다. 본 발명의 실시예는 상기 베이어 패턴을 예로 들어 설명하고 있지만, 반드시 이에 한정되는 것은 아니며, 쿼드(quad) 패턴 등 다양한 패턴에 적용 가능하다.
한편, 픽셀 어레이(110)는 n x n 픽셀들로 구분할 수 있다(단, 'n'은 자연수임). 이하에서는 8 x 8 픽셀들에 대응하는 픽셀값들이 하나의 커널에 포함되는 것을 예로 들어 설명한다.
도 4에는 도 1에 도시된 이미지 프로세서(200)의 블록 구성도가 도시되어 있다.
도 4를 참조하면, 이미지 프로세서(200)는 분석기(210), 검출기(220), 및 보정기(230)를 포함할 수 있다.
분석기(210)는 시스템 정보(AG)와 복수의 픽셀값(DPXs)에 기초하여 커널 별로 상태를 분석할 수 있다. 시스템 정보(AG)는 아날로그 게인(analog gain) 값을 포함할 수 있다. 상기 상태는 타겟 커널의 조도와 상기 타겟 커널의 채도와 상기 타겟 커널의 텍스처(texture)와 관련이 있을 수 있다.
검출기(220)는 분석기(210)의 분석결과(RES1/2/3)와 복수의 픽셀값(DPXs)에 기초하여 상기 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈를 검출할 수 있다. 예컨대, 검출기(220)는 상기 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값과 다른 컬러 채널(color channel)들의 픽셀값들에 기초하여, 상기 타겟 픽셀값의 컬러 노이즈를 검출할 수 있다. 검출기(220)는 상기 타겟 커널의 조도와 상기 타겟 커널의 채도와 상기 타겟 커널의 텍스처가 예정된 조건에 부합될 때 상기 컬러 노이즈를 검출하는 동작을 실시할 수 있다.
보정기(230)는 검출기(220)의 검출결과(DET)와 복수의 픽셀값(DPXs)에 기초하여 상기 타겟 픽셀값을 보정할 수 있다. 예컨대, 보정기(230)는 상기 타겟 커널에 포함된 상기 픽셀값들 중 상기 타겟 픽셀값과 다른 컬러 채널에 속한 픽셀값들에 기초하여 상기 컬러 노이즈를 보정할 수 있다.
도 5에는 도 4에 도시된 분석기(210)가 블록 구성도로 도시되어 있다.
도 5를 참조하면, 분석기(210)는 제1 판단부(211), 제2 판단부(213), 및 제3 판단부(215)를 포함할 수 있다.
제1 판단부(211)는 시스템 정보(AG)에 기초하여 복수의 픽셀값(DPXs)에 대응하는 상기 싱글 프레임이 저조도인지를 판단할 수 있다. 예컨대, 제1 판단부(211)는 상기 아날로그 게인 값이 예정된 값보다 이상일 때 현재 프레임을 저조도 상태라고 판단할 수 있다. 통상적으로, 아날로그 게인은 저조도 조건일 때 상대적으로 큰 값을 가질 수 있다. 제1 판단부(211)는 상기 저조도와 관련된 분석결과로서 제1 판단신호(RES1)을 검출기(220)에게 출력할 수 있다.
제2 판단부(213)는 복수의 픽셀값(DPXs)에 기초하여 상기 커널 별로 상기 텍스처가 플랫(flat) 영역인지를 판단할 수 있다. 예컨대, 제2 판단부(213)는 상기 타겟 커널에 포함된 픽셀값들 중 그린 채널의 픽셀값들에 기초하여 상기 타겟 커널의 텍스처가 상기 플랫 영역인지를 판단할 수 있다. 제2 판단부(213)는 상기 텍스처와 관련된 분석결과로서 제2 판단신호(RES2)를 검출기(220)에게 출력할 수 있다.
제3 판단부(215)는 복수의 픽셀값(DPXs)에 기초하여 상기 커널 별로 낮은 채도 영역인지를 판단할 수 있다. 예컨대, 제3 판단부(215)는 상기 타겟 커널에 포함된 픽셀값들 중 상기 타겟 픽셀값과 동일한 제1 컬러 채널에 속한 픽셀값들의 제1 평균값과, 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널에 속한 픽셀값들의 제2 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널에 속한 픽셀값들의 제3 평균값에 기초하여, 상기 타겟 커널이 상기 낮은 채도 영역인지를 판단할 수 있다.
이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 센싱 장치(10)의 동작을 도 6 내지 도 11을 참조하여 설명한다.
도 6은 도 1에 도시된 이미지 센싱 장치(10)의 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 이미지 센서(100)는 싱글 프레임(single frame)에 대응하는 복수의 픽셀값(DPXs)을 생성할 수 있다(S101).
이미지 프로세서(200)는 상기 싱글 프레임이 저조도인지를 판단할 수 있다(S103). 예컨대, 제1 판단부(211)는 상기 아날로그 게인 값이 상기 예정된 값보다 이상일 때 현재 프레임을 저조도 상태라고 판단할 수 있다. 통상적으로, 상기 아날로그 게인 값은 저조도 조건일 때 상대적으로 큰 값을 가질 수 있다.
상기 싱글 프레임이 저조도이면(S103의 'Yes'), 이미지 프로세서(200)는 커널 별로 채도와 텍스처(texture)를 판단할 수 있다. 먼저, 이미지 프로세서(200)는 타겟 커널을 선택할 수 있다(S105). 상기 타겟 커널은 타겟 픽셀값을 중심으로 8 x 8의 픽셀값들 포함할 수 있다. 상기 타겟 픽셀값은 8 x 8 픽셀들의 픽셀값들 중 중앙에 배치된 픽셀의 픽셀값을 의미할 수 있다. 다음, 이미지 프로세서(200)는 상기 타겟 커널이 플랫 영역인지를 판단할 수 있다(S107). 예컨대, 제2 판단부(213)는 상기 타겟 커널에 포함된 픽셀값들 중 그린 채널의 픽셀값들에 기초하여 상기 타겟 커널의 텍스처가 상기 플랫 영역인지를 판단할 수 있다. 다음, 상기 타겟 커널의 텍스처가 상기 플랫 영역이면(S107의 'Yes'), 이미지 프로세서(200)는 상기 타겟 커널이 낮은 채도 영역인지를 판단할 수 있다(S109). 예컨대, 제3 판단부(215)는 상기 타겟 커널에 포함된 픽셀값들 중 상기 타겟 픽셀값과 동일한 제1 컬러 채널에 속한 픽셀값들의 제1 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널에 속한 픽셀값들의 제2 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널에 속한 픽셀값들의 제3 평균값에 기초하여, 상기 타겟 커널이 상기 낮은 채도 영역인지를 판단할 수 있다.
상기 타겟 커널이 낮은 채도 영역이면(S109의 'Yes'), 이미지 프로세서(200)는 상기 타겟 커널에 포함된 상기 타겟 피셀값이 컬러 노이즈인지를 검출할 수 있다(S111). 예컨대, 검출기(220)는 상기 타겟 커널에 포함된 픽셀값들 중 상기 타겟 픽셀값과 다른 컬러 채널(color channel)들의 픽셀값들에 기초하여, 상기 타겟 픽셀값의 컬러 노이즈를 검출할 수 있다. 앞서 살펴본 바와 같이, 검출기(220)는 상기 타겟 커널의 상태, 즉 상기 타겟 커널이 상기 저조도이고 상기 타겟 커널이 상기 낮은 채도 영역이고 상기 타겟 커널의 텍스처가 상기 플랫 영역인 경우에만 상기 컬러 노이즈를 검출하는 동작을 실시할 수 있다.
상기 컬러 노이즈가 검출되면(S113의 'Yes'), 이미지 프로세서(200)는 상기 컬러 노이즈를 보정할 수 있다(S115). 예컨대, 보정기(230)는 상기 타겟 커널에 포함된 상기 픽셀값들 중 상기 타겟 픽셀값과 다른 컬러 채널들(즉, 상기 제1 및 제2 컬러 채널들)에 속한 픽셀값들에 기초하여 상기 컬러 노이즈를 보정할 수 있다.
상기 싱글 프레임에 포함된 모든 커널들이 각각 타겟 커널로서 선택될 때까지 상기의 단계들(S105 ~ S117)을 반복할 수 있다.
도 7에는 도 5에 도시된 제2 판단부(213)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 7을 참조하면, 제2 판단부(213)는 상기 타겟 커널에 포함된 상기 그린 채널에 속한 픽셀값들(P01 ~ P87)에 기초하여 표준편차값(STDG)을 계산할 수 있다. 표준편차값(STDG)은 다음의 '수학식 1'에 의해 정의될 수 있다.
Figure pat00001
여기서, 'Gpix'는 상기 그린 채널에 속한 각각의 픽셀값을 의미할 수 있고, 'Gavg'는 상기 그린 채널에 속한 픽셀값들(P01 ~ P87)의 평균값(AVG2)을 의미할 수 있고, 'gain'과 'offset'은 제4 문턱값(TV4)에 대응하여 스케일링(scaling)되는 변수들을 의미할 수 있다.
제2 판단부(213)는 표준편차값(STDG)이 제4 문턱값(TV4)보다 작을 때 상기 타겟 커널이 상기 플랫 영역임을 판단할 수 있다. 참고로, 제4 문턱값(TV4)은 상기 그린 채널에 속한 픽셀값들(P01 ~ P87)의 평균값(AVG2)에 따라 적응적으로 조절되는 값일 수 있다.
도 8에는 도 5에 도시된 제3 판단부(215)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 8을 참조하면, 제3 판단부(215)는 타겟 픽셀값(P44)이 속한 상기 블루 컬러 채널의 픽셀값들(P00 ~ P88)의 제1 평균값(AVG1)과 상기 그린 컬러 채널의 픽셀값들(P01 ~ P87)의 제2 평균값(AVG2)과 상기 레드 컬러 채널의 픽셀값들(P11 ~ P77)의 제3 평균값(AVG3)에 기초하여, 상기 타겟 커널이 낮은 채도 영역인지를 판단할 수 있다. 예컨대, 제3 판단부(215)는 제1 평균값(AVG1)이 제2 기준값보다 이하이거나 또는 제1 평균값(AVG1)이 제3 기준값보다 이하일 때, 상기 타겟 커널을 낮은 채도 영역이라고 판단할 수 있다. 상기 제2 기준값은 제2 평균값(AVG2)에서 제2 문턱값(TV2)을 뺀 값일 수 있다. 제2 문턱값(TV2)은 제2 평균값(AVG2)에 따라 적응적으로 조절되는 값일 수 있다. 상기 제3 기준값은 제3 평균값(AVG3)에서 제3 문턱값(TV3)을 뺀 값일 수 있다. 제3 문턱값(TV3)은 제3 평균값(AVG3)에 따라 적응적으로 조절되는 값일 수 있다.
도 9에는 도 4에 도시된 검출기(220)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 9를 참조하면, 검출기(220)는 타겟 픽셀값(P44)에서 제1 문턱값(TV1)을 뺀 제1 기준값이 상기 그린 채널에 속한 픽셀값들(P01 ~ P87)의 평균값(AVG2)보다 크고 더불어 상기 제1 기준값이 상기 레드 채널에 속한 픽셀값들(P11 ~ P77)의 평균값(AVG3)보다 클 때, 타겟 픽셀값(P44)을 상기 컬러 노이즈로서 검출할 수 있다. 제1 문턱값(TV1)은 타겟 픽셀값(P44)에 따라 적응적으로(adaptive) 조절되는 값일 수 있다.
도 10에는 도 4에 도시된 보정기(230)의 동작을 설명하기 위한 그래프 도면이 도시되어 있다.
도 10을 참조하면, 보정기(230)는 타겟 픽셀값(P44)을 보정값으로 대체함으로써 상기 컬러 노이즈를 보정할 수 있다. 상기 보정값은 상기 그린 컬러 채널에 속한 픽셀값들(P01 ~ P87)의 제2 평균값(AVG2)과 상기 레드 컬러 채널에 속한 픽셀값들(P11 ~ P77)의 제3 평균값(AVG3)의 평균값일 수 있다. 예컨대, 타겟 픽셀값(P44)이 상기 블루 채널의 픽셀값들(P00 ~ P88)의 분포(BS)에 존재하지 않을 때, 타겟 픽셀값(P44)은 상기 그린 컬러 채널의 픽셀값들(P01 ~ P87)의 분포(GS)와 상기 레드 컬러 채널의 픽셀값들(P11 ~ P77)의 분포(RS)의 평균 분포에 속한 상기 보정값으로 대체될 수 있다.
도 11에는 본 발명의 디노이즈 성능을 설명하기 위한 도면이 도시되어 있다.
도 11을 참조하면, 종래기술에 따른 저조도 이미지(A)에 비해 본 발명의 실시예에 따른 저조도 이미지(B)는 컬러 노이즈가 제거되었음을 알 수 있다. 예컨대, 종래기술에 따른 저조도 이미지(A)는 낮은 채도 영역이면서 플랫영역에서 많이 발생하는 군집성 컬러 노이즈(N1, N2) 및 임펄스 컬러 노이즈(N3, N4)에 따라 열화된 화질을 가지는 반면, 본 발명의 실시예에 따른 저조도 이미지(B)는 군집성 컬러 노이즈(N1, N2) 및 임펄스 컬러 노이즈(N3, N4)가 제거된 우수한 화질을 가질 수 있다.
이와 같은 본 발명의 실시예에 따르면, 저조도 이미지의 컬러 노이즈를 제거할 수 있는 이점이 있다.
본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 이미지 센싱 장치 110 : 로우 컨트롤러
120 : 픽셀 어레이

Claims (20)

  1. 시스템 정보와 복수의 픽셀값에 기초하여, 커널 별로 상태를 분석하기 위한 분석기;
    상기 분석기의 분석결과에 따라 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈(color noise)를 검출하기 위한 검출기; 및
    상기 검출기의 검출결과에 따라 상기 타겟 픽셀값을 보정하기 위한 보정기
    를 포함하는 이미지 센싱 장치.
  2. 제1항에 있어서,
    상기 검출기는,
    상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널에 속한 픽셀값들의 평균값이 제1 기준값보다 이하이고 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널에 속한 픽셀값들의 평균값이 상기 제1 기준값보다 이하일 때, 상기 타겟 픽셀값의 컬러 노이즈를 검출하고,
    상기 제1 기준값은 상기 타겟 픽셀값에서 제1 문턱값을 뺀 값인 이미지 센싱 장치.
  3. 제1항에 있어서,
    상기 분석기는,
    상기 시스템 정보에 기초하여 상기 복수의 픽셀값에 대응하는 싱글 프레임(single frame)이 저조도인지를 판단하기 위한 제1 판단부;
    상기 복수의 픽셀값에 기초하여 상기 커널 별로 텍스처(texture)가 플랫(flat) 영역인지를 판단하기 위한 제2 판단부; 및
    상기 복수의 픽셀값에 기초하여 상기 커널 별로 낮은 채도 영역인지를 판단하기 위한 제3 판단부를 포함하는 이미지 센싱 장치.
  4. 제3항에 있어서,
    상기 제3 판단부는,
    상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값이 속한 제1 컬러 채널의 픽셀값들의 제1 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널의 픽셀값들의 제2 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널의 픽셀값들의 제3 평균값에 기초하여, 상기 타겟 커널이 낮은 채도 영역인지를 판단하는 이미지 센싱 장치.
  5. 제4항에 있어서,
    상기 제3 판단부는,
    상기 제1 평균값이 제2 기준값 이하이거나 또는 상기 제1 평균값이 제3 기준값 이하이면 상기 타겟 커널을 상기 낮은 채도 영역이라고 판단하고,
    상기 제2 기준값은 상기 제2 평균값에서 제2 문턱값을 뺀 값이고,
    상기 제3 기준값은 상기 제3 평균값에서 제3 문턱값을 뺀 값인 이미지 센싱 장치.
  6. 제3항에 있어서,
    상기 제2 판단부는 상기 타겟 커널에 포함된 그린 채널의 픽셀값들에 기초하여 표준편차값을 계산하고, 상기 표준편차값이 제4 문턱값보다 이하일 때 상기 타겟 커널을 상기 플랫 영역이라고 판단하는 이미지 센싱 장치.
  7. 제1항에 있어서,
    상기 보정기는 상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값과 다른 컬러 채널에 속한 픽셀값들에 기초하여 상기 컬러 노이즈를 보정하는 이미지 센싱 장치.
  8. 제1항에 있어서,
    상기 시스템 정보는 아날로그 게인(analog gain) 값을 포함하는 이미지 센싱 장치.
  9. 제1 컬러 필터를 가지는 제1 픽셀들과 제2 컬러 필터를 가지는 제2 픽셀들과 제3 컬러 필터를 가지는 제3 픽셀들이 예정된 컬러 패턴(color pattern)으로 배열된 픽셀 어레이를 포함하고, 상기 컬러 패턴에 대응하는 복수의 픽셀값을 생성하기 위한 이미지 센서; 및
    시스템 정보와 상기 복수의 픽셀값에 기초하여 커널 별로 컬러 노이즈(color noise)를 검출하되, 타겟 커널에 포함된 모든 픽셀값들을 이용하여 상기 타겟 커널에 포함된 타겟 픽셀값의 컬러 노이즈를 검출하기 위한 이미지 프로세서
    를 포함하는 이미지 센싱 장치.
  10. 제9항에 있어서,
    상기 이미지 프로세서는,
    상기 시스템 정보와 복수의 픽셀값에 기초하여, 상기 커널 별로 상태를 분석하기 위한 분석기;
    상기 분석기의 분석결과에 따라 상기 타겟 픽셀값의 상기 컬러 노이즈를 검출하기 위한 검출기; 및
    상기 검출기의 검출결과에 따라 상기 타겟 픽셀값을 보정하기 위한 보정기
    를 포함하는 이미지 센싱 장치.
  11. 제10항에 있어서,
    상기 검출기는,
    상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널에 속한 픽셀값들의 평균값이 제1 기준값보다 이하이고 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널에 속한 픽셀값들의 평균값이 상기 제1 기준값보다 이하일 때, 상기 타겟 픽셀값의 컬러 노이즈를 검출하고,
    상기 제1 기준값은 상기 타겟 픽셀값에서 제1 문턱값을 뺀 값인 이미지 센싱 장치.
  12. 제10항에 있어서,
    상기 상태는 상기 타겟 커널의 조도, 상기 타겟 커널의 채도, 및 상기 타겟 커널의 텍스처(texture)를 포함하는 이미지 센싱 장치.
  13. 제10항에 있어서,
    상기 분석기는,
    상기 시스템 정보에 기초하여 상기 복수의 픽셀값에 대응하는 싱글 프레임(single frame)이 저조도인지를 판단하기 위한 제1 판단부;
    상기 복수의 픽셀값에 기초하여 상기 커널 별로 텍스처(texture)가 플랫(flat) 영역인지를 판단하기 위한 제2 판단부; 및
    상기 복수의 픽셀값에 기초하여 상기 커널 별로 낮은 채도 영역인지를 판단하기 위한 제3 판단부를 포함하는 이미지 센싱 장치.
  14. 제13항에 있어서,
    상기 제3 판단부는,
    상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값이 속한 제1 컬러 채널의 픽셀값들의 제1 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제2 컬러 채널의 픽셀값들의 제2 평균값과 상기 타겟 커널에 포함된 상기 픽셀값들 중 제3 컬러 채널의 픽셀값들의 제3 평균값에 기초하여, 상기 타겟 커널이 낮은 채도 영역인지를 판단하는 이미지 센싱 장치.
  15. 제14항에 있어서,
    상기 제3 판단부는,
    상기 제1 평균값이 제2 기준값 이하이거나 또는 상기 제1 평균값이 제3 기준값 이하이면 상기 타겟 커널을 낮은 채도 영역이라고 판단하고,
    상기 제2 기준값은 상기 제2 평균값에서 제2 문턱값을 뺀 값이고,
    상기 제3 기준값은 상기 제3 평균값에서 제3 문턱값을 뺀 값인 이미지 센싱 장치.
  16. 제13항에 있어서,
    상기 제2 판단부는 상기 타겟 커널에 포함된 그린 채널의 픽셀값들에 기초하여 표준편차값을 계산하고, 상기 표준편차값이 제4 문턱값보다 이하일 때 상기 타겟 커널이 상기 플랫 영역임을 판단하는 이미지 센싱 장치.
  17. 제10항에 있어서,
    상기 보정기는 상기 타겟 커널에 포함된 상기 픽셀값들 중 타겟 픽셀값과 다른 컬러 채널에 속한 픽셀값들에 기초하여 상기 컬러 노이즈를 보정하는 이미지 센싱 장치.
  18. 제10항에 있어서,
    상기 시스템 정보는 아날로그 게인(analog gain) 값을 포함하는 이미지 센싱 장치.
  19. 커널 별로 채도와 텍스처(texture)를 판단하는 단계;
    타겟 커널이 낮은 채도 영역이면서 플랫(flat) 영역이면, 상기 타겟 커널에 포함된 픽셀값들 중 타겟 픽셀값의 컬러 노이즈(color noise)를 검출하는 단계; 및
    상기 컬러 노이즈를 보정하는 단계
    를 포함하는 이미지 센싱 장치의 동작방법.
  20. 제19항에 있어서,
    싱글 프레임(single frame)이 저조도인지를 판단하는 단계를 더 포함하고,
    상기 싱글 프레임이 저조도이면 상기 채도와 상기 텍스처를 판단하는 단계를 실시하는 이미지 센싱 장치의 동작방법.
KR1020210052598A 2021-04-22 2021-04-22 이미지 센싱 장치 및 그의 동작방법 KR20220145694A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210052598A KR20220145694A (ko) 2021-04-22 2021-04-22 이미지 센싱 장치 및 그의 동작방법
US17/492,037 US11889241B2 (en) 2021-04-22 2021-10-01 Image sensing device for detecting and correcting color noise of a target pixel value and operating method thereof
CN202210411644.4A CN115334210A (zh) 2021-04-22 2022-04-19 图像感测设备及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210052598A KR20220145694A (ko) 2021-04-22 2021-04-22 이미지 센싱 장치 및 그의 동작방법

Publications (1)

Publication Number Publication Date
KR20220145694A true KR20220145694A (ko) 2022-10-31

Family

ID=83693649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052598A KR20220145694A (ko) 2021-04-22 2021-04-22 이미지 센싱 장치 및 그의 동작방법

Country Status (3)

Country Link
US (1) US11889241B2 (ko)
KR (1) KR20220145694A (ko)
CN (1) CN115334210A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145694A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862613B2 (ja) * 2002-06-05 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
KR20070039032A (ko) * 2004-07-05 2007-04-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 카메라 컬러 잡음 감소 방법 및 회로
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
US20070035836A1 (en) * 2005-07-27 2007-02-15 Lyons James J Iii Retroreflector, retroreflector assembly, and method of making retroreflector and retroreflector assembly
KR100647402B1 (ko) * 2005-11-01 2006-11-23 매그나칩 반도체 유한회사 이미지 센서의 화질개선장치 및 그 방법
KR100780242B1 (ko) 2006-11-14 2007-11-27 삼성전기주식회사 이미지의 어두운 영역에서의 노이즈 제거 방법 및 장치
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
JP5677040B2 (ja) * 2010-11-08 2015-02-25 キヤノン株式会社 画像処理装置およびその制御方法
KR102310586B1 (ko) * 2015-04-21 2021-10-13 에스케이하이닉스 주식회사 비가시용 ｉｒ 픽셀에서의 가시용 컬러 노이즈 저감 기능을 갖는 4-컬러 픽셀 이미지 센서
KR20190119548A (ko) 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치
KR20220145694A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작방법

Also Published As

Publication number Publication date
US11889241B2 (en) 2024-01-30
US20220345674A1 (en) 2022-10-27
CN115334210A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US8571346B2 (en) Methods and devices for defective pixel detection
US8279303B2 (en) Imaging apparatus and flicker detection method
US7280135B2 (en) Pixel array, image sensor having the pixel array and method for removing flicker noise of the image sensor
USRE44717E1 (en) Edge detecting method
US20070064146A1 (en) System and Method for Image Sensor Element or Array with Photometric and Realtime Reporting Capabilities
EP1959678A2 (en) Image pickup apparatus and method for extending dynamic range thereof
WO2011152848A1 (en) Adaptive lens shading correction
US20060268135A1 (en) Dark current/channel difference compensated image sensor
KR20110125146A (ko) 광원의 특성을 이용한 이미지 처리 장치 및 방법
US20120162467A1 (en) Image capture device
US20110261235A1 (en) Imaging apparatus and its control method
US20080316333A1 (en) Imaging apparatus, imaging method, program, and integrated circuit
EP2165527A1 (en) Imaging apparatus and method of improving sensitivity of the same
KR20220145694A (ko) 이미지 센싱 장치 및 그의 동작방법
JP3884952B2 (ja) 撮像装置
JP4331120B2 (ja) 欠陥画素検出方法
JP2003189189A5 (ko)
KR101143834B1 (ko) 화이트 밸런스 보정 장치 및 방법
JP4061566B2 (ja) ブラックバランス調整方法、および撮像装置
US9007491B2 (en) Image processing apparatus and control method thereof
JP2007295260A (ja) 画像処理方法およびデジタルカメラ
JP3573442B2 (ja) テレビジョンカメラ
JP4281506B2 (ja) 映像信号処理装置、映像信号処理方法
JP2011049737A (ja) 撮像装置及びその露出制御方法
JP2008028634A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination