KR20230149503A - 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템 - Google Patents

이미지 프로세서 및 그를 포함하는 이미지 처리 시스템 Download PDF

Info

Publication number
KR20230149503A
KR20230149503A KR1020220048789A KR20220048789A KR20230149503A KR 20230149503 A KR20230149503 A KR 20230149503A KR 1020220048789 A KR1020220048789 A KR 1020220048789A KR 20220048789 A KR20220048789 A KR 20220048789A KR 20230149503 A KR20230149503 A KR 20230149503A
Authority
KR
South Korea
Prior art keywords
image
actual
virtual
pixels
phase detection
Prior art date
Application number
KR1020220048789A
Other languages
English (en)
Inventor
한지희
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020220048789A priority Critical patent/KR20230149503A/ko
Priority to US18/089,571 priority patent/US20230345139A1/en
Priority to CN202310272577.7A priority patent/CN116916174A/zh
Publication of KR20230149503A publication Critical patent/KR20230149503A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 일실시예는 이미지프로세서 및 그를 포함하는 이미지 처리 시스템에 관한 것으로, 제1 패턴으로 배열된 제1 노말픽셀들 및 제1 위상감지(phase detection)픽셀들에 대응하는 실제 입력이미지에 기초하여 상기 제1 위상감지픽셀들의 제1 위상감지픽셀값들이 보정된 실제 출력이미지를 생성하고, 제2 패턴으로 배열된 제2 노말픽셀들 및 제2 위상감지픽셀들에 대응하는 가상 입력이미지에 기초하여 상기 제2 위상감지픽셀들의 제2 위상감지픽셀값들이 보정된 가상 출력이미지를 생성하기 위한 제1 처리모듈; 상기 실제 입력이미지와 상기 실제 출력이미지에 기초하여 상기 실제 입력이미지와 상기 실제 출력이미지 간의 역이득(inverse gain)값들을 계산하기 위한 제2 처리모듈; 및 상기 실제 출력이미지와 상기 역이득값들에 기초하여 상기 가상 입력이미지를 생성하기 위한 제3 처리모듈를 포함하는 이미지프로세서를 제공한다.

Description

이미지 프로세서 및 그를 포함하는 이미지 처리 시스템{IMAGE PROCESSOR AND IMAGE PROCESSING SYSTEM INCLUDING THE SAME}
본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센서로부터 생성된 이미지를 처리하기 위한 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템에 관한 것이다.
이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.
상기 이미지 센서는 자동초점(auto focus) 기능을 지원할 수 있다. 상기 이미지 센서는 상기 자동초점 기능을 지원하기 위해 위상감지(phase detection)를 위한 위상감지픽셀들을 포함할 수 있다. 상기 이미지 센서에 포함된 픽셀어레이에서, 상기 위상감지픽셀들은 드물게(sparse) 배치될 수 있다. 상기 위상감지픽셀들은 컬러필터어레이(color filter array), 마이크로렌즈(micro-lens) 등의 양상에 따라 다양하게 배치될 수 있다.
본 발명의 실시예는 위상감지(phase detection)픽셀의 패턴(즉, 위치 및/또는 밀도(density))이 변경될 때 가상 입력이미지에 기초하여 ISP(image signal processing) 알고리즘을 미리 수정 및 검증할 수 있는 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템을 제공한다.
본 발명의 일 측면에 따르면, 이미지 센서는, 제1 패턴으로 배열된 제1 노말픽셀들 및 제1 위상감지(phase detection)픽셀들에 대응하는 실제 입력이미지에 기초하여 상기 제1 위상감지픽셀들의 제1 위상감지픽셀값들이 보정된 실제 출력이미지를 생성하고, 제2 패턴으로 배열된 제2 노말픽셀들 및 제2 위상감지픽셀들에 대응하는 가상 입력이미지에 기초하여 상기 제2 위상감지픽셀들의 제2 위상감지픽셀값들이 보정된 가상 출력이미지를 생성하기 위한 제1 처리모듈; 상기 실제 입력이미지와 상기 실제 출력이미지에 기초하여 상기 실제 입력이미지와 상기 실제 출력이미지 간의 역이득(inverse gain)값들을 계산하기 위한 제2 처리모듈; 및 상기 실제 출력이미지와 상기 역이득값들에 기초하여 상기 가상 입력이미지를 생성하기 위한 제3 처리모듈을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 처리 시스템은, 제1 패턴으로 배열된 제1 노말픽셀들 및 제1 위상감지(phase detection)픽셀들을 포함하고 상기 제1 노말픽셀들 및 상기 제1 위상감지(phase detection)픽셀들에 대응하는 실제 입력이미지를 생성하기 위한 이미지 센서; 및 상기 실제 입력이미지에 기초하여 실제 출력이미지를 생성하고, 상기 실제 입력이미지와 상기 실제 출력이미지를 기초로 한 역이득(inverse gain)값을 이용하여 상기 제1 패턴과 다른 제2 패턴을 가지는 가상 입력이미지를 생성하고, 상기 가상 입력이미지에 기초하여 가상 출력이미지를 생성하기 위한 이미지 프로세서를 포함할 수 있다.
본 발명의 실시예는 위상감지(phase detection)픽셀들의 패턴(즉, 위치 및/또는 밀도(density))이 변경된 이미지 센서가 제조되기 이전에 가상 입력이미지에 기초하여 ISP(image signal processing) 알고리즘을 미리 수정 및 검증함으로써 이미지 처리 시스템의 개발 시간을 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이미지 처리 시스템의 블록 구성도이다.
도 2는 도 1에 도시된 이미지센서의 블록 구성도이다.
도 3은 도 2에 도시된 픽셀어레이의 일예를 보인 도면이다.
도 4는 도 1에 도시된 이미지프로세서의 블록 구성도이다.
도 5는 도 4에 도시된 제1 처리모듈의 블록 구성도이다.
도 6 내지 도 10은 도 1에 도시된 이미지 처리 시스템의 동작을 설명하기 위한 도면들이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.
도 1에는 본 발명의 실시예에 따른 이미지 처리 시스템(10)이 블록 구성도로 도시되어 있다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지센서(100), 및 이미지프로세서(200)를 포함할 수 있다.
이미지센서(100)는 제1 노말픽셀들(R, G, B) 및 제1 위상감지(phase detection)픽셀들(LP, RP)에 대응하는 실제 입력이미지(IMG1)를 생성할 수 있다. 제1 노말픽셀들(R, G, B) 및 제1 위상감지픽셀들(LP, RP)은 제1 패턴으로 배열될 수 있다(도 3 참조).
이미지프로세서(200)는 상기 제1 패턴에 대응하는 실제 입력이미지(IMG1)에 기초하여 실제 출력이미지(IMGOUT1)를 생성할 수 있고, 상기 제1 패턴과 다른 제2 패턴에 대응하는 가상 입력이미지(IMG2)에 기초하여 가상 출력이미지(IMGOUT2)를 생성할 수 있다. 이미지프로세서(200)는 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1)를 기초로 한 역이득(inverse gain)값들을 이용하여 가상 입력이미지(IMG2)를 생성할 수 있다.
이미지프로세서(200)는 가상 입력이미지(IMG2)를 생성할 때 페데스탈(pedestal)을 고려할 수 있다. 예컨대, 이미지프로세서(200)는 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1)에 각각 상기 페데스탈에 대응하는 코드값(예: 64)을 반영하고 상기 코드값이 반영된 실제 입력이미지와 상기 코드값이 반영된 실제 출력이미지에 기초하여 상기 코드값이 반영된 역이득값을 계산하고 상기 코드값이 반영된 실제 출력이미지에 상기 코드값이 반영된 역이득값을 적용하고 상기 코드값을 보상함으로써([{IMG1-64}/{IMGOUT1-64}]*{IMGOUT1-64}+64), 상기 페데스탈을 고려한 가상 입력이미지(IMG2)를 생성할 수 있다. 상기 페데스탈은 이미 잘 알려진 기술이므로 자세한 설명은 생략한다.
도 2에는 도 1에 도시된 이미지센서(100)가 블록 구성도로 도시되어 있다.
도 2를 참조하면, 이미지센서(100)는 로우(row)제어기(110), 픽셀어레이(120), 램프신호생성기(130), 및 신호변환기(140)를 포함할 수 있다.
로우제어기(110)는 픽셀어레이(120)를 로우 별로 제어하기 위한 로우제어신호들(RCTRLs)을 생성할 수 있다. 예컨대, 로우제어기(110)는 픽셀어레이(120)의 제1 로우에 배열된 픽셀들을 제어하기 위한 제1 로우제어신호들을 생성할 수 있고, 픽셀어레이(120)의 제y 로우에 배열된 픽셀들을 제어하기 위한 제y 로우제어신호들을 생성할 수 있다(단, 'y'은 2 이상의 자연수).
픽셀어레이(120)는 복수의 로우와 복수의 컬럼의 교차점에 배열된 복수의 픽셀(R, G, B, LP, RP)을 포함할 수 있다(도 3 참조). 상기 복수의 픽셀(R, G, B, LP, RP)은 로우제어신호들(RCTRLs)에 기초하여 로우 별로 복수의 컬럼라인을 통해 픽셀신호들(PXOUTs)을 출력할 수 있다. 예컨대, 상기 복수의 픽셀(R, G, B, LP, RP) 중 상기 제1 로우에 배열된 픽셀들은 상기 제1 로우제어신호들에 기초하여 제1 단위로우시간 동안 픽셀신호들(PXOUTs)을 생성할 수 있고, 상기 복수의 픽셀(R, G, B, LP, RP) 중 상기 제y 로우에 배열된 픽셀들은 상기 제y 로우제어신호들에 기초하여 제y 단위로우시간 동안 픽셀신호들(PXOUTs)을 생성할 수 있다.
램프신호생성기(140)는 픽셀신호들(PXOUTs)의 전압레벨을 판단하기 위한 램프신호(VR)를 생성할 수 있다. 예컨대, 램프신호생성기(140)는 단위로우시간마다 예정된 패턴으로 램핑하는 램프신호(VR)를 반복적으로 생성할 수 있다.
신호변환기(140)는 램프신호(VRAMP)와 픽셀신호들(PXOUTs)에 기초하여 이미지(IMG1)를 생성할 수 있다.
도 3에는 도 2에 도시된 픽셀어레이(120)의 일예를 보인 도면이 도시되어 있다.
도 3을 참조하면, 픽셀어레이(120)는 제1 노말픽셀들(R, G, B)과 제1 위상감지픽셀들(LP, RP)이 상기 제1 패턴으로 배열될 수 있다. 제1 노말픽셀들(R, G, B)은 기본적으로 쿼드(quad)패턴으로 배열될 수 있고, 제1 위상감지픽셀들(LP, RP)은 제1 노말픽셀들(R, G, B) 사이에 드물게(sparse) 배치될 수 있다. 예컨대, 제1 위상감지픽셀들(LP, RP)은 서로 이웃하는 픽셀쌍을 포함할 수 있다. 상기 픽셀쌍 중 일측에 배치된 위상감지픽셀(LP)은 제1 컬러필터(예: B)를 가질 수 있고 타측에 배치된 위상감지픽셀(RP)은 제2 컬러필터(예: G)를 가질 수 있다. 본 발명의 실시예는 상기 제1 패턴에 한정되는 것은 아니며 다양한 패턴(예: 높은 동적 범위(high dynamic range) 패턴 등)에 적용 가능하다.
도 4에는 도 1에 도시된 이미지프로세서(200)가 블록 구성도로 도시되어 있다.
도 4를 참조하면, 이미지프로세서(200)는 제1 처리모듈(210), 제2 처리모듈(220), 및 제3 처리모듈(230)을 포함할 수 있다.
제1 처리모듈(210)은 실제 입력이미지(IMG1)에 기초하여 실제 출력이미지(IMGOUT1)를 생성할 수 있다. 실제 출력이미지(IMGOUT1)는 제1 노말픽셀들(R, G, B)의 보정된 제1 노말픽셀값들과 제1 위상감지픽셀들(LP, RP)의 보정된 제1 위상감지픽셀값들을 포함할 수 있다. 제1 처리모듈(210)은 가상 입력이미지(IMG2)에 기초하여 가상 출력이미지(IMGOUT2)를 생성할 수 있다. 가상 입력이미지(IMG2)는 상기 제2 패턴으로 배열된 제2 노말픽셀들(R', G', B') 및 제2 위상감지픽셀들(LP', RP')의 제2 노말픽셀값들 및 제2 위상감지픽셀값들을 포함할 수 있다. 가상 출력이미지(IMGOUT2)는 제2 노말픽셀들(R', G', B')의 보정된 제2 노말픽셀값들과 제2 위상감지픽셀들(LP', RP')의 보정된 제2 위상감지픽셀값들을 포함할 수 있다.
제2 처리모듈(230)은 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1)에 기초하여 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1) 간의 상기 역이득값들을 계산할 수 있다. 상기 역이득값들은 제1 역이득값들(GB_ratio)과 제2 역이득값들(GR_ratio)을 포함할 수 있다. 제1 역이득값들(GB_ratio)은 제1 노말픽셀들(R, G, B) 중 제1 위상감지픽셀들(LP, RP)의 주변에 배치된 제1 주변픽셀들의 제1 주변픽셀값들에 기초하여 계산될 수 있다. 예컨대, 제1 역이득값들(GB_ratio)은 다음의 '수학식 1'에 의해 정의될 수 있다.
여기서, 'PX_input_values'는 실제 입력이미지(IMG1)에 포함된 픽셀값들 중 상기 제1 주변픽셀값들에 대응하는 제1 입력픽셀값들일 수 있고, 'PX_output_values'는 실제 출력이미지(IMGOUT1)에 포함된 픽셀값들 중 상기 제1 주변픽셀값들에 대응하는 제1 출력픽셀값들일 수 있다.
즉, 제1 역이득값들(GB_ratio)은 상기 제1 입력픽셀값들과 상기 제1 출력픽셀값들 간의 비율일 수 있다.
제2 역이득값들(GR_ratio)은 제2 위상감지픽셀들(LP', RP') 중 제1 역이득값들(GB_ratio)을 적용하는 픽셀들과 다른 조건의 픽셀들에 적용하기 위해 생성될 수 있다. 제2 역이득값들(GR_ratio)은 다음의 '수학식 2'에 의해 정의될 수 있다.
여기서, 'α'는 오프셋(offset)값일 수 있다. 상기 오프셋값은 제2 위상감지픽셀들(LP', RP')의 컬러필터들의 파장 특성을 고려하여 설정된 값일 수 있다.
즉, 제2 역이득값들(GR_ratio)은 제1 역이득값들(GB_ratio)과 상기 오프셋값에 기초하여 계산될 수 있다.
제3 처리모듈(230)은 실제 출력이미지(IMGOUT1)와 상기 역이득값들에 기초하여 가상 입력이미지(IMG2)를 생성할 수 있다. 예컨대, 제3 처리모듈(230)은 상기 제2 패턴에 따라 실제 출력이미지(IMGOUT1)에 상기 역이득값들을 적용함으로써 가상 입력이미지(IMG2)를 생성할 수 있다.
도 5에는 도 4에 도시된 제1 처리모듈(210)이 블록 구성도로 도시되어 있다.
도 5를 참조하면, 제1 처리모듈(210)은 제1 보정모듈(211), 및 제2 보정모듈(213)을 포함할 수 있다.
제1 보정모듈(211)은 실제 입력이미지(IMG1)와 관련된 실제 보정이득(calibration gain)에 기초하여 제1 위상감지픽셀들(LP, RP)의 제1 위상감지픽셀값들을 1차적으로 보정할 수 있다. 제1 보정모듈(211)은 가상 입력이미지(IMG2)와 관련된 가상 보정이득에 기초하여 제2 위상감지픽셀들(LP', RP')의 제2 위상감지픽셀값들을 1차적으로 보정할 수 있다.
제2 보정모듈(213)은 실제 입력이미지(IMG1)와 관련된 실제 동적이득(dynamic gain)에 기초하여 상기 제1 위상감지픽셀값들을 2차적으로 보정함으로써 실제 출력이미지(IMGOUT1)를 생성할 수 있다. 제2 보정모듈(213)은 가상 입력이미지(IMG2)와 관련된 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 2차적으로 보정함으로써 가상 출력이미지(IMGOUT2)를 생성할 수 있다.
예컨대, 제1 보정모듈(211)은 제1 보정기(XGC), 제2 보정기(QGC), 및 제3 보정기(PGC)를 포함할 수 있다.
제1 보정기(XGC)는 제1 노말픽셀들(R, G, B)의 상기 제1 노말픽셀값들에 기초하여 제1 위상감지픽셀들(LP, RP)의 주변에 배치된 상기 제1 주변픽셀들의 상기 제1 주변픽셀값들을 보정하고 실제 입력이미지(IMG1)에 대응하는 제1 실제 보정이미지(IMG11)를 생성할 수 있다. 상기 제1 주변픽셀값들은 각각 제1 위상감지픽셀들(LP, RP)로 인해 발생한 크로스토크(crosstalk) 성분을 포함하기 때문에, 제1 보정기(XGC)는 상기 제1 주변픽셀값들로부터 상기 크로스토크 성분을 보상할 수 있다. 제1 보정기(XGC)는 제2 노말픽셀들(R', G', B')의 상기 제2 노말픽셀값들에 기초하여 제2 위상감지픽셀들(LP', RP')의 주변에 배치된 제2 주변픽셀들의 제2 주변픽셀값들을 보정하고 가상 입력이미지(IMG2)에 대응하는 제1 가상 보정이미지(IMG21)를 생성할 수 있다.
제2 보정기(QGC)는 제1 실제 보정이미지(IMG11)에 포함된 제1 보정픽셀값들에 기초하여 제1 노말픽셀들(R, G, B) 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형(imbalance)을 보정하고 제1 실제 보정이미지(IMG11)에 대응하는 제2 실제 보정이미지(IMG12)를 생성할 수 있다. 제2 보정기(QGC)는 제1 가상 보정이미지(IMG21)에 포함된 제2 보정픽셀값들에 기초하여 제2 노말픽셀들(R', G', B') 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형을 보정하고 제1 가상 보정이미지(IMG21)에 대응하는 제2 가상 보정이미지(IG22)를 생성할 수 있다.
제3 보정기(PGC)는 상기 실제 보정이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하고 제2 실제 보정이미지(IMG12)에 대응하는 제3 실제 보정이미지(IMG13)를 생성할 수 있다. 제3 보정기(PGC)는 제2 실제 보정이미지(IMG12)로부터 상기 실제 보정이득을 추출(또는 계산)하거나 또는 기저장된 상기 실제 보정이득을 이용할 수 있다. 제3 보정기(PGC)는 상기 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하고 제2 가상 보정이미지(IMG22)에 대응하는 제3 가상 보정이미지(IMG23)를 생성할 수 있다. 제3 보정기(PGC)는 제2 가상 보정이미지(IMG22)로부터 상기 가상 보정이득을 추출(또는 계산)하거나 또는 기저장된 상기 가상 보정이득을 이용할 수 있다.
제2 보정모듈(213)은 제4 보정기(QDPC)를 포함할 수 있다.
제4 보정기(QDPC)는 상기 실제 동적이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하고 제3 실제 보정이미지(IMG13)에 대응하는 실제 출력이미지(IMGOUT1)를 생성할 수 있다. 제4 보정기(QDPC)는 제3 실제 보정이미지(IMG13)로부터 상기 실제 동적이득을 추출할 수 있다. 예컨대, 제4 보정기(QDPC)는 제1 위상감지픽셀들(LP, RP)을 중심으로 기설정된 커널(kernel)에 포함된 제3 주변픽셀들의 제3 주변픽셀값들에 기초하여 적응적으로(adaptive) 적용 가능한 상기 실제 동작이득을 계산할 수 있다. 제4 보정기(QDPC)는 상기 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하고 제3 가상 보정이미지(IMG23)에 대응하는 가상 출력이미지(IMGOUT2)를 생성할 수 있다. 제4 보정기(QDPC)는 제3 가상 보정이미지(IMG23)로부터 상기 가상 동적이득을 추출할 수 있다. 예컨대, 제4 보정기(QDPC)는 제2 위상감지픽셀들(LP', RP')을 중심으로 기설정된 커널(kernel)에 포함된 제4 주변픽셀들의 제4 주변픽셀값들에 기초하여 적응적으로(adaptive) 적용 가능한 상기 가상 동작이득을 계산할 수 있다.
이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 처리 시스템(10)의 동작을 설명한다.
이미지센서(100)는 포화(saturation)되지 않는 조건의 밝은 배경(즉, 화이트(white) 배경)을 촬영하고 상기 밝은 배경에 대응하는 실제 입력이미지(IMG1)를 생성할 수 있다.
이미지프로세서(200)는 노말모드 시 실제 입력이미지(IMG1)에 기초하여 실제 출력이미지(IMGOUT1)를 생성할 수 있다. 이미지프로세서(200)는 검증모드 시 가상 입력이미지(IMG2)에 기초하여 가상 출력이미지(IMGOUT2)를 생성할 수 있다. 이미지프로세서(200)의 동작은 도 6 내지 도 10을 참조하여 설명한다.
먼저, 상기 노말모드에 따른 이미지프로세서(200)의 동작을 설명한다.
도 6에는 이미지프로세서(200)에 포함된 제1 보정기(XGC)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 6을 참조하면, 제1 보정기(XGC)는 제1 위상감지픽셀들(LP, RP)의 주변에 배치된 상기 제1 주변픽셀들의 상기 제1 주변픽셀값들을 보정하고 실제 입력이미지(IMG1)에 대응하는 제1 실제 보정이미지(IMG11)를 생성할 수 있다. 예컨대, 상기 제1 주변픽셀들은 제1 위상감지픽셀들(LP, RP)을 중심으로 6x5 커널에 포함된 픽셀들을 포함할 수 있다. 더욱 정확하게는, 상기 제1 주변픽셀들은 제1 위상감지픽셀들(LP, RP) 중 하나의 픽셀(LP)을 중심으로 5x5 커널에 포함된 픽셀들과 제1 위상감지픽셀들(LP, RP) 중 다른 픽셀(RP)을 중심으로 5x5 커널에 포함된 픽셀들을 포함할 수 있다. 상기 제1 주변픽셀값들은 각각 제1 위상감지픽셀들(LP, RP)로 인해 발생한 크로스토크(crosstalk) 성분을 포함하기 때문에, 제1 보정기(XGC)는 상기 제1 주변픽셀값들로부터 상기 크로스토크 성분을 보상할 수 있다.
도 7에는 이미지프로세서(200)에 포함된 제2 보정기(QGC)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 7을 참조하면, 제2 보정기(QGC)는 제1 실제 보정이미지(IMG11)에 포함된 제1 보정픽셀값들에 기초하여 제1 노말픽셀들(R, G, B) 중 동일한 컬러필터를 가지는 모든 2x2 픽셀들 간의 불균형(imbalance)을 보정하고 제1 실제 보정이미지(IMG11)에 대응하는 제2 실제 보정이미지(IMG12)를 생성할 수 있다.
도 8에는 이미지프로세서(200)에 포함된 제3 보정기(PGC)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 8을 참조하면, 제3 보정기(PGC)는 상기 실제 보정이득에 기초하여 상기 제1 위상감지픽셀값들을 1차적으로 보정하고 제2 실제 보정이미지(IMG12)에 대응하는 제3 실제 보정이미지(IMG13)를 생성할 수 있다. 예컨대, 제3 보정기(PGC)는 상기 제1 위상감지픽셀값들에 상기 실제 보정이득을 적용함으로써 제3 실제 보정이미지(IMG13)를 생성할 수 있다. 상기 실제 보정이득은 제3 보정기(PGC)에 의해 제2 실제 보정이미지(IMG12)에 포함된 픽셀값들에 기초하여 추출(또는 계산)되거나 또는 기저장될 수 있다.
도 9에는 이미지프로세서(200)에 포함된 제4 보정기(QDPC)의 동작을 설명하기 위한 도면이 도시되어 있다.
도 9를 참조하면, 제4 보정기(QDPC)는 상기 실제 동적이득에 기초하여 상기 제1 위상감지픽셀값들을 2차적으로 보정하고 제3 실제 보정이미지(IMG13)에 대응하는 제1 실제 출력이미지(IMGOUT1)를 생성할 수 있다. 제4 보정기(QDPC)는 제3 실제 보정이미지(IMG13)로부터 상기 실제 동적이득을 추출할 수 있다. 예컨대, 제4 보정기(QDPC)는 제1 위상감지픽셀들(LP, RP)을 중심으로 기설정된 커널(kernel)에 포함된 제3 주변픽셀들의 제3 주변픽셀값들에 기초하여 적응적으로(adaptive) 적용 가능한 상기 실제 동작이득을 계산할 수 있다.
다음, 상기 검증모드에 따른 이미지프로세서(200)의 동작을 설명한다.
제2 처리모듈(230)은 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1)에 기초하여 실제 입력이미지(IMG1)와 실제 출력이미지(IMGOUT1) 간의 상기 역이득값들을 계산할 수 있다. 상기 역이득값들은 제1 역이득값들(GB_ratio)과 제2 역이득값들(GR_ratio)을 포함할 수 있다. 제1 역이득값들(GB_ratio)은 제1 노말픽셀들(R, G, B) 중 제1 위상감지픽셀들(LP, RP)의 주변에 배치된 제1 주변픽셀들의 제1 주변픽셀값들에 기초하여 계산될 수 있다. 즉, 제1 역이득값들(GB_ratio)은 상기 제1 입력픽셀값들과 상기 제2 출력픽셀값들 간의 비율일 수 있다. 제2 역이득값들(GR_ratio)은 제2 위상감지픽셀들(LP', RP') 중 제1 역이득값들(GB_ratio)을 적용하는 픽셀들과 다른 조건의 픽셀들에 적용하기 위해 생성될 수 있다. 즉, 제2 역이득값들(GR_ratio)은 제1 역이득값들(GB_ratio)과 상기 오프셋값에 기초하여 계산될 수 있다.
제3 처리모듈(230)은 실제 출력이미지(IMGOUT1)와 상기 역이득값들에 기초하여 가상 입력이미지(IMG2)를 생성할 수 있다. 예컨대, 제3 처리모듈(230)은 상기 제2 패턴에 따라 실제 출력이미지(IMGOUT1)에 상기 역이득값들을 적용함으로써 가상 입력이미지(IMG2)를 생성할 수 있다.
도 10에는 가상 입력이미지(IMG2)를 설명하기 위한 도면이 도시되어 있다.
도 10에 도시된 바와 같이, 가상 입력이미지(IMG2)는 실제 입력이미지(IMG1)의 상기 제1 패턴과 다른 상기 제2 패턴에 대응할 수 있다. 즉, 가상 입력이미지(IMG2)는 제2 노말픽셀들(R', G', B')과, 제1 위상감지픽셀들(LP, RP)과 다른 위치에 배치된 제2 위상감지픽셀들(LP', RP')에 대응할 수 있다. 제1 위상감지픽셀들(LP, RP)과 같은 컬러필터를 가지는 제2 위상감지픽셀들(LP', RP')의 제2 주변픽셀들(KN1)은 제1 역이득값들(GB_ratio)이 적용될 수 있다. 제1 위상감지픽셀들(LP, RP)과 다른 컬러필터를 가지는 제2 위상감지픽셀들(LP', RP')의 제2 주변픽셀들(KN2)은 제2 역이득값들(GB_ratio)이 적용될 수 있다.
계속해서, 제1 보정기(XGC)는 제2 노말픽셀들(R', G', B')의 상기 제2 노말픽셀값들에 기초하여 제2 위상감지픽셀들(LP', RP')의 주변에 배치된 제2 주변픽셀들의 제2 주변픽셀값들을 보정하고 가상 입력이미지(IMG2)에 대응하는 제1 가상 보정이미지(IMG21)를 생성할 수 있다.
제2 보정기(QGC)는 제1 가상 보정이미지(IMG21)에 포함된 제2 보정픽셀값들에 기초하여 제2 노말픽셀들(R', G', B') 중 동일한 컬러필터를 가지는 모든 2x2 픽셀들 간의 불균형을 보정하고 제1 가상 보정이미지(IMG21)에 대응하는 제2 가상 보정이미지(IG22)를 생성할 수 있다.
제3 보정기(PGC)는 상기 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하고 제2 가상 보정이미지(IMG22)에 대응하는 제3 가상 보정이미지(IMG23)를 생성할 수 있다. 예컨대, 제3 보정기(PGC)는 상기 제2 위상감지픽셀값들에 상기 가상 보정이득을 적용함으로써 제3 가상 보정이미지(IMG23)를 생성할 수 있다. 상기 가상 보정이득은 제3 보정기(PGC)에 의해 제2 가상 보정이미지(IMG22)에 포함된 픽셀값들에 기초하여 추출(또는 계산)하거나 또는 기저장될 수 있다.
제4 보정기(QDPC)는 상기 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하고 제3 가상 보정이미지(IMG23)에 대응하는 가상 출력이미지(IMGOUT2)를 생성할 수 있다. 제4 보정기(QDPC)는 제3 가상 보정이미지(IMG23)로부터 상기 가상 동적이득을 추출할 수 있다. 예컨대, 제4 보정기(QDPC)는 제2 위상감지픽셀들(LP', RP')을 중심으로 기설정된 커널(kernel)에 포함된 제4 주변픽셀들의 제4 주변픽셀값들에 기초하여 적응적으로(adaptive) 적용 가능한 상기 가상 동작이득을 계산할 수 있다.
이와 같은 본 발명의 실시예에 따르면, 위상감지픽셀들의 패턴(즉, 위치 및/또는 밀도(density))이 변경된 이미지센서가 제조되기 이전에 가상 입력이미지에 기초하여 ISP(image signal processing) 알고리즘을 미리 수정 및 검증할 수 있는 이점이 있다.
본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.
예컨대, 본원발명의 실시예에서 픽셀어레이가 높은 동적 범위(high dynamic range) 패턴을 가질 경우 복수의 노출시간에 대응하는 복수의 출력이미지 각각에 역이득값을 적용해야 할 것이다.
10 : 이미지 처리 시스템 100 : 이미지센서
200 : 이미지프로세서

Claims (17)

  1. 제1 패턴으로 배열된 제1 노말픽셀들 및 제1 위상감지(phase detection)픽셀들에 대응하는 실제 입력이미지에 기초하여 상기 제1 위상감지픽셀들의 제1 위상감지픽셀값들이 보정된 실제 출력이미지를 생성하고, 상기 제1 패턴과 다른 제2 패턴으로 배열된 제2 노말픽셀들 및 제2 위상감지픽셀들에 대응하는 가상 입력이미지에 기초하여 상기 제2 위상감지픽셀들의 제2 위상감지픽셀값들이 보정된 가상 출력이미지를 생성하기 위한 제1 처리모듈;
    상기 실제 입력이미지와 상기 실제 출력이미지에 기초하여 상기 실제 입력이미지와 상기 실제 출력이미지 간의 역이득(inverse gain)값들을 계산하기 위한 제2 처리모듈; 및
    상기 실제 출력이미지와 상기 역이득값들에 기초하여 상기 가상 입력이미지를 생성하기 위한 제3 처리모듈
    을 포함하는 이미지 프로세서.
  2. 제1항에 있어서,
    상기 제1 위상감지픽셀들은 서로 이웃하는 적어도 하나의 픽셀쌍을 포함하고,
    상기 픽셀쌍은 제1 컬러필터를 가지는 제1 픽셀과 제2 컬러필터를 가지는 제2 픽셀를 포함하고,
    상기 제2 처리모듈은 상기 제1 픽셀과 상기 제2 픽셀의 주변에 배치된 주변픽셀들의 픽셀값들에 기초하여 상기 역이득값들을 계산하는 이미지 프로세서.
  3. 제1항에 있어서,
    상기 제1 위상감지픽셀들은 서로 이웃하는 적어도 하나의 제1 픽셀쌍과 서로 이웃하는 적어도 하나의 제2 픽셀쌍을 포함하고,
    상기 제1 픽셀쌍은 제1 컬러필터를 가지는 제1 픽셀과 제2 컬러필터를 가지는 제2 픽셀를 포함하고,
    상기 제2 픽셀쌍은 제3 컬러필터를 가지는 제3 픽셀과 상기 제2 컬러필터를 가지는 제4 픽셀을 포함하고,
    상기 역이득값들은 제1 역이득값들과 제2 역이득값들을 포함하고,
    상기 제2 처리모듈은 상기 제1 픽셀과 상기 제2 픽셀의 주변에 배치된 제1 주변픽셀들의 제1 픽셀값들에 기초하여 상기 제 1역이득값을 계산하고,
    상기 제2 처리모듈은 상기 제1 역이득값과 오프셋(offset)값에 기초하여 상기 제2 역이득값을 계산하는 이미지 프로세서.
  4. 제1항에 있어서,
    상기 제2 처리모듈은 상기 제1 노말픽셀들 중 상기 제1 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들에 기초하여 상기 역이득값들을 계산하는 이미지 프로세서.
  5. 제1항에 있어서,
    상기 제3 처리모듈은 상기 제2 패턴에 따라 상기 실제 출력이미지에 상기 역이득값들을 적용하는 이미지 프로세서.
  6. 제1항에 있어서,
    상기 제1 처리모듈은,
    상기 실제 입력이미지와 관련된 실제 보정이득(calibration gain)에 기초하여 상기 제1 위상감지픽셀값들을 보정하고, 상기 가상 입력이미지와 관련된 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하기 위한 제1 보정모듈; 및
    상기 실제 입력이미지와 관련된 실제 동적이득(dynamic gain)에 기초하여 상기 제1 위상감지픽셀값들을 보정함으로써 상기 실제 출력이미지를 생성하고, 상기 가상 입력이미지와 관련된 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정함으로써 상기 가상 출력이미지를 생성하기 위한 제2 보정모듈을 포함하는 이미지 프로세서.
  7. 제6항에 있어서,
    상기 제1 보정모듈은,
    상기 제1 노말픽셀들의 픽셀값들에 기초하여 상기 제1 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들을 보정하고 상기 실제 입력이미지에 대응하는 제1 실제 보정이미지를 생성하고, 상기 제2 노말픽셀들의 픽셀값들에 기초하여 상기 제2 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들을 보정하고 상기 가상 입력이미지에 대응하는 제1 가상 보정이미지를 생성하기 위한 제1 보정기;
    상기 제1 실제 보정이미지에 포함된 픽셀값들에 기초하여 상기 제1 노말픽셀들 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형(imbalance)을 보정하여 상기 제1 실제 보정이미지에 대응하는 제2 실제 보정이미지를 생성하고, 상기 제1 가상 보정이미지에 포함된 픽셀값들에 기초하여 상기 제2 노말픽셀들 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형을 보정하여 상기 제1 가상 보정이미지에 대응하는 제2 가상 보정이미지를 생성하기 위한 제2 보정기; 및
    상기 제2 실제 보정이미지로부터 상기 실제 보정이득을 추출하고 상기 실제 보정이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하여 상기 제2 실제 보정이미지에 대응하는 제3 실제 보정이미지를 생성하고, 상기 제2 가상 보정이미지로부터 상기 가상 보정이득을 추출하고 상기 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하여 상기 제2 가상 보정이미지에 대응하는 제3 가상 보정이미지를 생성하기 위한 제3 보정기를 포함하는 이미지 프로세서.
  8. 제6항에 있어서,
    상기 제2 보정모듈은,
    상기 제3 실제 보정이미지로부터 상기 실제 동적이득을 추출하고 상기 실제 동적이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하여 상기 제3 실제 보정이미지에 대응하는 상기 제1 실제 출력이미지를 생성하고, 상기 제3 가상 보정이미지로부터 상기 가상 동적이득을 추출하고 상기 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하여 상기 제3 가상 보정이미지에 대응하는 상기 가상 출력이미지를 생성하는 이미지 프로세서.
  9. 제1 패턴으로 배열된 제1 노말픽셀들 및 제1 위상감지(phase detection)픽셀들을 포함하고 상기 제1 노말픽셀들 및 상기 제1 위상감지(phase detection)픽셀들에 대응하는 실제 입력이미지를 생성하기 위한 이미지 센서; 및
    상기 실제 입력이미지에 기초하여 실제 출력이미지를 생성하고, 상기 실제 입력이미지와 상기 실제 출력이미지를 기초로 한 역이득(inverse gain)값을 이용하여 상기 제1 패턴과 다른 제2 패턴을 가지는 가상 입력이미지를 생성하고, 상기 가상 입력이미지에 기초하여 가상 출력이미지를 생성하기 위한 이미지 프로세서
    를 포함하는 이미지 처리 시스템.
  10. 제9항에 있어서,
    상기 제1 위상감지픽셀들은 서로 이웃하는 적어도 하나의 픽셀쌍을 포함하고,
    상기 픽셀쌍은 제1 컬러필터를 가지는 제1 픽셀과 제2 컬러필터를 가지는 제2 픽셀를 포함하고,
    상기 이미지 프로세서는 상기 제1 픽셀과 상기 제2 픽셀의 주변에 배치된 주변픽셀들의 픽셀값들에 기초하여 상기 역이득값들을 계산하는 이미지 처리 시스템.
  11. 제9항에 있어서,
    상기 제1 위상감지픽셀들은 서로 이웃하는 적어도 하나의 제1 픽셀쌍과 서로 이웃하는 적어도 하나의 제2 픽셀쌍을 포함하고,
    상기 제1 픽셀쌍은 제1 컬러필터를 가지는 제1 픽셀과 제2 컬러필터를 가지는 제2 픽셀를 포함하고,
    상기 제2 픽셀쌍은 제3 컬러필터를 가지는 제3 픽셀과 상기 제2 컬러필터를 가지는 제4 픽셀을 포함하고,
    상기 역이득값들은 제1 역이득값들과 제2 역이득값들을 포함하고,
    상기 이미지 프로세서는 상기 제1 픽셀과 상기 제2 픽셀의 주변에 배치된 제1 주변픽셀들의 제1 픽셀값들에 기초하여 상기 제1 역이득값들을 계산하고,
    상기 이미지 프로세서는 상기 제1 역이득값과 오프셋(offset)값에 기초하여 상기 제2 역이득값을 계산하는 이미지 처리 시스템.
  12. 제9항에 있어서,
    상기 이미지 프로세서는,
    상기 실제 입력이미지에 기초하여 상기 제1 위상감지픽셀들의 제1 위상감지픽셀값들이 보정된 상기 실제 출력이미지를 생성하고, 상기 제2 패턴으로 배열된 제2 노말픽셀들 및 제2 위상감지픽셀들에 대응하는 상기 가상 입력이미지에 기초하여 상기 제2 위상감지픽셀들의 제2 위상감지픽셀값들이 보정된 가상 출력이미지를 생성하기 위한 제1 처리모듈;
    상기 실제 입력이미지와 상기 실제 출력이미지에 기초하여 상기 역이득값들을 계산하기 위한 제2 처리모듈; 및
    상기 실제 출력이미지와 상기 역이득값들에 기초하여 상기 가상 입력이미지를 생성하기 위한 제3 처리모듈을 포함하는 이미지 처리 시스템.
  13. 제12항에 있어서,
    상기 제2 처리모듈은 상기 제1 노말픽셀들 중 상기 제1 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들에 기초하여 상기 역이득값들을 계산하는 이미지 처리 시스템.
  14. 제12항에 있어서,
    상기 제3 처리모듈은 상기 제2 패턴에 따라 상기 실제 출력이미지에 상기 역이득값들을 적용하는 이미지 처리 시스템.
  15. 제12항에 있어서,
    상기 제1 처리모듈은,
    상기 실제 입력이미지와 관련된 실제 보정이득(calibration gain)에 기초하여 상기 제1 위상감지픽셀값들을 보정하고, 상기 가상 입력이미지와 관련된 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하기 위한 제1 보정모듈; 및
    상기 실제 입력이미지와 관련된 실제 동적이득(dynamic gain)에 기초하여 상기 제1 위상감지픽셀값들을 보정함으로써 상기 실제 출력이미지를 생성하고, 상기 가상 입력이미지와 관련된 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정함으로써 상기 가상 출력이미지를 생성하기 위한 제2 보정모듈을 포함하는 이미지 처리 시스템.
  16. 제15항에 있어서,
    상기 제1 보정모듈은,
    상기 제1 노말픽셀들의 픽셀값들에 기초하여 상기 제1 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들을 보정하여 상기 실제 입력이미지에 대응하는 제1 실제 보정이미지를 생성하고, 상기 제2 노말픽셀들의 픽셀값들에 기초하여 상기 제2 위상감지픽셀들의 주변에 배치된 주변픽셀들의 픽셀값들을 보정하여 상기 가상 입력이미지에 대응하는 제1 가상 보정이미지를 생성하기 위한 제1 보정기;
    상기 제1 실제 보정이미지에 포함된 픽셀값들에 기초하여 상기 제1 노말픽셀들 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형(imbalance)을 보정하여 상기 제1 실제 보정이미지에 대응하는 제2 실제 보정이미지를 생성하고, 상기 제1 가상 보정이미지에 포함된 픽셀값들에 기초하여 상기 제2 노말픽셀들 중 동일한 컬러필터를 가지는 픽셀들 간의 불균형을 보정하여 상기 제1 가상 보정이미지에 대응하는 제2 가상 보정이미지를 생성하기 위한 제2 보정기; 및
    상기 제2 실제 보정이미지로부터 상기 실제 보정이득을 추출하고 상기 실제 보정이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하여 상기 제2 실제 보정이미지에 대응하는 제3 실제 보정이미지를 생성하고, 상기 제2 가상 보정이미지로부터 상기 가상 보정이득을 추출하고 상기 가상 보정이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하여 상기 제2 가상 보정이미지에 대응하는 제3 가상 보정이미지를 생성하기 위한 제3 보정기를 포함하는 이미지 처리 시스템.
  17. 제15항에 있어서,
    상기 제2 보정모듈은,
    상기 제3 실제 보정이미지로부터 상기 실제 동적이득을 추출하고 상기 실제 동적이득에 기초하여 상기 제1 위상감지픽셀값들을 보정하여 상기 제3 실제 보정이미지에 대응하는 상기 제1 실제 출력이미지를 생성하고, 상기 제3 가상 보정이미지로부터 상기 가상 동적이득을 추출하고 상기 가상 동적이득에 기초하여 상기 제2 위상감지픽셀값들을 보정하여 상기 제3 가상 보정이미지에 대응하는 상기 가상 출력이미지를 생성하는 이미지 처리 시스템.
KR1020220048789A 2022-04-20 2022-04-20 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템 KR20230149503A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220048789A KR20230149503A (ko) 2022-04-20 2022-04-20 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템
US18/089,571 US20230345139A1 (en) 2022-04-20 2022-12-28 Image processor and image processing system including the same
CN202310272577.7A CN116916174A (zh) 2022-04-20 2023-03-20 图像处理器及包括图像处理器的图像处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220048789A KR20230149503A (ko) 2022-04-20 2022-04-20 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템

Publications (1)

Publication Number Publication Date
KR20230149503A true KR20230149503A (ko) 2023-10-27

Family

ID=88360872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220048789A KR20230149503A (ko) 2022-04-20 2022-04-20 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템

Country Status (3)

Country Link
US (1) US20230345139A1 (ko)
KR (1) KR20230149503A (ko)
CN (1) CN116916174A (ko)

Also Published As

Publication number Publication date
CN116916174A (zh) 2023-10-20
US20230345139A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US8218037B2 (en) Techniques of modifying image field data by extrapolation
US7834921B1 (en) Compensation techniques for variations in image field data
US7907195B2 (en) Techniques for modifying image field data as a function of radius across the image field
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
US8203622B2 (en) Techniques for modifying image field data obtained using illumination sources
US7425933B2 (en) Systems and methods for correcting green disparity in imager sensors
US8013907B2 (en) System and method for adaptive local white balance adjustment
US8891899B2 (en) Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
KR20080078044A (ko) 이미지 노이즈를 감소시키는 방법 및 장치
WO2007133898A1 (en) Compensating for non-uniform illumination of object fields captured by a camera
CN1988594A (zh) 图像处理电路和图像处理方法
EP1003329A1 (en) Method and device for forming an image
JP3233601B2 (ja) 画像処理装置
JP2004320128A (ja) 欠陥画素補正装置
KR20230149503A (ko) 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템
JP2002112276A (ja) カラー固体撮像装置
US20220210351A1 (en) Image sensing device and operating method thereof
KR20060022574A (ko) 이미지센서의 색 보간 방법
US11431924B2 (en) Image capturing apparatus and control method thereof
US7636494B2 (en) Method and apparatus for correcting pixel image signal intensity
JP2003101884A (ja) シェーディング補正装置および方法
KR100793290B1 (ko) 이미지 센서의 렌즈 셰이딩 보정장치 및 보정방법
US7916188B2 (en) Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD
US20240212180A1 (en) Image processor and image processing system including the image processor
JP2006115275A (ja) 撮像装置