KR20140055538A - 이미지 장치 및 이미지 처리 방법 - Google Patents

이미지 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20140055538A
KR20140055538A KR1020120122561A KR20120122561A KR20140055538A KR 20140055538 A KR20140055538 A KR 20140055538A KR 1020120122561 A KR1020120122561 A KR 1020120122561A KR 20120122561 A KR20120122561 A KR 20120122561A KR 20140055538 A KR20140055538 A KR 20140055538A
Authority
KR
South Korea
Prior art keywords
color
light
data
photoelectric conversion
conversion layer
Prior art date
Application number
KR1020120122561A
Other languages
English (en)
Inventor
김태찬
백병준
이동재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120122561A priority Critical patent/KR20140055538A/ko
Priority to US13/963,606 priority patent/US20140118579A1/en
Priority to CN201310508615.0A priority patent/CN103795940A/zh
Priority to DE102013111712.0A priority patent/DE102013111712A1/de
Publication of KR20140055538A publication Critical patent/KR20140055538A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

다층 구조의 이미지 센서에서 발생할 수 있는 색 공간 왜곡을 보정하는 이미지 장치 및 이미지 처리 방법이 제공된다. 상기 이미지 장치는 제1 픽셀, 디지털화부 및 보정부를 포함한다. 상기 제1 픽셀은 제1 광전 변환층 및 상기 제1 광전 변환층 아래에 배치되는 제2 광전 변환층을 포함한다. 상기 제1 광전 변환층은 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 입사 광으로부터 제1 전기 신호를 출력한다. 상기 제2 광전 변환층은 상기 제1 광전 변환층을 통과한 투과 광으로부터 제2 전기 신호를 출력한다. 상기 디지털화부는 상기 제1 전기 신호를 디지털화하여 제1 원시 데이터를 생성하고 상기 제2 전기 신호를 디지털화하여 제2 원시 데이터를 생성한다. 상기 보정부는 상기 제1 원시 데이터 및 상기 제2 원시 데이터를 보정하여, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 및 상기 제2 컬러의 광에 대응하는 제2 보정 데이터를 생성한다.

Description

이미지 장치 및 이미지 처리 방법{Image apparatus and method for image processing}
본 발명의 기술적 사상은 이미지 센서와 이의 주변 회로에 관한 것으로서, 더욱 상세하게는, 다층 구조의 이미지 센서로부터 출력되는 복수의 컬러 데이터들을 보정하는 이미지 장치 및 이미지 처리 방법에 관한 것이다.
서로 다른 파장의 광을 흡수하여 전기 신호를 출력하는 광전 변환층들이 적층된 다층 구조의 이미지 센서가 제안되었다. 광전 변환층들을 적층하여 다층 구조를 이룸으로써, 동일한 면적을 차지하는 수평 구조의 이미지 센서에 비해 고선명 이미지를 얻을 수 있다. 그러나, 광이 광전 변환층을 통과하면서 다양한 흡수 분광학적 특성을 나타내게 되며, 이러한 특성으로 인하여 이미지 센서로부터 출력되는 컬러 데이터들은 색 공간이 왜곡되는 문제를 갖는다.
본 발명이 이루고자 하는 기술적 과제는 다층 구조의 이미지 센서에서 발생할 수 있는 색 공간 왜곡을 보정하는 이미지 장치 및 이미지 처리 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 장치는 제1 픽셀, 디지털화부 및 보정부를 포함한다. 상기 제1 픽셀은 제1 광전 변환층 및 상기 제1 광전 변환층 아래에 배치되는 제2 광전 변환층을 포함한다. 상기 제1 광전 변환층은 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 입사 광으로부터 제1 전기 신호를 출력한다. 상기 제2 광전 변환층은 상기 제1 광전 변환층을 통과한 투과 광으로부터 제2 전기 신호를 출력한다. 상기 디지털화부는 상기 제1 전기 신호를 디지털화하여 제1 원시 데이터를 생성하고 상기 제2 전기 신호를 디지털화하여 제2 원시 데이터를 생성한다. 상기 보정부는 상기 제1 원시 데이터 및 상기 제2 원시 데이터를 보정하여, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 및 상기 제2 컬러의 광에 대응하는 제2 보정 데이터를 생성한다.
상기 이미지 장치의 일 예에 따르면, 색 보간(color interpolation) 방법을 이용하여, 상기 제3 컬러의 광에 대응하는 보간 데이터를 생성하여, 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터로 이루어진 상기 제1 픽셀의 픽셀 데이터를 생성하는 보간부를 더 포함할 수 있다.
상기 이미지 장치의 다른 예에 따르면, 상기 제1 픽셀의 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터에 대하여 이미지 처리를 수행하는 신호 처리부를 더 포함할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 보정부는 상기 제1 원시 데이터와 상기 제2 원시 데이터를 2행 2열의 색 보정 매트릭스와 곱함으로써 상기 제1 보정 데이터 및 상기 제2 보정 데이터를 생성할 수 있다. 상기 색 보정 매트릭스의 계수들은 비휘발성 메모리에 저장될 수 있으며, 상기 색 보정 매트릭스의 계수들은 사용자에 의해 변경 가능할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 픽셀을 포함하는 픽셀 어레이를 더 포함할 수 있다. 또한, 상기 색 보정 매트릭스의 계수들은 상기 픽셀 어레이 내의 상기 제1 픽셀의 위치에 따라 달라질 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 컬러의 단색 광이 상기 제1 픽셀에 입사될 때는 상기 제2 보정 데이터가 0이고, 상기 제2 컬러의 단색 광이 상기 제1 픽셀에 입사될 때는 상기 제1 보정 데이터가 0이도록, 상기 색 보정 매트릭스의 계수들이 결정될 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 색 보정 매트릭스의 대각 성분들은 1일 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 보정 데이터는 상기 제1 원시 데이터와 제1 계수의 곱, 상기 제2 원시 데이터와 제2 계수의 곱, 및 제3 계수의 합으로 결정될 수 있다. 또한, 상기 제2 보정 데이터는 상기 제1 원시 데이터와 제4 계수의 곱, 상기 제2 원시 데이터와 제5 계수의 곱, 및 제6 계수의 합으로 결정될 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 광전 변환층은 상기 제2 컬러의 광 및 상기 제3 컬러의 광보다 상기 제1 컬러의 광을 더 흡수하는 유기 물질을 포함할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제2 광전 변환층은 상기 제1 컬러의 광 및 상기 제3 컬러의 광보다 상기 제2 컬러의 광을 더 흡수하는 유기 물질을 포함할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 픽셀은 상기 제1 광전 변환층과 상기 제2 광전 변환층 사이에, 상기 제2 컬러의 광만을 투과하는 컬러 필터층을 더 포함할 수 있다. 상기 제2 광전 변환층은 반도체 기판 내에 형성된 포토 다이오드를 포함할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제2 광전 변환층은 반도체 기판의 표면으로부터 제1 깊이에 형성된 PN 정션을 포함하고, 상기 제1 깊이는 상기 제2 컬러의 광이 상기 반도체 기판에 흡수되는 깊이에 의해 결정될 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 입사 광으로부터 제3 전기 신호를 출력하는 제3 광전 변환층, 및 상기 제3 광전 변환층 아래에 배치되고 상기 제3 광전 변환층을 통과한 투과 광으로부터 제4 전기 신호를 출력하는 제4 광전 변환층을 포함하는 제2 픽셀을 더 포함할 수 있다. 상기 디지털화부는 상기 제3 전기 신호를 디지털화하여 제3 원시 데이터를 생성하고 상기 제4 전기 신호를 디지털화하여 제4 원시 데이터를 생성할 수 있다. 상기 보정부는 상기 제3 원시 데이터 및 상기 제4 원시 데이터를 보정하여, 상기 제1 컬러의 광에 대응하는 제3 보정 데이터, 및 상기 제3 컬러의 광에 대응하는 제4 보정 데이터를 생성할 수 있다. 상기 제1 픽셀들과 상기 제2 픽셀들이 서로 교대로 배치되는 픽셀 어레이를 더 포함할 수 있다. 상기 제1 픽셀에 인접한 상기 제2 픽셀들의 상기 제4 보정 데이터들을 이용하여, 상기 제3 컬러의 광에 대응하는 상기 제1 픽셀의 제1 보간 데이터를 생성하고, 상기 제2 픽셀에 인접한 상기 제1 픽셀들의 상기 제2 보정 데이터들을 이용하여, 상기 제2 컬러의 광에 대응하는 상기 제2 픽셀의 제2 보간 데이터를 생성하는 보간부를 더 포함할 수 있다.
상기 이미지 장치의 또 다른 예에 따르면, 상기 제1 컬러는 녹색이고, 상기 제2 컬러와 상기 제3 컬러 중 하나는 적색이고 다른 하나는 청색일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 처리 방법에 따르면, 서로 적층된 2개의 광전 변환층들을 포함하는 픽셀로부터 2개의 전기 신호들이 수신된다. 상기 2개의 전기 신호들을 디지털화하여 2개의 원시 데이터들이 생성된다. 상기 2개의 원시 데이터들이 상기 픽셀에 입사되는 제1 컬러의 광 및 제2 컬러의 광에 각각 대응하는 제1 보정 데이터, 및 제2 보정 데이터로 변환된다. 색 보간 방법을 이용하여, 제3 컬러의 광에 대응하는 보간 데이터가 생성됨으로써, 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터로 이루어진 상기 픽셀의 픽셀 데이터가 생성된다.
상기 이미지 처리 방법의 일 예에 따르면, 상기 2개의 원시 데이터들을 제1 보정 데이터 및 제2 보정 데이터로 변환한 후에, 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터로 이루어진 상기 픽셀의 픽셀 데이터가 생성될 수 있다.
상기 이미지 처리 방법의 다른 예에 따르면, 상기 제1 픽셀의 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터에 대하여 색 보정(color calibration)이 수행되어, 제1 내지 제3 컬러 데이터들이 생성될 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 이미지 장치는 픽셀, 디지털화부 및 보정부를 포함한다. 상기 픽셀은 제1 광전 변환층, 상기 제1 광전 변환층 아래에 배치되는 제2 광전 변환층, 및 상기 제2 광전 변환층 아래에 배치되는 제3 광전 변환층을 포하한다. 상기 제1 광전 변환층은 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 광으로부터 제1 전기 신호를 출력한다. 상기 제2 광전 변환층은 상기 제1 광전 변환층을 통과한 광으로부터 제2 전기 신호를 출력한다. 상기 제3 광전 변환층은 상기 제2 광전 변환층을 통과한 광으로부터 제3 전기 신호를 출력한다. 상기 디지털화부는 상기 제1 전기 신호를 디지털화하여 제1 원시 데이터를 생성하고, 상기 제2 전기 신호를 디지털화하여 제2 원시 데이터를 생성하고, 상기 제3 전기 신호를 디지털화하여 제3 원시 데이터를 생성한다. 상기 보정부는 상기 제1 내지 제3 원시 데이터들을 보정하여, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 상기 제2 컬러의 광에 대응하는 제2 보정 데이터 및 상기 제3 컬러의 광에 대응하는 제3 보정 데이터를 생성한다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 처리 방법에 따르면, 서로 적층된 3개의 광전 변환층들을 포함하는 픽셀로부터 3개의 전기 신호들이 수신된다. 상기 3개의 전기 신호들을 디지털화하여 3개의 원시 데이터들이 생성된다. 상기 3개의 원시 데이터들은 상기 픽셀에 입사되는 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광에 각각 대응하는 제1 보정 데이터, 제2 보정 데이터 및 제3 보정 데이터로 변환된다.
상기 이미지 처리 방법의 일 예에 따르면, 상기 3개의 원시 데이터들이 제1 보정 데이터, 제2 보정 데이터 및 제3 보정 데이터로 변환되는 단계에서, 제1 색 보정 매트릭스를 이용하여 상기 3개의 원시 데이터들이 3개의 임시 데이터들로 변환된다. 또한, 상기 3개의 임시 데이터들의 노이즈가 감소된다. 또한, 제2 색 보정 매트릭스를 이용하여, 노이즈가 감소된 상기 3개의 임시 데이터들이 상기 제1 내지 제3 보정 데이터들로 변환된다.
상기 이미지 처리 방법의 다른 예에 따르면, 상기 제1 색 보정 매트릭스의 대각 성분들은 각각 1 이상 1.5 이하일 수 있다. 또한, 상기 제1 색 보정 매트릭스의 비대각 성분들은 절대값으로 0.8 이하일 수 있다.
상기 이미지 처리 방법의 또 다른 예에 따르면, 상기 제1 내지 제3 보정 데이터를 이미지 신호 프로세서의 메모리에 저장하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 이미지 장치는 픽셀 어레이, 데이터 출력부, 보정부를 포함한다. 상기 픽셀 어레이는 행 방향과 열 방향으로 배열된 픽셀들을 포함한다. 상기 데이터 출력부는 상기 픽셀 어레이의 상기 픽셀들을 래스터 주사 방식으로 스캔하여, 상기 픽셀들의 출력에 대응하는 픽셀 원시 데이터들을 순차적으로 출력한다. 상기 보정부는 상기 픽셀 원시 데이터들로부터 픽셀 보정 데이터들을 순차적으로 생성한다. 상기 픽셀들 각각은, 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 입사 광으로부터 제1 전기 신호를 출력하는 제1 광전 변환층, 및 상기 제1 광전 변환층 아래에 배치되고 상기 제1 광전 변환층을 통과한 투과 광으로부터 제2 전기 신호를 출력하는 제2 광전 변환층을 포함한다. 상기 픽셀 원시 데이터는 상기 제1 전기 신호와 상기 제2 전기 신호를 디지털화한 제1 원시 데이터 및 제2 원시 데이터를 포함한다. 상기 보정부는 상기 제1 및 제2 원시 데이터들을 기초로, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 및 상기 제2 컬러의 광에 대응하는 제2 보정 데이터를 포함하는 상기 픽셀 보정 데이터를 생성한다.
본 발명의 일 실시예에 따른 이미지 장치 및/또는 이미지 처리 방법에 따르면, 광이 광전 변환층을 통과함에 따라 흡수 분광학적 특성에 의해 발생되는 왜곡된 컬러 데이터를 사전에 보정함으로써, 색 공간 왜곡을 방지하고 고선명, 고품질의 이미지를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 장치의 개략적인 블록도이다.
도 2는 3개의 광전 변환층이 적층한 구조를 갖는 픽셀에서, 각 광전 변환층의 흡수 광학 특성을 예시적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 보정부의 기능을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지 장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 장치를 포함하는 시스템의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 장치의 픽셀들의 개략적인 단면도이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 이미지 장치의 픽셀들의 배치도들이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 이미지 장치의 픽셀의 개략적인 단면도들이다.
도 9는 본 발명의 일 실시예에 따른 이미지 장치의 보정부의 다른 예를 도시하는 블록도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 장치의 블록도이다.
도 12는 도 11의 보정부를 설명하기 위한 도면이다.
도 13는 도 11의 보정부의 다른 예를 설명하는 블록도이다.
도 14a 내지 도 14e는 도 11에 도시된 픽셀의 개략적인 단면도들이다.
도 15는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 16a는 본 발명의 일 실시예에 따른 이미지 처리 장치의 일 예를 나타내는 블록도를 나타내다.
도 16b는 본 발명의 일 실시예에 따른 이미지 처리 장치의 다른 예를 나타내는 블록도를 나타내다.
도 17은 본 발명의 일 실시예에 따른 이미지 처리 장치의 또 다른 예를 나타내는 블록도를 나타내다.
본 명세서에 제시되는 본 발명의 사상에 따른 실시예들은 본 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 더욱 완전하게 설명하기 위하여 제공되는 것이다. 본 명세서에 제시되는 실시예들은 여러 다른 형태로 변형될 수 있으며, 본 발명의 범위가 본 명세서에 제시되는 실시예들로 한정되지 않는다. 본 발명의 범위는 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
첨부된 도면들을 설명하면서 유사한 구성요소에 대해 유사한 참조 부호를 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확한 이해를 돕기 위하여 실제보다 확대하거나 축소하여 도시될 수 있다.
본 명세서에서 사용된 용어는 오로지 특정한 실시예를 설명하기 위해 사용된 것이며, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백히 다른 경우를 제외하고는 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 나열된 특징들의 존재를 특정하는 것이지, 하나 이상의 다른 특징들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 명세서에서, 용어 "및/또는"은 열거된 특징들 중 어느 하나 및 하나 이상의 모든 조합들을 포함하기 위해 사용된다. 본 명세서에서, "제1", "제2" 등의 용어가 다양한 특징들을 설명하기 위하여 하나의 특징을 다른 특징과 구별하기 위한 의도로만 사용되며, 이러한 특징들은 이들 용어에 의해 한정되지 않는다. 아래의 설명에서 제1 특징이 제2 특징과 연결, 결합 또는 접속된다고 기재되는 경우, 이는 제1 특징과 제2 특징 사이에 제3 특징이 개재될 수 있다는 것을 배제하지 않는다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 사상에 따른 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 장치의 개략적인 블록도이다.
도 1을 참조하면, 이미지 장치(1)는 픽셀(10), 디지털화부(20) 및 보정부(30)를 포함한다. 도 1에 도시된 바와 같이, 이미지 장치(1)는 보간부(40) 및 신호 처리부(50)를 더 포함할 수 있다.
이미지 장치(1)는 픽셀(10)을 포함하는 픽셀 어레이(12)를 포함할 수 있다. 픽셀 어레이(12)에는 픽셀들(10)이 행과 열로 배열될 수 있다. 픽셀 어레이(12)는 동종의 픽셀들(10)로만 이루어질 수도 있고, 이종의 픽셀들로 이루어질 수도 있다.
픽셀(10)은 광학 렌즈를 통해 입사되는 광을 전기 신호로 변환하여 출력한다. 일반적으로 광은 다양한 파장들을 갖는다. 예컨대, 광은 가시광 외에 적외선 광 또는 자외선 광을 포함할 수도 있다. 본 명세서에서, 광은 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 것으로 가정한다. 예컨대, 제1 컬러의 광은 녹색 광이고, 제2 컬러의 광과 제3 컬러의 광 중 하나는 적색 광이고 다른 하나는 청색 광일 수 있다. 그러나, 본 발명은 이러한 예로 한정되지 않는다. 예컨대, 제1 컬러의 광은 적외선 광이고, 제2 컬러의 광은 가시광이고, 제3 컬러의 광은 자외선 광일 수도 있다.
픽셀(10)은 제1 및 제2 광전 변환층들(L1, L2)을 포함한다. 제1 광전 변환층(L1)은 픽셀(10)에 입사하는 광으로부터 제1 전기 신호(S1)를 생성한다. 또한, 제2 광전 변환층(L2)은 제1 광전 변환층(L1)의 아래에 배치되고, 제1 광전 변환층(L1)을 통과한 광으로부터 제2 전기 신호(S2)를 생성한다. 본 발명의 일 실시예에 따른 픽셀(10)은 하나의 전기 신호를 출력하지 않고, 적어도 2개의 전기 신호를 출력한다.
디지털화부(20)는 제1 전기 신호(S1)와 제2 전기 신호(S2)를 각각 디지털화하여 제1 원시 데이터(D1)와 제2 원시 데이터(D2)를 생성한다. 디지털화부(20)는 제1 전기 신호(S1)와 제2 전기 신호(S2) 각각에 대하여 상관 이중 샘플링을 수행하고, 상관 이중 샘플링된 제1 및 제2 전기 신호들 각각을 램프 신호와 비교하여 비교 신호들을 생성하고, 상기 비교 신호를 카운팅함으로써 제1 전기 신호(S1)와 제2 전기 신호(S2) 각각에 대응하는 제1 원시 데이터(D1)와 제2 원시 데이터(D2)를 생성한다.
보정부(30)는 제1 원시 데이터(D1)와 제2 원시 데이터(D2)를 수신하여, 이들을 기초로 제1 보정 데이터(C1) 및 제2 보정 데이터(C2)를 생성한다. 제1 보정 데이터(C1)는 픽셀(10)에 입사하는 광에 포함된 제1 컬러의 광의 크기에 대응하는 값을 가질 수 있고, 제2 보정 데이터(C2)는 픽셀(10)에 입사하는 광에 포함된 제2 컬러의 광의 크기에 대응하는 값을 가질 수 있다.
제1 광전 변환층(L1)이 픽셀(10)에 입사하는 광에 포함된 제1 컬러의 광만을 흡수하고 제1 컬러의 광에 대응하는 제1 전기 신호(S1)를 출력하고, 제2 컬러의 광 및 제3 컬러의 광을 모두 투과시키고, 제2 광전 변환층(L2)은 제1 광전 변환층(L1)을 통과한 제2 컬러의 광만을 흡수하고 제2 컬러의 광에 대응하는 제2 전기 신호(S2)를 출력한다면, 제1 원시 데이터(D1)와 제2 원시 데이터(D2)가 보정될 필요가 없을 것이다. 그러나, 제1 광전 변환층(L1)은 제1 컬러의 광만을 흡수하는 것이 아니라 제2 컬러의 광과 제3 컬러의 광의 일부도 함께 흡수하고, 제1 컬러의 광의 일부를 제2 컬러의 광과 제3 컬러의 광과 함께 통과시킨다. 그 결과, 제1 광전 변환층(L1)으로부터 출력되는 제1 전기 신호(S1)에는 제1 컬러의 광에 대응하는 성분뿐만 아니라, 제2 컬러의 광 및 제3 컬러의 광에 대응하는 성분이 포함된다. 또한, 제2 광전 변환층(L2)으로부터 출력되는 제2 전기 신호(S2)에는 제2 컬러의 광에 대응하는 성분뿐만 아니라, 제1 컬러의 광 및 제3 컬러의 광에 대응하는 성분이 포함된다. 보정부(30)는 제1 전기 신호(S1)와 제2 전기 신호(S2)를 디지털화하여 생성되는 제1 원시 데이터(D1)과 제2 원시 데이터(D2)를 기초로, 제1 컬러의 광에 대응하는 제1 보정 데이터(C1) 및 제2 컬러의 광에 대응하는 제2 보정 데이터(C2)를 생성할 수 있다. 따라서, 픽셀이 적층 구조를 가짐에 따라 발생하는 컬러 간섭이 제거될 수 있다.
보간부(40)는 제3 컬러의 광의 크기에 대응하는 값을 갖는 보간 데이터(C3)를 생성할 수 있다. 보간부(40)는 픽셀(10)의 제1 보정 데이터(C1) 및 제2 보정 데이터(C2) 외에, 픽셀(10)에 인접한 인접 픽셀들의 보정 데이터들을 수신한다. 보간부(40)는 픽셀(10)에 인접하는 인접 픽셀들의 제3 컬러의 광에 대응하는 데이터들을 기초로 색 보간 방법을 이용하여 픽셀(10)의 제3 컬러의 광에 대응하는 보간 데이터(C3)를 생성할 수 있다. 따라서, 픽셀(10)의 픽셀 데이터가 생성된다. 픽셀 데이터는 제1 보정 데이터(C1), 제2 보정 데이터(C2) 및 보간 데이터(C3)로 이루어진다.
신호 처리부(50)는 픽셀(10)의 제1 보정 데이터(C1), 제2 보정 데이터(C2) 및 보간 데이터(C3)에 대하여 이미지 처리를 수행하여, 제1 컬러 데이터(C1'), 제2 컬러 데이터(C2') 및 제3 컬러 데이터(C3')를 생성할 수 있다. 신호 처리부(50)는 실제 피사체의 색상에 부합하는 컬러 데이터들을 생성하기 위해 색 보정(color calibration)을 수행한다. 예컨대, 조명으로 인한 컬러 왜곡이나, 밝기에 의한 컬러 왜곡 등을 수정하기 위한 것이다. 그 외에도, 신호 처리부(50)는 사용자의 컬러 설정을 반영하기 위한 색 보정을 수행할 수도 있다.
도 2는 3개의 광전 변환층이 적층한 구조를 갖는 픽셀에서, 각 광전 변환층의 흡수 광학 특성을 예시적으로 도시한다. 픽셀은 제1 광전 변환층(A), 제1 광전 변환층(A) 아래의 제2 광전 변환층(B), 및 제2 광전 변환층(B) 아래의 제3 광전 변환층(C)을 포함하는 것으로 가정한다.
도 2를 참조하면, 제1 광전 변환층(A)은 제1 파장 범위(λA) 내에서, 즉, 제1 파장(λa)에서 최대 흡광 특성을 나타낸다. 또한, 제2 광전 변환층(B)은 제2 파장 범위(λB) 내에서, 즉, 제2 파장(λb)에서 최대 흡광 특성을 나타내고, 제3 광전 변환층(C)은 제3 파장 범위(λC) 내에서, 즉, 제3 파장(λc)에서 최대 흡광 특성을 나타낸다.
도 2에 도시된 바와 같이, 제1 파장 범위(λA) 내의 광은 제2 광전 변환층(B) 및 제3 광전 변환층(C)에서도 흡수된다. 따라서, 제2 광전 변환층(B)과 제3 광전 변환층(C)이 출력하는 전기 신호들에는, 제2 광전 변환층(B)과 제3 광전 변환층(C)이 흡수한 제1 파장 범위(λA)의 광의 성분이 포함된다.
또한, 제2 파장 범위(λB) 내의 광도 제2 광전 변환층(B)뿐만 아니라 제1 광전 변환층(A) 및 제3 광전 변환층(C)에서도 흡수된다. 따라서, 제1 광전 변환층(A)과 제3 광전 변환층(C)이 출력하는 전기 신호들에는, 제1 광전 변환층(A)과 제3 광전 변환층(C)이 흡수한 제2 파장 범위(λB)의 광의 성분이 포함된다. 제3 파장 범위(λC) 내의 광은 제3 광전 변환층(C) 외에 제2 광전 변환층(B)에서도 흡수되는 것으로 도시된다. 따라서, 제2 광전 변환층(B)이 출력하는 전기 신호들에는, 제2 광전 변환층(B)이 흡수한 제3 파장 범위(λC)의 광의 성분이 포함된다.
따라서, 제1 광전 변환층(A)에서 출력되는 전기 신호가 제1 파장 범위(λA) 내의 광의 양에 대응하고, 제2 광전 변환층(B)에서 출력되는 전기 신호가 제2 파장 범위(λB) 내의 광의 양에 대응하고, 제3 광전 변환층(C)에서 출력되는 전기 신호가 제3 파장 범위(λC) 내의 광의 양에 대응한다고 가정할 경우, 정확한 컬러 데이터를 얻을 수 없다. 예컨대, 적색 단색광만이 픽셀에 입사되는 경우에도, 제2 광전 변환층(B)과 제3 광전 변환층(C)이 반응하여 전기 신호들을 방출할 것이고, 이를 디지털화한 컬러 데이터들은 완전한 적색을 표현하지 못하고, 다른 컬러가 섞인 붉은 색을 표현할 것이다. 따라서, 픽셀의 각 광전 변환층의 흡광 특성에 따른 색 간섭을 제거할 필요가 있다. 본 발명의 일 실시예에 따른 보정부(30)는 이러한 색 간섭을 제거하기 위한 것이다.
도 3은 본 발명의 일 실시예에 따른 보정부의 기능을 설명하기 위한 도면이다.
도 3을 참조하면, 제1 및 제2 보정 데이터들(C1, C2)은 제1 및 제2 원시 데이터들(D1, D2)을 색 보정 매트릭스(color correction matrix, CCM)과 곱함으로써 생성될 수 있다. 한 픽셀이 2개의 광전 변환층을 갖는 경우, 색 보정 매트릭스(CCM)는 2행 2열 매트릭스일 수 있다. 도 3의 (a)에 도시된 바와 같이, 색 보정 매트릭스(CCM)는 제1 내지 제4 계수들(c11, c12, c21, c22)을 가질 수 있다.
제1 보정 데이터(C1)는 제1 계수(c11)와 제1 원시 데이터(D1)의 곱, 및 제2 계수(c12)와 제2 원시 데이터(D2)의 곱의 합으로 결정될 수 있다. 또한, 제2 보정 데이터(C2)는 제3 계수(c21)와 제1 원시 데이터(D1)의 곱, 및 제4 계수(c22)와 제2 원시 데이터(D2)의 곱의 합으로 결정될 수 있다.
도 3(b)는 색 보정 매트릭스(CCM)의 계수들을 구하기 위한 방법을 설명하기 위한 것이다. 제1 및 제2 원시 데이터들(D1, D2)은 색 보정 매트릭스의 역행렬(CCM-1)과 제1 및 제2 보정 데이터들(C1, C2)의 곱으로 표현될 수 있다. 색 보정 매트릭스의 역행렬(CCM-1)는 제1 내지 제4 계수들(c11', c12', c21', c22')을 갖는 것으로 표현될 수 있다.
제1 및 제2 원시 데이터들(D1, D2)은 제1 및 제2 광전 변환층들(L1, L2)에서 출력되는 전기 신호들(S1, S2)을 양자화한 값이다. 제1 및 제2 보정 데이터들(C1, C2)은 픽셀에 입사한 광의 제1 컬러의 광의 성분 및 제2 컬러의 광의 성분에 대응하는 값이다. 따라서, 제1 컬러의 단색 광을 픽셀에 입사시키는 경우, 제1 보정 데이터(C1)는 상기 제1 컬러의 단색 광의 크기에 비례하는 값을 가져야 할 것이며, 제2 보정 데이터(C2)는 0이어야 한다. 이 경우, 제1 계수(c11')는 제1 보정 데이터(C1)의 값에 대한 제1 원시 데이터(D1)의 값의 비율, 즉, D1/C1으로 결정될 수 있다. 또한, 제3 계수(c21')는 제1 보정 데이터(C1)의 값에 대한 제2 원시 데이터(D2)의 값의 비율, 즉, D2/C1으로 결정될 수 있다.
반대로, 제2 컬러의 단색 광을 픽셀에 입사시키는 경우, 제2 보정 데이터(C2)는 상기 제2 컬러의 단색 광의 크기에 비례하는 값을 가져야 할 것이며, 제1 보정 데이터(C1)는 0이어야 한다. 이 경우, 제2 계수(c12')는 제2 보정 데이터(C2)의 값에 대한 제1 원시 데이터(D1)의 값의 비율, 즉, D1/C2으로 결정될 수 있다. 또한, 제4 계수(c22')는 제2 보정 데이터(C2)의 값에 대한 제2 원시 데이터(D2)의 값의 비율, 즉, D2/C2으로 결정될 수 있다.
이와 같이 결정된 제1 내지 제4 계수들(c11', c12', c21', c22')로 이루어진 행렬의 역행렬을 구함으로써, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c21, c22)이 계산될 수 있다.
도 3의 (b)를 참조하여, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c21, c22)을 계산하는 방법이 예시적으로 설명되었지만, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c21, c22)은 위의 방법에 의해서만 결정되는 것이 아니다. 예컨대, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c21, c22)은 사용자에 의해 설정될 수도 있다. 또한, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c21, c22)은 렌즈의 색 수차에 의한 효과를 제거하기 위해 픽셀의 픽셀 어레이 내의 위치에 따라 변경될 수도 있다.
도 3의 (c)는 색 보정 매트릭스(CCM)의 일 예를 나타낸다. 도 3의 (c)에 도시된 바와 같이, 색 보정 매트릭스(CCM)의 대각 성분, 즉, 제1 계수(c11) 및 제4 계수(c22)는 1로 설정할 수 있다. 이 경우, 곱셈기의 개수를 2개 줄일 수 있다. 도 3(a)의 색 보정 매트릭스(CCM)를 구현하기 위해서는, 4개의 곱셈기와 2개의 덧셈기가 필요하였으나, 도 3(c)의 색 보정 매트릭스(CCM)를 구현하기 위해서는 2개의 곱셈기와 2개의 덧셈기만이 필요하다. 이와 같이, 색 보정 매트릭스(CCM)의 대각 성분을 1로 설정할 수 있는 이유는 신호 처리부(50)에서 다시 색 보정이 수행될 수 있기 때문이다. 예컨대, 신호 처리부(50)는 화이트-밸런스와 같은 기능을 수행하기 위해 디지털 게인 블록(digital gain block)을 포함하기 때문에, 보정부(30)의 색 보정 매트릭스(CCM)의 행의 계수들의 합을 1로 맞추어야만 하는 것은 아니다.
도 3의 (d)를 참조하면, 보정부(30)는 색 보정 매트릭스(CCM) 외에 오프셋을 보정하기 위한 오프셋 행렬을 포함할 수 있다. 도 3(d)에 도시된 바와 같이, 제1 및 제2 보정 데이터들(C1, C2)은 제1 및 제2 원시 데이터들(D1, D2)을 색 보정 매트릭스(CCM)과 곱한 후, 오프셋 데이터들(O1, O2)을 각각 더함으로써 생성될 수 있다. 이러한 오프셋 데이터들은 다크 레벨 전류(dark level current) 등을 보정하기 위한 것이다.
도 4는 본 발명의 일 실시예에 따른 이미지 장치의 블록도이다.
도 4를 참조하면, 픽셀들(10)이 행과 열로 배열된 픽셀 어레이(12)가 도시된다. 수직-디코더(14)와 수평-디코더(16)는 어드레스에 대응하여 픽셀 어레이(12) 내의 픽셀을 선택할 수 있다. 수직-디코더(14)는 로우-디코더로 지칭될 수도 있으며, 로우 어드레스에 응답하여 로우 어드레스에 대응하는 픽셀 어레이(12)의 행을 활성화한다. 수평-디코더(15)는 컬럼-디코더로 지칭될 수도 있으며, 컬럼 어드레스에 응답하여 컬럼 어드레스에 대응하는 픽셀 어레이(12)의 컬럼을 활성화한다.
픽셀 어레이(12)의 픽셀들(10)은 광학 렌즈를 통해 입사되는 피사체의 이미지를 획득한 후에, 래스터 주사 방식으로 활성화된다. 즉, 픽셀 어레이(12) 내의 첫 행의 픽셀들(10)은 순차적으로 제1 및 제2 전기 신호들(S1, S2)을 출력한다. 그 후, 두 번째 행의 픽셀들(10)이 제1 및 제2 전기 신호들(S1, S2)을 순차적으로 출력한다. 이러한 방식으로 마지막 행의 픽셀들(10)까지 제1 및 제2 전기 신호들(S1, S2)을 순차적으로 출력한다. 이를 위해, 수직-디코더(14)는 픽셀 어레이(12)의 첫 행부터 마지막 행까지 순차적으로 활성화시킨다. 그리고, 수평-디코더(16)는 수직-디코더(14)가 어느 한 행의 픽셀들(10)을 활성화하고 있는 동안에 픽셀 어레이(12)의 전체 열을 순차적으로 활성화시킨다. 이러한 과정을 통해, 픽셀 어레이(12)의 픽셀들(10)은 래스터 주사 방식으로 제1 및 제2 전기 신호들(S1, S2)을 출력한다.
디지털화부(20)는 한 컬럼의 픽셀들(10)로부터 출력되는 제1 및 제2 전기 신호들(S1, S2)을 디지털 데이터인 제1 및 제2 원시 데이터(D1, D2)로 변환하는 아날로그-디지털 변환기(이하, 'ADC'로 지칭함)들을 포함한다. ADC는 제1 및 제2 원시 데이터(D1, D2)들은 버퍼(22)에 임시로 저장된다. 수평-디코더(16)는 버퍼(22)들에 저장된 제1 및 제2 원시 데이터(D1, D2)들이 순차적으로 출력되도록 버퍼들(22)을 제어할 수 있다. 예컨대, 가장 좌측의 버퍼(22)에 저장된 제1 및 제2 원시 데이터(D1, D2)를 출력하고, 그 다음 좌측의 버퍼(22)에 저장된 제1 및 제2 원시 데이터(D1, D2)를 출력하는 방식으로, 한 행의 픽셀들(10)의 제1 및 제2 원시 데이터들(D1, D2)이 순차적으로 출력될 수 있다. 이와 같이, 버퍼(22)를 통해서 픽셀들(10)의 제1 및 제2 원시 데이터들(D1, D2)이 순차적으로 출력되는 단계는 직렬화(serialization)로 지칭될 수 있다.
보정부(30)는 순차적으로 출력되는 제1 및 제2 원시 데이터들(D1, D2)을 수신하고, 전술한 색 보정 매트릭스를 이용하여 제1 및 제2 보정 데이터들(C1, C2)을 순차적으로 생성할 수 있다. 생성된 제1 및 제2 보정 데이터들(C1, C2)은 이미지 신호 프로세서(60)(이하, 'ISP'로 지칭함)로 출력된다. ISP(60)는 전체 픽셀들(10)의 제1 및 제2 보정 데이터들(C1, C2)을 수집할 수 있다. ISP(60)는 색 보간 방법을 이용하여, 전체 픽셀들(10)의 보간 데이터를 생성할 수 있다. 그 결과, 픽셀들(10) 각각에 대하여 제1 및 제2 보정 데이터들(C1, C2), 그리고 보간 데이터가 생성된다. 제1 및 제2 보정 데이터들(C1, C2) 및 보간 데이터는 픽셀(10)의 3개의 컬러 데이터들에 대응할 수 있다. 예컨대, 제1 및 제2 보정 데이터가 녹색 및 청색 데이터라면, 보간 데이터는 적색 데이터일 수 있다.
ISP(60)는 화이트 밸런스 조정, 명암 조정 등과 같은 다양한 색 보정을 수행할 수 있다.
통상적으로 픽셀 어레이(12) 및 수직 및 수평 디코더들(14, 16), 디지털화부(20), 및 버퍼들(22)은 이미지 센서에 포함될 수 있다. 보정부(30)는 버퍼들(22)의 후단에 배치되어 이미지 센서에 포함될 수 있다. 이 경우, 이미지 센서는 픽셀들(10)의 제1 및 제2 보정 데이터들(C1, C2)을 출력한다.
다른 예에 따르면, 보정부(30)는 ISP(60) 내에 포함될 수 있다. 이 경우, 이미지 센서는 제1 및 제2 원시 데이터들(D1, D2)을 출력하고, ISP(60)는 제1 및 제2 원시 데이터들(D1, D2)을 수신하여 제1 및 제2 보정 데이터들(C1, C2)을 생성하고, 생성된 제1 및 제2 보정 데이터들(C1, C2)에 대하여 보간, 및 색 보정과 같은 다양한 이미지 신호 처리들을 수행할 수 있다.
도 4에 도시된 본 발명의 일 실시예에 따른 이미지 장치의 블록도에 의하면, 픽셀들(10)로부터 출력되는 전기 신호들(S1, S2)은 디지털화부(20)의 ADC를 통해 원시 데이터들(D1, D2)로 변환된다. 원시 데이터들(D1, D2)은 버퍼들(22)에 임시 저장되어 있다가, 수평-디코더(16)의 제어에 따라 순차적으로 출력된다. 즉, 원시 데이터들(D1, D2)은 래스터 주사 방식에 의한 픽셀들(10)의 위치에 따라 직렬화된다. 보정부(30)는 직렬화된 원시 데이터들(D1, D2)을 수신하고, 이를 보정하여 보정 데이터들(C1, C2)로 변환한다. 보정 데이터들(C1, C2)은 ISP(60)에서 이미지 신호 처리된다.
본 발명의 다른 예에 따르면, 직렬화 단계 후에, 픽셀들(10)의 불균일한 전기적 특성들을 보상하기 위해서, 센서 보상 단계가 수행될 수 있다. 예컨대, 동일한 광량의 빛이 입사되더라도, 픽셀들마다 반응하는 정도가 달라 동일하지 않은 전기 신호를 출력할 수도 있다. 이러한 불균일성을 제거하기 위해, 센서 보상 단계가 수행될 수 있다. 센서 보상 단계는 보정부(30)에 의한 보정 단계와 동시에 수행될 수도 있다. 또한, 센서 보상 단계가 보정부(30)에 의한 보정 단계 후에 이루어질 수도 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 장치를 포함하는 시스템의 블록도이다.
도 5를 참조하면, 이미지 장치(100)는 픽셀(110), 디지털화부(120), 직렬화부(130), 보정부(140), 및 신호 처리부(150)를 포함할 수 있다. 픽셀(110)은 도 1에 도시된 픽셀(10)과 실질적으로 동일하다. 픽셀들(110)은 매트릭스로 배열되어 픽셀 어레이를 구성한다. 픽셀(110)은 제1 및 제2 광전 변환층들(L1, L2)을 포함한다. 제1 광전 변환층(L1)은 픽셀(110)에 입사하는 광으로부터 제1 전기 신호(S1)를 생성한다. 또한, 제2 광전 변환층(L2)은 제1 광전 변환층(L1)의 아래에 배치되고, 제1 광전 변환층(L1)을 통과한 광으로부터 제2 전기 신호(S2)를 생성한다. 본 발명의 일 실시예에 따른 픽셀(110)은 하나의 전기 신호를 출력하지 않고, 적어도 2개의 전기 신호를 출력한다.
디지털화부(120)는 도 1에 도시된 디지털화부(20)와 실질적으로 동일하다. 디지털화부(120)는 픽셀(110)로부터 출력되는 제1 및 제2 전기 신호들(S1, S2)을 각각 제1 및 제2 원시 데이터들(D1, D2)로 변환한다.
직렬화부(130)는 도 4에 도시되는 버퍼들(22)과 수평-디코더(16)에 의해 구현될 수 있으며, 전술한 바와 같이, 픽셀 어레이 내의 픽셀(110)들의 제1 및 제2 원시 데이터들(D1, D2)을 순차적으로 출력한다.
보정부(140)는 도 1에 도시된 보정부(30)과 실질적으로 동일하다. 보정부(140)는 순차적으로 출력되는 제1 및 제2 원시 데이터들(D1, D2)을 보정하여, 제1 및 제2 보정 데이터들(C1, C2)을 생성한다. 보정부(140)는 색 보정 매트릭스를 이용하여 제1 및 제2 원시 데이터들(D1, D2)을 제1 및 제2 보정 데이터들(C1, C2)로 변환할 수 있다. 전술한 바와 같이, 색 보정 매트릭스는 계수들을 포함할 수 있으며, 이 계수들의 값에 따라 색 보정 매트릭스의 특성 및 보정부(140)의 특성이 달라질 수 있다.
신호 처리부(150)는 색 보정된 제1 및 제2 보정 데이터들(C1, C2)을 이용하여 추가 색 보정, 화이트 밸런스, 노이즈 감소 및/또는 밝기 조절과 같은 다양한 이미지 신호 처리를 수행할 수 있다.
이미지 장치(100)는 데이터 버스(160)에 연결될 수 있다. 이미지 장치(100)는 데이터 버스(160)를 통해 연결될 수 있는 호스트 CPU(170)에 의해 제어될 수 있다. 또한, 데이터 버스(160)는 메모리(180)와 비휘발성 메모리(190)와 연결될 수도 있다.
메모리(180)는 이미지 장치(100)에 의해 획득된 이미지 데이터를 저장할 수 있다. 비휘발성 메모리(190)는 호스트 CPU(170)를 통해 상기 색 보정 매트릭스의 계수들이 저장될 수 있다. 사용자는 호스트 CPU(170)를 통해 상기 계수들을 변경할 수 있다. 또한, 상기 계수들은 픽셀 어레이 내의 픽셀의 위치에 따라 다른 값들을 가질 수 있다. 즉, 픽셀이 픽셀 어레이에서 중앙부에 위치하는 경우, 색 보정 매트릭스는 제1 세트의 계수들을 포함할 수 있다. 그러나, 픽셀이 픽셀 어레이에서 주변부에 위치하는 경우, 색 보정 매트릭스는 제2 세트의 계수들을 포함할 수 있다. 그 결과, 상기 시스템은 더욱 자연스럽고 선명한 고품질의 이미지를 획득할 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 장치의 픽셀들의 개략적인 단면도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 이미지 장치의 픽셀들은 2종류의 픽셀들, 즉, 제1 픽셀(PX1) 및 제2 픽셀(PX2)로 구성될 수 있다.
제1 픽셀(PX1)은 도 1에 도시된 픽셀(10)과 실질적으로 동일할 수 있다. 제1 픽셀(PX1)은 제1 및 제2 광전 변환층들(L1, L2)을 포함한다. 제1 광전 변환층(L1)은 제1 픽셀(PX1)에 입사하는 광으로부터 제1 전기 신호를 생성한다. 또한, 제2 광전 변환층(L2)은 제1 광전 변환층(L1)의 아래에 배치되고, 제1 광전 변환층(L1)을 통과한 광으로부터 제2 전기 신호를 생성한다. 즉, 제1 픽셀(PX1)은 제1 및 제2 전기 신호들을 출력할 수 있다.
제2 픽셀(PX2)은 제3 및 제4 광전 변환층들(L3, L4)을 포함한다. 제3 광전 변환층(L3)은 제2 픽셀(PX2)에 입사하는 광으로부터 제3 전기 신호를 생성한다. 또한, 제4 광전 변환층(L4)은 제3 광전 변환층(L3)의 아래에 배치되고, 제3 광전 변환층(L3)을 통과한 광으로부터 제4 전기 신호를 생성한다. 즉, 제2 픽셀(PX2)은 제3 및 제4 전기 신호들을 출력할 수 있다.
도 1에 도시된 디지털화부(20)는 제1 픽셀(PX1)로부터 출력되는 제1 및 제2 전기 신호들, 및 제2 픽셀(PX2)로부터 출력되는 제3 및 제4 전기 신호들을 수신하고, 제1 및 제4 전기 신호들을 각각 디지털화하여 제1 내지 제4 원시 데이터들을 생성한다.
또한, 도 1에 도시된 보정부(30)는 제1 및 제2 원시 데이터들을 기초로, 제1 컬러의 광에 대응하는 제1 보정 데이터 및 제2 컬러의 광에 대응하는 제2 보정 데이터를 생성할 수 있다. 또한, 보정부(30)는 제3 및 제4 원시 데이터들을 기초로, 제3 컬러의 광에 대응하는 제3 보정 데이터 및 제4 컬러의 광에 대응하는 제4 보정 데이터를 생성할 수 있다. 여기서, 제1 컬러와 제3 컬러는 동일한 컬러, 예컨대, 녹색일 수 있다. 또한, 제2 컬러는 적색이고 제4 컬러는 청색일 수 있다. 다른 예로서, 제1 컬러는 청색이고, 제3 컬러는 적색이며, 제2 컬러와 제4 컬러는 녹색일 수 있다.
도 1에 도시된 보간부(40)는 제1 픽셀(PX1)에 인접한 제2 픽셀들(PX2)의 상기 제4 보정 데이터들을 이용하여, 제3 컬러의 광에 대응하는 제1 픽셀(PX1)의 제1 보간 데이터를 생성할 수 있다. 또한, 보간부(40)는 제2 픽셀(PX2)에 인접한 제1 픽셀들(PX1)의 제2 보정 데이터들을 이용하여, 제2 컬러의 광에 대응하는 제2 픽셀(PX2)의 제2 보간 데이터를 생성할 수 있다.
예를 들면, 제1 보정 데이터와 제2 보정 데이터가 제1 픽셀(PX1)에 의해 생성되는 녹색 데이터와 적색 데이터이고, 제3 보정 데이터와 제4 보정 데이터가 제2 픽셀(PX2)에 의해 생성되는 녹색 데이터와 청색 데이터이라고 가정한다. 보간부(40)는 제1 픽셀(PX1)에 인접하는 제2 픽셀(PX2)들의 청색 데이터들을 이용하여 제1 픽셀(PX1)의 청색 데이터를 생성한다. 이와 마찬가지로, 보간부(400는 제2 픽셀(PX2)에 인접하는 제1 픽셀(PX1)들의 적색 데이터들을 이용하여 제2 픽셀(PX2)의 적색 데이터를 생성한다. 그 결과, 제1 픽셀(PX1)의 적색, 녹색, 및 청색 데이터들이 생성되고, 제2 픽셀(PX2)의 적색, 녹색 및 청색 데이터들이 생성된다.
제1 광전 변환층(L1)과 제3 광전 변환층(L3)은 동일한 컬러의 광에 주로 반응하여 전기 신호를 출력할 수도 있다. 예컨대, 제1 광전 변환층(L1)과 제3 광전 변환층(L3)은 녹색 광에 주로 반응할 수 있다. 제2 광전 변환층(L2)와 제4 광전 변환층(L4)은 서로 다른 컬러의 광에 주로 반응하여 전기 신호를 출력하는 층들일 수 있다. 예컨대, 제2 광전 변환층(L2)은 적색 광에 주로 반응하고, 제4 광전 변환층(L4)은 청색 광에 주로 반응할 수 있다.
대안적으로, 제2 광전 변환층(L2)과 제4 광전 변환층(L4)이 동일한 컬러의 광에 주로 반응하고, 제1 광전 변환층(L1)과 제3 광전 변환층(L3)은 서로 다른 컬러의 광에 주로 반응할 수도 있다. 예컨대, 제1 광전 변환층(L1)은 적색 광에 주로 반응하고, 제3 광전 변환층(L3)은 청색 광에 주로 반응하고, 제2 및 제4 광전 변환층(L2, L4)은 녹색 광에 주로 반응할 수도 있다.
복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들은 픽셀 어레이를 구성할 수 있으며, 픽셀 어레이 내에서 교대로 배치될 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 이미지 장치의 픽셀들의 배치도들이다.
도 7a 내지 도 7c를 참조하면, 픽셀 어레이를 구성하는 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들이 도시된다.
도 7a에 도시된 바와 같이, 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들은 수평 방향과 수직 방향으로 교대로 배치될 수 있다.
또한, 도 7b에 도시된 바와 같이, 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들은 수평 방향과 수직 방향 중 한 방향으로 교대로 배치될 수 있다.
또한, 도 7c에 도시된 바와 같이, 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들은 수평 방향과 수직 방향 중 한 방향으로 교대로 배치되고, 수평 방향과 수직 방향 중 다른 방향으로 지그 재그로 배치될 수 있다. 즉, 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들이 수평 방향으로 교대로 배치되는 경우에, 짝수 행의 픽셀들과 홀수 행의 픽셀들은 수평 방향으로 오프셋을 가질 수 있다. 오프셋의 크기는 한 픽셀의 수평 방향의 피치의 절반일 수 있다.
도 7a 내지 도 7c에 도시된 배치도들 외에 다양한 형태로 복수의 제1 픽셀(PX1)들과 복수의 제2 픽셀(PX2)들이 배치될 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 이미지 장치의 픽셀의 개략적인 단면도들이다.
도 8a를 참조하면, 제1 픽셀(PXa)이 도시된다. 제1 픽셀(PXa)의 제1 광전 변환층(L1a)은 제2 컬러의 광과 제3 컬러의 광보다 제1 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제1 광전 변환층(L1a)의 유기 물질은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는다. 제1 광전 변환층(L1a)의 유기 물질은 제2 컬러의 광과 제3 컬러의 광을 전혀 흡수하지 않고 전부 투과시키는 것이 바람직하지만, 실제로는 제2 컬러의 광과 제3 컬러의 광의 일부를 흡수한다. 또한, 제1 광전 변환층(L1a)의 유기 물질은 제1 컬러의 광을 전부 흡수하는 것이 바람직하겠지만, 실제로는 제1 컬러의 광을 전부 흡수하지는 못하고 일부의 제1 컬러의 광을 투과시킨다.
제1 픽셀(PXa)의 제2 광전 변환층(L2a)은 제1 컬러의 광과 제3 컬러의 광보다 제2 컬러의 광을 더 흡수하는 유기 물질을 포함할 수 있다. 즉, 제2 광전 변환층(L2a)의 유기 물질은 제2 컬러의 광이 갖는 파장 범위 내에서 최대 흡수 스펙트럼을 갖는다. 제2 광전 변환층(L2a)의 유기 물질이 제2 컬러의 광만을 흡수하는 것이 바람직하겠지만, 실제로는 제2 광전 변환층(L2a)의 유기 물질은 제1 컬러의 광이나 제3 컬러의 광도 일부 흡수한다.
구체적으로, 제1 및 제2 광전 변환층(L1a, L2a)은 제1 및 제2 전극들, 및 상기 제1 및 제2 전극들 사이에 형성되는 유기 물질층을 포함한다. 상기 제1 및 제2 전극은 투명한 도전성 물질로 형성될 수 있다. 상기 유기 물질층은 주로 흡수하는 광의 파장에 따라 서로 다른 유기 물질로 형성된다. 제1 및 제2 광전 변환층(L1a, L2a)에 입사되는 광은 상기 제1 전극을 통해 입사되는 것으로 가정한다.
상기 제1 전극의 일함수는 상기 제2 전극의 일함수보다 더 큰 값을 갖는다. 상기 제1 및 제2 전극들은 ITO, IZO, ZnO, SnO2, ATO(antimony-doped tin oxide), AZO(Al-doped zinc oxide), GZO(gallium-doped zinc oxide), TiO2 및 FTO(fluorine-doped tin oxide)으로 이루어진 그룹에서 선택되는 적어도 어느 하나의 산화물로 형성되는 투명 산화물 전극일 수 있다. 또한, 상기 제2 전극은 Al, Cu, Ti, Au, Pt, Ag, 및 Cr 으로 이루어진 군에서 선택되는 적어도 어느 하나의 금속으로 형성되는 금속 박막일 수도 있다. 상기 제2 전극이 금속으로 형성되는 경우, 투명성을 확보하기 위하여 20 nm이하의 두께로 형성될 수 있다.
상기 유기 물질층은 PN접합 구조를 갖는 P형 유기 물질층과 N형 유기 물질층을 포함한다. 상기 P형 유기 물질층은 상기 제1 전극에 접하여 형성되며, 상기 N형 유기 물질층은 상기 P형 유기 물질층과 상기 제2 전극 사이에 접하여 형성된다.
상기 P형 유기 물질층은 정공이 다수의 캐리어가 되는 반도체 물질로 이루어질 수 있고, 소망하는 파장 대역의 광을 흡수할 수 있는 물질이라면 특별히 제한되지 않는다. 상기 N형 유기 물질층은 전자가 다수의 캐리어가 되는 반도체 유기 물질로 이루어질 수 있고, 예를 들어 C60(Fullerene Carbon)으로 이루어질 수 있다.
상기 P형 유기 물질층과 상기 N형 유기 물질층 중 적어도 하나는 소망하는 파장 대역의 광만을 선택적으로 흡수하여 광전 변환을 일으키는 유기 물질로 형성될 수 있다. 소망하는 컬러의 광만을 통과시키고 투과되는 광의 파장 대역 이외의 파장 대역의 광을 선택적으로 흡수하여 광전 변환하기 위하여, 적색, 녹색, 및 청색 광전 변환층들은 서로 다른 유기 물질로 형성될 수 있다.
예를 들어, 청색 광전 변환층은, 청색 광 만을 흡수하여 광전 변환을 일으키는 물질인 TPD로 증착된 P형 유기 물질층과 C60로 증착된 N형 유기 물질층으로 이루어질 수 있다. 이러한 구조에서, 수광면으로부터 입사된 광에 의해 P형 유기 물질층에서 엑시톤(exciton)이 생성되며, P형 유기 물질층은 소망하는 파장의 광을 선택적으로 흡수할 수 있다.
다른 예로서, 광전 변환층의 P형 유기 물질층과 N형 유기 물질층 중 적어도 하나가 적외선 영역의 파장을 선택적으로 흡수하는 물질로 이루어질 수 있다. 상기 적외선 선택흡수성 물질은 유기안료 등의 유기 물질일 수 있으며, 예를 들어, 프탈로시아닌계, 나프토퀴논계, 나프탈로시아닌계, 피롤계, 고분자축합아조계, 금속착체유기계색소, 안트라퀴논계, 시아닌계, 및 이들의 혼합물 또는 복합체로 이루어진 군에서 선택될 수 있다. 또한 안티몬계 등의 무기물질과 혼합사용할 수도 있으며, 투명성을 확보하기 위해 나노 사이즈의 미세입자를 이용할 수 있다.
또 다른 예로서, 상기 제1 및 제2 전극들 사이에, 제1 P형 유기 물질층, 엑시톤 차단층, 제2 P형 유기 물질층, 및 N형 유기 물질층이 형성될 수 있다.
이 경우, 상기 제1 P형 유기 물질층은 수광면 측에 형성되고, 가시광선 영역 중 소망하는 광은 투과시키며, 소망하는 컬러의 파장 대역 이외의 파장 대역의 광은 선택적으로 흡수할 수 있는 흡광성 유기 물질의 조합으로 이루어질 수 있다. 상기 제2 P형 유기 물질층은 상기 제1 P형 유기 물질층의 하부에 형성되고, 소망하는 파장을 흡수할 수 있는 흡광성 유기 물질로 이루어질 수 있다. 상기 N형 유기 물질층은 상기 제2 P형 유기 물질층의 하부에 형성되고, PN 정션을 통해 광전 변환이 가능하며, 소망하는 컬러광을 전류로 변환할 수 있다.
또한, 상기 제1 P형 유기 물질층에서 형성된 엑시톤이 상기 제2 P형 유기 물질층 방향으로 이동하는 것을 억제시키기 위해, 상기 제1 P형 유기 물질층과 상기 제2 P형 유기 물질층 사이에는 엑시톤의 이동을 차단할 수 있는 상기 엑시톤 차단층이 형성될 수 있다. 상기 엑시톤 차단층의 밴드갭 에너지를 상기 제1 P형 유기 물질층에 비해 크게 만들면, 상기 제1 P형 유기 물질층에서 생성된 엑시톤의 에너지가 상기 엑시톤 차단층의 밴드갭 에너지보다 작기 때문에 전자가 이동할 수 없게 된다. 예를 들어, 올리고티오펜계 유도체 중 페닐헥사티오펜(Phenyl hexa thiophene; P6T)은 밴드갭 에너지가 약 2.1 eV 정도로서, 400 ~ 500 nm의 청색광 파장을 선택적으로 흡수할 수 있으므로 적색용 제1 P형 유기 물질층에 효과적으로 사용될 수 있다. 올리고티오펜계 유도체 중 비페닐트리티오펜(Bi-phenyl-tri-thiophene; BP3T)은 400 ~ 550 nm 범위의 청색광 파장을 효과적으로 차단할 수 있고, 밴드갭 에너지가 약 2.3 eV 정도로서 P6T에 비해 약 0.2 eV 높으므로 적색용 엑시톤 차단층에 효과적으로 사용될 수 있다.
상기 제2 P형 유기 물질층은 가시광선 전 영역의 파장을 흡수할 수 있는 흡광성 유기 물질, 예를 들어, CuPc(Copper phthalocyanine) 등의 프탈로시아닌 유도체가 사용될 수 있다.
또 다른 예로서, 상기 제1 및 제2 전극들 사이에, P형 유기 물질층, 인트린식층(intrinsic layer), 및 N형 유기 물질층이 형성될 수 있다. 상기 인트린식층은 상기 P형 유기 물질층과 상기 N형 유기 물질층 사이에서 P형 유기 재료와 N형 유기 재료를 공증착(codeposition)한다. 예컨대, 예를 들어, 녹색 픽셀의 경우, 상기 제1 및 제2 전극들 사이에, TPD로 이루어진 P형 유기 물질층, TPD 및 Me-PTC가 공증착된 인트린식층, NTCDA로 이루어진 N형 유기 물질층이 형성될 수 있다.
또 다른 예로서, 제1 전극과 P형 유기 물질층 사이에 제1 버퍼층이 형성될 수 있다. 상기 제1 버퍼층은 P형 유기 반도체 물질로 이루어지며, 전자를 차단하는 역할을 할 수 있다. 또한, 제2 전극과 N형 유기 물질층 사이에 제2 버퍼층이 형성될 수 있다. 상기 제2 버퍼층은 N형 유기 반도체 물질로 이루어지며, 정공를 차단하는 역할을 할 수 있다.
구체적인 예로서, 상기 제1 버퍼층은 폴리에틸렌 디옥시티오펜/폴리스티렌술폰산(PEDOT/PSS)일 수 있으나, 이에 한정되는 것은 아니다. 또한, 상기 제2 버퍼층은 BCP(2,9-dimethyl-4,7-diphenyl-1,10-phenanthroline), LiF, 구리 프탈로시아닌(copper phthalocyanine), 폴리티오펜 (polythiophene), 폴리아닐린(polyaniline), 폴리아세틸렌(polyacetylene), 폴리피롤(polypyrrole), 폴리페닐렌비닐렌(polyphenylenevinylene), 또는 이들의 유도체 등일 수 있으나, 이에 한정되지 않는다.
도 8b를 참조하면, 제2 픽셀(PXb)이 도시된다. 제2 픽셀(PXb)의 제1 광전 변환층(L1b)은 제2 컬러의 광과 제3 컬러의 광보다 제1 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제1 광전 변환층(L1b)의 유기 물질은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는다. 유기 물질을 포함하는 제1 광전 변환층(L1b)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
제2 픽셀(PXb)은 제1 광전 변환층(L1b) 아래에 컬러 필터(CF), 및 제2 광전 변환층(L2b)을 더 포함한다. 컬러 필터(CF)는 특정 파장 대역의 광만을 통과시키고 나머지 파장 대역의 광들을 차단할 수 있다. 예컨대, 컬러 필터(CF)는 적색 광, 녹색 광, 청색 광, 적외선 광 및 자외선 광 중 적어도 하나를 투과시키고 나머지들을 차단할 수 있다. 본 예에서, 제1 광전 변환층(L1b)와 제2 광전 변환층(L2b) 사이에 배치되는 컬러 필터(CF)는 제2 컬러의 광만을 투과시키고, 제1 컬러의 광 및 제3 컬러의 광을 차단할 수 있다.
제2 광전 변환층(L2b)은 반도체 기판 내에 형성된 포토 다이오드를 포함한다. 포토 다이오드는 예컨대 제1 도전형의 반도체 기판 내에 제2 도전형의 이온을 주입함으로써 형성될 수 있다. 예컨대, p형 반도체 기판 내에 n형 이온을 주입하여 포토 다이오드를 형성할 수 있다. 상기 포토 다이오드는 상기 컬러 필터(CF)를 통과하여 특정 파장 대역으로 필터링된 광을 흡수하여 전하를 방출한다.
또한, 다른 예로서, 제2 광전 변환층(L2b)은 반도체 기판 내에 형성된 N형의 포토 다이오드(NPD), 및 N형의 포토 다이오드(NPD) 상부의 P형의 핀드 포토 다이오드(pinned photo diodem PPD)를 포함할 수 있다. N형의 포토 다이오드(NPD)는 입사광에 대응하여 생성된 전하가 축적되고, P형의 핀드 포토 다이오드(PPD)는 반도체 기판에서 열적으로 생성된 EHP(Electron-Hole Pair)를 줄임으로써 암전류를 줄이는 역할을 할 수 있다. 또한, N형의 포토 다이오드(NPD) 아래의 반도체 기판 영역도 광전 변환 영역으로 사용될 수 있다. N형의 포토 다이오드(NPD)의 최대 불순물 농도는 1×1015 내지 1×1018 원자/cm3일 수 있고, P형의 핀드 포토 다이오드(PPD)의 불순물 농도는 1×1017 내지 1×1020 원자/cm3 일 수 있다. 다만, 도핑되는 농도 및 위치는 제조 공정 및 설계에 따라서 달라질 수 있으므로 이에 제한되지 않는다.
도 8c를 참조하면, 제3 픽셀(PXc)이 도시된다. 제3 픽셀(PXc)의 제1 광전 변환층(L1c)은 제2 컬러의 광과 제3 컬러의 광보다 제1 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제1 광전 변환층(L1c)의 유기 물질은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는다. 유기 물질을 포함하는 제1 광전 변환층(L1c)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
제3 픽셀(PXc)은 제1 광전 변환층(L1c) 아래에 제2 광전 변환층(L2c)을 포함한다. 제2 광전 변환층(L2c)은 반도체 기판 내에 형성된 PN 정션을 포함한다. 제3 픽셀(PXc)은 제2 픽셀(PXb)와 달리 컬러 필터를 포함하지 않는다. 다만, 제2 광전 변환층(L2c)은 반도체 기판의 표면으로부터 PN 정션까지의 거리(d)가 광전 변환하고자 하는 컬러의 광에 따라 다를 수 있다. 예컨대, 제2 광전 변환층(L2c)이 청색 광에 반응하고자 할 경우, 거리(d)는 청색 광이 반도체 기판에 침투할 수 있는 깊이를 고려하여 결정된다. 또한, 제2 광전 변환층(L2c)이 적색 광에 반응하고자 할 경우, 거리(d)는 적색 광이 반도체 기판에 침투할 수 있는 깊이를 고려하여 결정된다. 일반적으로, 광의 파장이 길수록 반도체 기판에 침투할 수 있는 깊이가 깊어진다. 따라서, 적색 광에 반응하는 광전 변환층의 PN 정션의 깊이는 청색 광에 반응하는 광전 변환층의 PN 정션의 깊이보다 깊다. 예컨대, 청색 광에 반응하는 광전 변환층의 PN 정션의 깊이는 약 0.2 ㎛일 수 있다. 녹색 광에 반응하는 광전 변환층의 PN 정션의 깊이는 약 0.6 ㎛일 수 있다. 적색 광에 반응하는 광전 변환층의 PN 정션의 깊이는 약 2.0 ㎛일 수 있다.
도 9는 본 발명의 일 실시예에 따른 이미지 장치의 보정부의 다른 예를 도시하는 블록도이다.
도 9를 참조하면, 보정부(30)는 제1 보정부(32), 노이즈 감소부(34) 및 제2 보정부(36)를 포함할 수 있다.
제1 보정부(32)와 제2 보정부(36)는 각각 도 3에 도시된 색 보정 매트릭스를 이용할 수 있다. 제1 보정부(32)는 제1 및 제2 원시 데이터들(D1, D2)에 대하여 제1 색 보정 매트릭스(CCM1)를 이용한 1차 보정을 수행하여, 제1 및 제2 임시 데이터(D1', D2')를 생성할 수 있다. 제1 색 보정 매트릭스(CCM1)의 대각 성분은 각각 1 이상 1.5 이하일 수 있으며, 제1 색 보정 매트릭스(CCM1)의 비대각 성분은 절대값으로 0.8 이하일 수 있다.
노이즈 감소부(34)는 제1 및 제2 임시 데이터(D1', D2')에 대하여 노이즈 감소를 수행할 수 있다. 노이즈 감소를 위해, 로우 패스 필터가 사용될 수 있다. 노이즈가 제거된 제1 및 제2 임시 데이터(D1'', D2'')가 생성될 수 있다.
제2 보정부(36)는 노이즈가 제거된 제1 및 제2 임시 데이터(D1'', D2'')에 대하여 제2 색 보정 매트릭스(CCM2)를 이용한 2차 보정을 수행하여, 제1 및 제2 보정 데이터들(C1, C2)을 생성할 수 있다.
도 9에 도시된 실시예에 따르는 보정부는 2번의 색 보정을 수행한다. 1번의 색 보정을 수행하는 경우, 색 보정 매트릭스의 계수의 절대 값이 2이상으로 커질 수 있다. 이는 노이즈가 증폭될 수 있음을 의미한다. 따라서, 1차 색 보정에 사용되는 제1 색 보정 매트릭스(CCM1)의 계수는 최대 1.5를 넘지 않는다.
그 후, 노이즈 감소를 위한 로우 패스 필터링을 하기 위해서는, 필터링하려는 픽셀과 이의 이웃하는 픽셀들의 데이터들이 필요할 수 있다. 도 4의 실시예에서, 버퍼(22)로부터 순차적으로 출력되는 원시 데이터들에 대하여 수행되지 않고, 전체 픽셀들의 원시 데이터들을 저장부에 저장한 후에, 전체 픽셀에 대하여 노이즈 감소가 수행될 수 있다. 따라서, 노이즈 감소부(34)는 도 4의 이미지 신호 프로세서(60)에 포함될 수 있다.
제2 보정부(36)는 노이즈 감소된 원시 데이터들에 대하여 2차 색 보정을 수행할 수 있다. 따라서, 제2 보정부(36)는 도 4의 이미지 신호 프로세서(60)에 포함될 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 10를 참조하면, 적층 구조의 픽셀로부터 2개의 전기 신호를 수신한다(S10). 이미지 센서는 픽셀들의 어레이를 포함한다. 본 발명의 이미지 처리 방법에 따르면, 픽셀들은 2개의 광전 변환층이 적층된 적층 구조를 갖는다. 상기 광전 변환층들 각각은 수광량에 대응하는 전기 신호를 출력한다.
2개의 전기 신호를 디지털화하여 2개의 원시 데이터를 생성한다(S20). 한 픽셀로부터 출력되는 2개의 전기 신호들을 각각 디지털화하여 2개의 원시 데이터들을 생성한다. 제1 원시 데이터는 제1 전기 신호를 기초로 생성되며, 제2 전기 신호에 의해 영향을 받지 않는다. 이와 마찬가지로 제2 원시 데이터는 제2 전기 신호를 디지털화하여 생성될 뿐이면, 제1 전기 신호에 의해 영향을 받지 않는다.
2개의 원시 데이터를 보정하여 2개의 보정 데이터를 생성한다(S30). 앞의 단계(S20)에 의해 생성된 2개의 원시 데이터들에 대하여 색 보정을 수행하여, 2개의 보정 데이터가 생성된다. 이 단계에서, 전술한 색 보정 매트릭스가 사용될 수 있다. 제1 보정 데이터는 제1 원시 데이터뿐만 아니라 제2 원시 데이터를 기초로 생성된다. 또한, 제2 보정 데이터도 제1 및 제2 원시 데이터들을 기초로 생성된다. 전술한 바와 같이, 이와 같이 원시 데이터를 보정 데이터로 변환하는 이유는 적층 구조의 픽셀이 갖는 구조적 문제로 인한 색 간섭을 제거하기 위한 것이다. 제1 광전 변환층에서 제1 컬러의 광에 대응하는 전기 신호를 출력하여야 하지만, 제1 광전 변환층의 앞에 컬러 필터를 사용하지 않고 제1 컬러의 광에 반응하는 유기 물질을 사용하기 때문에, 제2 컬러의 광 및 제3 컬러의 광의 성분들이 전기 신호로 함께 변환될 수 있다. 이러한 색 간섭은 구조적인 원인으로 인하여 일정한 비율로 발생한다. 본 단계(S30)에서 색 보정 매트릭스를 이용하여 이러한 색 간섭이 감소될 수 있다.
단계(S30)는 도 9에 도시된 실시예에 따라, 1차 색 보정 단계, 노이즈 감소 단계 및 2차 색 보정 단계를 포함할 수 있다. 1차 색 보정 단계에서, 2개의 원시 데이터들에 대하여 제1 색 보정 매트릭스를 이용하여 1차 색 보정이 수행될 수 있다. 그 결과로서 2개의 임시 데이터들이 생성될 수 있다. 2개의 임시 데이터들에 대하여 노이즈 감소를 위해 로우 패스 필터링이 수행될 수 있다. 그리고, 2차 색 보정 단계에서, 노이즈가 감소된 2개의 임시 데이터들에 대하여 제2 색 보정 매트릭스를 이용하여 2차 색 보정이 수행될 수 있다.
2개의 보정 데이터 외에 보간 데이터를 생성한다(S40). 보간 데이터는 색 보간 방법에 의해 생성될 수 있다. 단계(S30) 후에 픽셀 당 2개의 컬러 데이터, 즉, 제1 및 제2 보정 데이터가 생성되지만, 표준에 의하면 픽셀 당 3개의 컬러 데이터가 필요하다. 나머지 하나의 컬러 데이터는 주변 픽셀의 컬러 데이터를 이용하여 단계(S40)에서 생성한다. 단계(S40) 후에, 픽셀 당 3개의 컬러 데이터, 즉, 제1 및 제2 보정 데이터 및 보간 데이터가 생성된다.
제1 및 제2 보정 데이터 및 보간 데이터에 대하여, 이미지 신호 처리를 수행한다(S50). 단계(S50)에서, 색조 보정, 명조 보정, 채도 보정, 화이트 밸런스 조정, 조명에 따른 색 치우침 보정 등이 이루어질 수 있다. 이미지 신호 처리를 위해, 제1 및 제2 보정 데이터 및 보간 데이터는 이미지 신호 프로세서의 저장부에 저장될 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지 장치의 블록도이다.
도 11을 참조하면, 이미지 장치(200)는 픽셀(210), 디지털화부(220) 및 보정부(230)를 포함한다. 도 11에 도시된 바와 같이, 이미지 장치(200)는 이미지 신호 프로세서(240)를 더 포함할 수 있다.
이미지 장치(200)는 행과 열로 배열되는 복수의 픽셀들(210)을 포함하는 픽셀 어레이(212)를 포함할 수 있다. 픽셀 어레이(212)는 도 11에 도시되는 3층 구조의 픽셀들(210)로 이루어질 수 있다.
픽셀(210)은 광학 렌즈를 통해 입사되는 광을 전기 신호로 변환하여 출력한다. 예컨대, 광은 적외선 광, 가시광 및 자외선 광을 포함할 수도 있다. 본 명세서에서, 광은 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 것으로 가정한다. 예컨대, 제1 컬러의 광은 녹색 광이고, 제2 컬러의 광과 제3 컬러의 광 중 하나는 적색 광이고 다른 하나는 청색 광일 수 있다. 다른 예에 따르면, 제1 컬러의 광은 적외선 광이고, 제2 컬러의 광은 가시광이고, 제3 컬러의 광은 자외선 광일 수도 있다. 본 발명은 상술한 예들로 한정되지 않는다.
픽셀(210)은 제1 내지 제3 광전 변환층들(L1, L2, L3)을 포함한다. 제1 광전 변환층(L1)은 픽셀(210)에 입사하는 광으로부터 제1 전기 신호(S1)를 생성한다. 제2 광전 변환층(L2)은 제1 광전 변환층(L1)의 아래에 배치되고, 제1 광전 변환층(L1)을 통과한 광으로부터 제2 전기 신호(S2)를 생성한다. 제3 광전 변환층(L3)은 제2 광전 변환층(L2)의 아래에 배치되고, 제1 및 제2 광전 변환층들(L1, L2)을 통과한 광으로부터 제3 전기 신호(S3)를 생성한다. 본 발명의 일 실시예에 따른 픽셀(210)은 3개의 전기 신호를 출력한다.
디지털화부(220)는 제1 내지 제3 전기 신호들(S1, S2, S3)을 각각 디지털화하여 제1 내지 제3 원시 데이터들(D1, D2, D3)을 생성한다. 디지털화부(220)는 제1 내지 제3 전기 신호들(S1, S2, S3) 각각에 대하여 상관 이중 샘플링을 수행하고, 상관 이중 샘플링된 제1 내지 제3 전기 신호들(S1, S2, S3) 각각을 램프 신호와 비교하여 제1 내지 제3 비교 신호들을 생성하고, 상기 제1 내지 제3 비교 신호들을 각각 카운팅함으로써 제1 내지 제3 전기 신호들(S1, S2, S3) 각각에 대응하는 제1 내지 제3 원시 데이터들(D1, D2, D3)을 생성한다.
보정부(230)는 제1 내지 제3 원시 데이터들(D1, D2, D3)을 수신하고, 제1 내지 제3 원시 데이터들(D1, D2, D3)을 기초로 제1 내지 제3 보정 데이터들(C1, C2, C3)을 생성한다. 제1 보정 데이터(C1)는 픽셀(210)에 입사하는 광에 포함된 제1 컬러의 광의 크기에 대응하는 값을 가질 수 있고, 제2 보정 데이터(C2)는 픽셀(210)에 입사하는 광에 포함된 제2 컬러의 광의 크기에 대응하는 값을 가질 수 있고, 제3 보정 데이터(C3)는 픽셀(210)에 입사하는 광에 포함된 제3 컬러의 광의 크기에 대응하는 값을 가질 수 있다.
제1 광전 변환층(L1)으로부터 출력되는 제1 전기 신호(S1)는 제1 컬러의 광에 대응하는 성분뿐만 아니라, 제2 컬러의 광 및 제3 컬러의 광에 대응하는 성분을 포함한다. 또한, 제2 광전 변환층(L2)으로부터 출력되는 제2 전기 신호(S2)는 제2 컬러의 광에 대응하는 성분뿐만 아니라, 제1 컬러의 광 및 제3 컬러의 광에 대응하는 성분을 포함한다. 또한, 제3 전기 신호(S3)에는 제2 컬러의 광에 대응하는 성분뿐만 아니라, 제1 컬러의 광 및 제2 컬러의 광에 대응하는 성분이 포함된다. 보정부(230)는 제1 내지 제3 원시 데이터들(D1, D2, D3)을 기초로, 제1 컬러의 광에 대응하는 제1 보정 데이터(C1), 제2 컬러의 광에 대응하는 제2 보정 데이터(C2), 및 제3 컬러의 광에 대응하는 제3 보정 데이터(C3)를 생성할 수 있다. 보정부(230)에 의하여, 픽셀(210)이 3층 구조를 가짐에 따라 발생하는 컬러 간섭이 제거될 수 있다.
이미지 신호 프로세서(240)는 픽셀(10)의 제1 내지 제3 보정 데이터들(C1, C2, C3)에 대하여 이미지 신호 처리를 수행하여, 제1 컬러 데이터(C1'), 제2 컬러 데이터(C2') 및 제3 컬러 데이터(C3')를 생성할 수 있다. 이미지 신호 프로세서(240)는 실제 피사체의 색상에 부합하는 컬러 데이터들을 생성하기 위한 색 보정(color calibration)을 수행할 수 있다. 예컨대, 이러한 이미지 신호 처리에는, 명도 조정, 채도 조정, 밝기 조정, 조명으로 인한 컬러 왜곡, 화이트 밸런스 조정 등이 포함될 수 있다. 또한, 이미지 신호 프로세서(240)는 사용자의 의도적인 컬러 조정을 수행할 수도 있다.
도 12는 도 11의 보정부를 설명하기 위한 도면이다.
도 12를 참조하면, 제1 내지 제3 보정 데이터들(C1, C2, C3)은 제1 내지 제3 원시 데이터들(D1, D2, D3)을 색 보정 매트릭스(CCM)와 곱함으로써 생성될 수 있다. 도 11에 도시된 바와 같이, 픽셀이 3층 구조를 갖는 경우, 색 보정 매트릭스(CCM)는 3행 3열 매트릭스일 수 있다. 도 12의 (a)에 도시된 바와 같이, 색 보정 매트릭스(CCM)는 제1 내지 제9 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)을 가질 수 있다.
제1 보정 데이터(C1)는 제1 계수(c11)와 제1 원시 데이터(D1)의 곱, 제2 계수(c12)와 제2 원시 데이터(D2)의 곱, 및 제3 계수(c13)와 제3 원시 데이터(D3)의 곱의 합으로 결정될 수 있다. 제2 보정 데이터(C2)는 제4 계수(c21)와 제1 원시 데이터(D1)의 곱, 제5 계수(c22)와 제2 원시 데이터(D2)의 곱, 및 제6 계수(c23)와 제3 원시 데이터(D3)의 곱의 합으로 결정될 수 있다. 제3 보정 데이터(C3)는 제7 계수(c31)와 제1 원시 데이터(D1)의 곱, 제8 계수(c32)와 제2 원시 데이터(D2)의 곱, 및 제9 계수(c33)와 제3 원시 데이터(D3)의 곱의 합으로 결정될 수 있다.
도 12의 (b)는 색 보정 매트릭스(CCM)의 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)을 구하기 위한 방법을 설명하기 위한 것이다. 제1 내지 제3 원시 데이터들(D1, D2, D3)은 색 보정 매트릭스의 역행렬(CCM-1)과 제1 내지 제3 보정 데이터들(C1, C2, C3)의 곱으로 표현될 수 있다. 색 보정 매트릭스의 역행렬(CCM-1)는 제1 내지 제9 계수들(c11', c12', c13', c21', c22', c23', c31', c32', c33')을 가질 수 있다.
제1 내지 제3 원시 데이터들(D1, D2, D3)은 제1 내지 제3 광전 변환층들(L1, L2, L3)에서 출력되는 제1 내지 제3 전기 신호들(S1, S2, S3)을 각각 양자화한 것이다. 제1 내지 제3 보정 데이터들(C1, C2, C3)은 픽셀에 입사한 광 중에서, 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광에 각각 대응한다.
제1 컬러의 단색 광을 픽셀에 입사시키는 경우, 제1 보정 데이터(C1)는 상기 단색 광의 크기에 비례하는 값을 가져야 할 것이며, 제2 보정 데이터(C2)와 제3 보정 데이터(C3)는 0이어야 한다. 따라서, 제1 계수(c11')는 제1 보정 데이터(C1)의 값에 대한 제1 원시 데이터(D1)의 값의 비율, 즉, D1/C1으로 결정될 수 있다. 제4 계수(c21')는 제1 보정 데이터(C1)의 값에 대한 제2 원시 데이터(D2)의 값의 비율, 즉, D2/C1으로 결정될 수 있다. 제7 계수(c31')는 제1 보정 데이터(C1)의 값에 대한 제3 원시 데이터(D3)의 값의 비율, 즉, D3/C1으로 결정될 수 있다.
제2 컬러의 단색 광을 픽셀에 입사시키는 경우, 제2 보정 데이터(C2)는 상기 단색 광의 크기에 비례하는 값을 가져야 할 것이며, 제1 보정 데이터(C1)와 제3 보정 데이터(C3)는 0이어야 한다. 따라서, 제2 계수(c12')는 제2 보정 데이터(C2)의 값에 대한 제1 원시 데이터(D1)의 값의 비율, 즉, D1/C2으로 결정될 수 있다. 제5 계수(c22')는 제2 보정 데이터(C2)의 값에 대한 제2 원시 데이터(D2)의 값의 비율, 즉, D2/C2으로 결정될 수 있다. 제8 계수(c32')는 제2 보정 데이터(C2)의 값에 대한 제3 원시 데이터(D3)의 값의 비율, 즉, D3/C2으로 결정될 수 있다.
제3 컬러의 단색 광을 픽셀에 입사시키는 경우, 제3 보정 데이터(C3)는 상기 단색 광의 크기에 비례하는 값을 가져야 할 것이며, 제1 보정 데이터(C1)와 제2 보정 데이터(C2)는 0이어야 한다. 따라서, 제3 계수(c13')는 제3 보정 데이터(C3)의 값에 대한 제1 원시 데이터(D1)의 값의 비율, 즉, D1/C3으로 결정될 수 있다. 제6 계수(c23')는 제3 보정 데이터(C3)의 값에 대한 제2 원시 데이터(D2)의 값의 비율, 즉, D2/C3으로 결정될 수 있다. 제9 계수(c33')는 제3 보정 데이터(C3)의 값에 대한 제3 원시 데이터(D3)의 값의 비율, 즉, D3/C3으로 결정될 수 있다.
이와 같은 과정에 의해, 제1 내지 제9 계수들(c11', c12', c13', c21', c22', c23', c31', c32', c33')로 이루어진 색 보정 매트릭스의 역행렬(CCM-1)을 구할 수 있다. 따라서, 다시 역행렬을 수행함으로써, 색 보정 매트릭스(CCM)의 제1 내지 제9 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)이 계산될 수 있다.
도 3의 (b)를 참조하여, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)을 계산하는 방법이 예시적으로 설명되었지만, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)은 위의 방법에 의해서만 결정되는 것이 아니다. 예컨대, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)은 사용자에 의해 설정될 수도 있다. 또한, 색 보정 매트릭스(CCM)의 계수들(c11, c12, c13, c21, c22, c23, c31, c32, c33)은 렌즈의 색 수차에 의한 효과를 제거하기 위해 픽셀의 픽셀 어레이 내의 위치에 따라 변경될 수도 있다.
도 3의 (c)는 색 보정 매트릭스(CCM)의 일 예를 나타낸다. 도 3의 (c)에 도시된 바와 같이, 색 보정 매트릭스(CCM)의 대각 성분, 즉, 제1 계수(c11), 제5 계수(c22) 및 제9 계수(c33)는 1로 설정할 수 있다. 이 경우, 곱셈기의 개수를 3개 줄일 수 있다. 색 보정 매트릭스(CCM)의 대각 성분들을 1로 설정할 수 있는 이유는 이미지 신호 프로세서(240)에서 다시 색 보정이 수행될 수 있기 때문이다. 예컨대, 이미지 신호 프로세서(240)는 화이트-밸런스 조정과 같은 기능을 수행하기 위해, 디지털 게인 블록(digital gain block)을 포함한다. 따라서, 색 보정 매트릭스(CCM)의 행의 계수들의 합이 1로 고정되어야만 하는 것은 아니다.
도 3의 (d)를 참조하면, 보정부(230)는 색 보정 매트릭스(CCM) 외에 오프셋을 보정하기 위한 오프셋 행렬을 포함할 수 있다. 도 3의 (d)에 도시된 바와 같이, 제1 내지 제3 보정 데이터들(C1, C2, C3)은 제1 내지 제3 원시 데이터들(D1, D2, D3)을 색 보정 매트릭스(CCM)과 곱한 후, 오프셋 데이터들(O1, O2, O3)을 각각 더함으로써 생성될 수 있다. 이러한 오프셋 데이터들은 다크 레벨 전류(dark level current) 등을 보정하기 위한 것이다.
도 13는 도 11의 보정부의 다른 예를 설명하는 블록도이다.
도 13을 참조하면, 보정부(230)는 제1 보정부(232), 노이즈 감소부(234) 및 제2 보정부(236)를 포함할 수 있다.
제1 보정부(232)와 제2 보정부(236)는 각각 도 12에 도시된 색 보정 매트릭스(CCM)를 이용할 수 있다. 제1 보정부(232)는 제1 내지 제3 원시 데이터들(D1, D2, D3)에 대하여 제1 색 보정 매트릭스(CCM1)를 이용한 1차 보정을 수행하여, 제1 내지 제3 임시 데이터들(D1', D2', D3')을 생성할 수 있다. 제1 색 보정 매트릭스(CCM1)의 대각 성분들은 각각 1 이상 1.5 이하일 수 있으며, 제1 색 보정 매트릭스(CCM1)의 비대각 성분들은 절대값으로 0.8 이하일 수 있다.
노이즈 감소부(234)는 제1 내지 제3 임시 데이터들(D1', D2', D3')에 대하여 노이즈 감소를 수행할 수 있다. 노이즈 감소를 위해, 로우 패스 필터(low pass filter)가 사용될 수 있다. 노이즈가 감소된 제1 내지 제3 임시 데이터(D1'', D2'', D3'')가 생성될 수 있다.
제2 보정부(236)는 노이즈가 감소된 제1 내지 제3 임시 데이터(D1'', D2'', D3'')에 대하여 제2 색 보정 매트릭스(CCM2)를 이용한 2차 보정을 수행하여, 제1 내지 제3 보정 데이터들(C1, C2, C3)을 생성할 수 있다.
1번에 색 보정을 수행할 경우에 사용되는 색 보정 매트릭스의 계수들은 2보다 큰 값을 가질 수 있다. 이와 같이 큰 계수를 사용할 경우, 제1 내지 제3 원시 데이터들(D1, D2, D3)에 포함될 수 있는 노이즈가 증폭된다는 것을 의미한다. 따라서, 도 13에 제시되는 실시예에 따를 경우, 1차 색 보정에 사용되는 제1 색 보정 매트릭스(CCM1)의 계수를 1.5보다 크지 않게 한다.
노이즈 감소를 위한 로우 패스 필터링을 하기 위해서는, 필터링하려는 픽셀과 이의 이웃하는 픽셀들의 데이터들이 필요할 수 있다. 따라서, 전체 픽셀들의 원시 데이터들을 저장부에 저장한 후에, 전체 픽셀에 대하여 노이즈 감소가 수행될 수 있다. 이를 위해, 노이즈 감소부(234)와 노이즈 감소된 원시 데이터들에 대하여 2차 색 보정을 수행하는 제2 보정부(236)는 도 11의 이미지 신호 프로세서(240)에 통합될 수도 있다.
도 14a 내지 도 14e는 도 11에 도시된 픽셀(210)의 개략적인 단면도들이다.
도 14a를 참조하면, 픽셀은 각각 유기 물질을 포함하는 제1 내지 제3 광전 변환층들(L1a, L2a, L3a)을 포함할 수 있다. 제1 광전 변환층(L1a)은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함할 수 있다. 제2 광전 변환층(L2a)은 제2 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함할 수 있다. 제3 광전 변환층(L3a)은 제3 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함할 수 있다. 이 때, 제1 컬러는 녹색이고, 제2 컬러는 청색이고, 제3 컬러는 적색일 수 있다. 다른 예로서, 제1 컬러는 녹색이고, 제2 컬러는 적색이고, 제3 컬러는 청색일 수 있다. 또 다른 예로서, 제1 컬러는 적색이고, 제2 컬러는 녹색이고, 제3 컬러는 청색일 수 있다. 또 다른 예로서, 제1 컬러는 적색이고, 제2 컬러는 청색이고, 제3 컬러는 녹색일 수 있다. 또 다른 예로서, 제1 컬러는 청색이고, 제2 컬러는 적색이고, 제3 컬러는 녹색일 수 있다. 그러나, 전술한 예들로 본 발명이 한정되지 않는다.
제1 내지 제3 광전 변환층들(L1a, L2a, L3a) 각각은 도 7a에 도시된 제1 광전 변환층(L1a)과 실질적으로 동일하므로, 이들에 대한 자세한 설명을 반복하지 않는다.
도 14b를 참조하면, 픽셀은 유기 물질을 포함하는 제1 및 제2 광전 변환층들(L1b, L2b), 컬러 필터(CF) 및 포토 다이오드를 포함하는 반도체 기판으로 이루어지는 제3 광전 변환층(L3b)을 포함할 수 있다.
제1 광전 변환층(L1b)은 제2 컬러의 광과 제3 컬러의 광보다 제1 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제1 광전 변환층(L1b)은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함한다. 제1 광전 변환층(L1b)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
제2 광전 변환층(L2b)은 제1 컬러의 광과 제3 컬러의 광보다 제2 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제2 광전 변환층(L2b)은 제2 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함한다. 제2 광전 변환층(L2b)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
컬러 필터(CF)는 특정 파장 대역의 광만을 통과시키고 나머지 파장 대역의 광들을 차단할 수 있다. 예컨대, 컬러 필터(CF)는 적색 광, 녹색 광, 청색 광, 적외선 광 및 자외선 광 중 적어도 하나를 투과시키고 나머지들을 차단할 수 있다. 본 예에서, 컬러 필터(CF)는 제3 컬러의 광만을 투과시키고, 제1 컬러의 광 및 제2 컬러의 광을 차단할 수 있다.
제3 광전 변환층(L3b)은 반도체 기판 내에 형성된 포토 다이오드를 포함한다. 상기 포토 다이오드는 예컨대 p형 반도체 기판 내에 n형 이온을 주입함으로써 형성될 수 있다. 상기 포토 다이오드는 컬러 필터(CF)를 통과한 제3 컬러의 광을 흡수하여 전하를 방출한다.
도 14c를 참조하면, 픽셀은 유기 물질을 포함하는 제1 및 제2 광전 변환층들(L1c, L2c), 및 PN 정션을 포함하는 반도체 기판으로 이루어지는 제3 광전 변환층(L3c)을 포함할 수 있다.
제1 광전 변환층(L1c)은 제2 컬러의 광과 제3 컬러의 광보다 제1 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제1 광전 변환층(L1c)은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함한다. 제2 광전 변환층(L2c)은 제1 컬러의 광과 제3 컬러의 광보다 제2 컬러의 광을 더 흡수하는 유기 물질을 포함한다. 즉, 제2 광전 변환층(L2c)은 제2 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함한다. 제1 광전 변환층(L1c)과 제2 광전 변환층(L2c)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
제3 광전 변환층(L3c)은 반도체 기판 내에 형성된 PN 정션을 포함한다. 제3 광전 변환층(L3c)은 반도체 기판의 표면으로부터 제1 깊이에 PN 정션을 포함하며, 제1 깊이는 제3 컬러의 광에 따라 다를 수 있다. 제1 깊이는 제3 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 일반적으로, 광의 파장이 길수록 광이 반도체 기판에 침투할 수 있는 깊이가 깊어진다.
예컨대, 제3 컬러가 청색일 경우, 제3 광전 변환층(L3c)은 반도체 기판의 표면으로부터 약 0.2 ㎛ 아래에 PN 정션을 갖는다. 제3 컬러가 녹색일 경우, 제3 광전 변환층(L3c)은 반도체 기판의 표면으로부터 약 0.6 ㎛ 아래에 PN 정션을 갖는다. 제3 컬러가 적색일 경우, 제3 광전 변환층(L3c)은 반도체 기판의 표면으로부터 약 2.0 ㎛ 아래에 PN 정션을 갖는다.
도 14d를 참조하면, 픽셀은 유기 물질을 포함하는 제1 광전 변환층(L1d), 및 2개의 PN 정션이 형성된 반도체 기판을 포함하는 제2 광전 변환층(L2d)을 포함할 수 있다.
제1 광전 변환층(L1d)은 제1 컬러의 광이 갖는 파장 범위에서 최대 흡수 스펙트럼을 갖는 유기 물질을 포함한다. 제1 광전 변환층(L1d)은 도 8a를 참조로 전술된 제1 및 제2 광전 변환층(L1a, L2a)와 실질적으로 동일하므로 반복하여 설명하지 않는다.
제2 광전 변환층(L3d)은 반도체 기판 내에 형성된 제1 PN 정션 및 제2 PN 정션을 포함한다. 제2 광전 변환층(L2d)은 반도체 기판의 표면으로부터 제1 깊이(d1)에 형성된 제1 PN 정션을 포함한다. 제1 깊이(d1)는 제2 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 제2 광전 변환층(L2d)은 반도체 기판의 표면으로부터 제2 깊이(d2)에 형성된 제2 PN 정션을 포함한다. 제2 깊이(d2)는 제3 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 일반적으로, 광의 파장이 길수록 광이 반도체 기판에 침투할 수 있는 깊이가 깊어진다.
따라서, 제1 컬러가 적색인 경우, 제1 깊이(d1)는 청색광이 반도체 기판에 침투할 수 있는 깊이로 결정되고, 제2 깊이(d2)는 녹색광이 반도체 기판에 침투할 수 있는 깊이로 결정된다. 즉, 제1 깊이(d1)는 약 0.2 ㎛이고, 제2 깊이(d2)는 약 0.6 ㎛일 수 있다. 제1 컬러가 녹색인 경우, 제1 깊이(d1)는 청색광이 반도체 기판에 침투할 수 있는 깊이로 결정되고, 제2 깊이(d2)는 적색광이 반도체 기판에 침투할 수 있는 깊이로 결정된다. 즉, 제1 깊이(d1)는 약 0.2 ㎛이고, 제2 깊이(d2)는 약 2.0 ㎛일 수 있다. 제1 컬러가 청색인 경우, 제1 깊이(d1)는 녹색광이 반도체 기판에 침투할 수 있는 깊이로 결정되고, 제2 깊이(d2)는 적색광이 반도체 기판에 침투할 수 있는 깊이로 결정된다. 즉, 제1 깊이(d1)는 약 0.6 ㎛이고, 제2 깊이(d2)는 약 2.0 ㎛일 수 있다.
도 14e를 참조하면, 픽셀은 3개의 PN 정션이 형성된 반도체 기판을 포함하는 광전 변환층(Le)을 포함할 수 있다.
광전 변환층(Le)은 반도체 기판 내에 형성된 제1 내지 제3 PN 정션을 포함한다. 광전 변환층(Le)은 반도체 기판의 표면으로부터 제1 깊이(d1)에 형성된 제1 PN 정션, 반도체 기판의 표면으로부터 제2 깊이(d2)에 형성된 제2 PN 정션, 및 반도체 기판의 표면으로부터 제3 깊이(d3)에 형성된 제3 PN 정션을 포함한다. 제1 깊이(d1)는 제1 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 제2 깊이(d2)는 제2 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 제3 깊이(d3)는 제3 컬러의 광이 반도체 기판에 침투할 수 있는 깊이에 의해 결정된다. 일반적으로, 광의 파장이 길수록 광이 반도체 기판에 침투할 수 있는 깊이가 커지므로, 제1 컬러는 청색이고, 제2 컬러는 녹색이고, 제3 컬러는 적색이다. 따라서, 제1 깊이(d1)는 약 0.2 ㎛이고, 제2 깊이(d2)는 약 0.6 ㎛이며, 제3 깊이(d3)는 약 2.0 ㎛일 수 있다.
도 15는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 15를 참조하면, 적층 구조의 픽셀로부터 3개의 전기 신호를 수신한다(S110). 이미지 센서는 픽셀들의 어레이를 포함한다. 본 발명의 이미지 처리 방법에 따르면, 픽셀들은 3개의 광전 변환층이 적층된 적층 구조를 갖는다.
3개의 전기 신호를 디지털화하여 3개의 원시 데이터를 생성한다(S120). 한 픽셀로부터 출력되는 3개의 전기 신호들을 각각 디지털화하여 3개의 원시 데이터들을 생성한다.
3개의 원시 데이터를 보정하여 3개의 보정 데이터를 생성한다(S130). 앞의 단계(S120)에 의해 생성된 3개의 원시 데이터들에 대하여 색 보정을 수행하여, 3개의 보정 데이터가 생성된다. 이 단계에서, 도 12를 참조하여 설명한 색 보정 매트릭스가 사용될 수 있다. 제1 보정 데이터는 제1 내지 제3 원시 데이터들을 기초로 생성된다. 또한, 제2 보정 데이터도 제1 내지 제3 원시 데이터들을 기초로 생성되며, 제3 보정 데이터도 제1 내지 제3 원시 데이터들을 기초로 생성된다.
단계(S130)는 도 13에 도시된 실시예에 따라, 1차 색 보정 단계, 노이즈 감소 단계 및 2차 색 보정 단계를 포함할 수 있다. 1차 색 보정 단계에서, 3개의 원시 데이터들에 대하여 제1 색 보정 매트릭스를 이용하여 1차 색 보정이 수행될 수 있다. 그 결과로서 3개의 임시 데이터들이 생성될 수 있다. 3개의 임시 데이터들에 대하여 노이즈 감소를 위해 로우 패스 필터링이 수행될 수 있다. 그리고, 2차 색 보정 단계에서, 노이즈가 감소된 3개의 임시 데이터들에 대하여 제2 색 보정 매트릭스를 이용하여 2차 색 보정이 수행될 수 있다.
제1 내지 제3 제2 보정 데이터들에 대하여, 이미지 신호 처리를 수행한다(S50). 단계(S50)에서, 색조 보정, 명조 보정, 채도 보정, 화이트 밸런스 조정, 조명에 따른 색 치우침 보정 등이 이루어질 수 있다. 이미지 신호 처리를 위해, 제1 내지 제3 보정 데이터들은 이미지 신호 프로세서의 저장부에 저장될 수 있다.
도 16a는 본 발명의 일 실시예에 따른 이미지 처리 장치의 일 예를 나타내는 블록도를 나타내다.
도 16a를 참조하면, 이미지 처리 장치(1000a)는 휴대용 장치(portable device), 예컨대 디지털 카메라, 이동 전화기, 스마트폰(smart phone), 또는 태블릿 PC(tablet personal computer)로 구현될 수 있다.
이미지 처리 장치(1000a)는 광학 렌즈(1030), 이미지 센서(1100a), 디지털 신호 프로세서(1200a), 및 디스플레이(1300)를 포함한다.
이미지 센서(1100a)는 광학 렌즈(1030)를 통하여 촬영된 또는 캡쳐된 피사체 (1010)에 대한 보정된 이미지 데이터(CIDATA)를 생성한다. 예컨대, 이미지 센서(1100)는 CMOS 이미지 센서로 구현될 수 있다.
이미지 센서(1100a)는 픽셀 어레이(1120), 로우 드라이버(1130), 타이밍 생성기(1140), 상관 이중 샘플링(correlated double sampling(CDS)) 블록(1150), 비교 블록(1152), 및 아날로그-디지털 변환 블록(1154), 제어 레지스터 블록(1160), 램프 신호 생성기(1170), 및 버퍼(1180)를 포함한다.
픽셀 어레이(1120)는 매트릭스(matrix) 형태로 배열된 다수의 픽셀들(1110)을 포함한다. 픽셀들(1110) 각각은 전술한 바와 같이 서로 적층된 적어도 2개의 광전 변환층들을 포함하며, 적어도 2개의 전기 신호들을 출력한다.
로우 드라이버(1130)는 타이밍 생성기(1140)의 제어에 따라 다수의 픽셀들(1110) 각각의 동작을 제어하기 위한 다수의 제어 신호들(TG, RG, SEL, 또는 TG2)을 픽셀 어레이(1120)로 드라이빙한다.
타이밍 생성기(1140)는 제어 레지스터 블록(1160)의 제어에 따라 로우 드라이버(1130), CDS 블록(1150), 아날로그-디지털 변환 블록(1154), 및 램프 신호 생성기(1170)의 동작을 제어한다.
CDS 블록(1150)은 픽셀 어레이(1120)에 구현된 다수의 컬럼 라인들 각각으로부터 출력된 각 픽셀 전기 신호(P1~Pm; m은 자연수)에 대해 상관 이중 샘플링을 수행한다. 픽셀 전기 신호(P1~Pm)이 하나의 선으로 표시되어 있지만, 한 픽셀(1110)에서 출력되는 전기 신호들의 개수와 동일하다. 즉, 한 픽셀(1110)에서 3개의 전기 신호가 출력된다면, 하나의 컬럼 라인에서 출력되는 픽셀 전기 신호도 3개이다.
비교 블록(1152)은 CDS 블록(1150)으로부터 출력된 다수의 상관 이중 샘플된 픽셀 전기 신호들 각각과 램프 신호 생성기(1170)로부터 출력된 램프 신호를 서로 비교하고 다수의 비교 신호들을 출력한다.
아날로그-디지털 변환 블록(1154)은 비교 블록(1152)으로부터 출력된 다수의 비교 신호들 각각을, 디지털 신호인 원시 데이터로 변환하고 다수의 원시 데이터들을 버퍼(1180)로 출력한다.
제어 레지스터 블록(1160)은 디지털 신호 프로세서(2000a)의 제어에 따라 타이밍 생성기(1140), 램프 신호 생성기(1170), 및 버퍼(1180)의 동작을 제어한다.
버퍼(1180)는 아날로그-디지털 변환 블록(1154)으로부터 출력된 다수의 원시 데이터들을 색 보정부(1190)로 출력한다.
색 보정부(1190)는 색 보정 매트릭스를 이용하여 다수의 원시 데이터들을 기초로 다수의 보정 데이터들을 생성한다. 색 보정 매트릭스의 계수들은 비휘발성 메모리(1195)에 저장될 수 있으며, 이 계수들은 사용자의 설정에 의해 변경될 수 있고, 픽셀의 위치에 따라 달라질 수도 있다. 색 보정부(1190)는 다수의 보정 데이터들로 이루어지는 보정된 이미지 데이터(CIDATA)를 디지털 신호 프로세서(1200a)로 전송한다.
디지털 신호 프로세서(1200a)는 이미지 신호 프로세서(1210), 센서 컨트롤러(1220), 및 인터페이스(1230)를 포함한다.
이미지 신호 프로세서(1210)는 제어 레지스터 블록(1160)을 제어하는 센서 컨트롤러(1220)와 인터페이스(1230)를 제어한다. 실시 예에 따라, 이미지 센서(1100a)와 디지털 신호 프로세서(1200a)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 다른 실시 예에 따라, 이미지 센서(1100a)와 이미지 신호 프로세서(1210)는 하나의 패키지, 예컨대 멀티-칩 패키지로 구현될 수 있다.
이미지 신호 프로세서(1210)는 색 보정부(1190)로부터 전송된 보정된 이미지 데이터(CIDATA)를 처리하고 처리된 이미지 데이터를 인터페이스(1230)로 전송한다. 픽셀(1110)이 2층 구조인 경우, 보정된 이미지 데이터(CIDATA)는 한 픽셀당 두 컬러의 이미지 데이터만을 포함하며, 이미지 신호 프로세서(1210)는 색 보간 처리를 수행하여, 나머지 한 컬러의 이미지 데이터를 생성한다.
센서 컨트롤러(1220)는, 이미지 신호 프로세서(1210)의 제어에 따라, 제어 레지스터 블록(1160)을 제어하기 위한 다양한 제어 신호들을 생성한다.
인터페이스(1230)는 이미지 신호 프로세서(1210)에서 처리된 이미지 데이터를 디스플레이(1300)로 전송한다. 디스플레이(1300)는 인터페이스(1230)로부터 출력된 이미지 데이터를 디스플레이한다. 디스플레이(1300)는 FTF-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, 또는 AMOLED(active-matrix OLED) 디스플레이로 구현될 수 있다.
도 16b는 본 발명의 일 실시예에 따른 이미지 처리 장치의 다른 예를 나타내는 블록도를 나타내다.
도 16b를 참조하면, 이미지 처리 장치(1000b)가 도시된다. 이미지 처리 장치(1000b)는 도 16a의 이미지 처리 장치(1000a)와 유사하며, 동일한 구성에 대해서는 반복하여 설명하지 않고, 차이가 나는 부분만 설명한다. 이미지 처리 장치(1000a)에서는 원시 데이터들을 기초로 보정 데이터들을 생성하는 색 보정부(1190)와 비휘발성 메모리(1195)가 이미지 센서(1100a)에 포함되지만, 이미지 처리 장치(1000b)에서는 색 보정부(1240) 및 비휘발성 메모리(1245)가 디지털 신호 프로세서(1200b)에 포함된다.
구체적으로, 이미지 센서(1100b)의 버퍼(1180)는 아날로그-디지털 변환 블록(1154)으로부터 출력된 다수의 원시 데이터들로 구성되는 원시 이미지 데이터(OIDATA)를 디지털 신호 프로세서(1200b)로 전송한다.
디지털 신호 프로세서(1200b)는 이미지 신호 프로세서(1210), 센서 컨트롤러(1220), 인터페이스(1230), 색 보정부(1240) 및 비휘발성 메모리(1245)를 포함한다.
색 보정부(1240)는 버퍼(1180)로부터 출력되는 원시 이미지 데이터(OIDATA)를 수신한다. 색 보정부(1240)는 색 보정 매트릭스를 이용하여 다수의 원시 데이터들을 기초로 다수의 보정 데이터들을 생성한다. 색 보정 매트릭스의 계수들은 비휘발성 메모리(1245)에 저장될 수 있으며, 이 계수들은 사용자의 설정에 의해 변경될 수 있고, 픽셀의 위치에 따라 달라질 수도 있다. 색 보정부(1240)는 다수의 보정 데이터들을 이미지 신호 프로세서(1210)에 출력한다.
이미지 신호 프로세서(1210)는 색 보정부(1240)로부터 전송된 보정 데이터들을 처리하고 처리된 보정 데이터들을 인터페이스(1230)로 전송한다.
도 17은 본 발명의 일 실시예에 따른 이미지 처리 장치의 또 다른 예를 나타내는 블록도를 나타내다.
도 17을 참조하면, 이미지 처리 장치(2000)는 MIPI®(mobile industry processor interface)를 사용 또는 지원할 수 있는 이미지 처리 장치, 예컨대 PDA (personal digital assistant), PMP(portable media player), 이동 전화기, 스마트폰(smartphone), 또는 태블릿 PC(tablet computer)와 같은 휴대용 장치(portable device)로 구현될 수 있다.
이미지 처리 장치(2000)는 애플리케이션 프로세서(2100), 이미지 센서(2200), 및 디스플레이(2300)를 포함한다.
애플리케이션 프로세서(2100)에 구현된 CSI(camera serial interface) 호스트(2120)는 카메라 시리얼 인터페이스(CSI)를 통하여 이미지 센서(2200)의 CSI 장치(2210)와 시리얼 통신할 수 있다. 실시예에 따라, CSI 호스트(2120)에는 디시리얼라이저(DES)가 구현될 수 있고, CSI 장치(2210)에는 시리얼라이저(SER)가 구현될 수 있다.
이미지 센서(2200)는 도 1 및 도 13을 참조하여 설명된 이미지 장치의 이미지 센서를 의미할 수 있다. 예컨대, 상기 이미지 센서는 도 16a 또는 도 16b에 도시된 이미지 센서(1100a, 1100b)를 포함할 수 있다.
애플리케이션 프로세서(2100)에 구현된 DSI(display serial interface(DSI)) 호스트(2110)는 디스플레이 시리얼 인터페이스를 통하여 디스플레이(2300)의 DSI 장치(2310)와 시리얼 통신할 수 있다. 실시예에 따라, DSI 호스트(2110)에는 시리얼라이저(SER)가 구현될 수 있고, DSI 장치(2310)에는 디시리얼라이저(DES)가 구현될 수 있다.
이미지 처리 장치(2000)는 애플리케이션 프로세서(2100)와 통신할 수 있는 RF 칩(2400)을 더 포함할 수 있다. 이미지 처리 장치(2000)의 PHY(2130)와 RF 칩(2400)의 PHY(2410)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
이미지 처리 장치(2000)는 GPS(2500) 수신기, DRAM(dynamic random access memory)과 같은 메모리(2520), NAND 플래시 메모리와 같은 불휘발성 메모리로 구현된 데이터 저장 장치(2540), 마이크(2560), 또는 스피커(2580)를 포함할 수 있다.
또한, 이미지 처리 장치(2000)는 적어도 하나의 통신 프로토콜(또는 통신 표준), 예컨대, UWB (ultra-wideband; 2600), WLAN(Wireless LAN; 2620), WiMAX (worldwide interoperability for microwave access; 2640), 또는 LTETM(long term evolution) 등을 이용하여 외부 장치와 통신할 수 있다.
본 발명은 첨부된 도면들을 참조하여 앞에서 제시된 실시예들로 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
1: 이미지 장치
10: 픽셀
12: 픽셀 어레이
20: 디지털화부
22: 버퍼
30: 보정부
32: 제1 보정부
34: 노이즈 감소부
36: 제2 보정부
40: 보간부
50: 신호 처리부

Claims (20)

  1. 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 입사 광으로부터 제1 전기 신호를 출력하는 제1 광전 변환층, 및 상기 제1 광전 변환층 아래에 배치되고 상기 제1 광전 변환층을 통과한 투과 광으로부터 제2 전기 신호를 출력하는 제2 광전 변환층을 포함하는 제1 픽셀;
    상기 제1 전기 신호를 디지털화하여 제1 원시 데이터를 생성하고 상기 제2 전기 신호를 디지털화하여 제2 원시 데이터를 생성하는 디지털화부; 및
    상기 제1 원시 데이터 및 상기 제2 원시 데이터를 보정하여, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 및 상기 제2 컬러의 광에 대응하는 제2 보정 데이터를 생성하는 보정부를 포함하는 이미지 장치.
  2. 제1 항에 있어서,
    색 보간(color interpolation) 방법을 이용하여, 상기 제3 컬러의 광에 대응하는 보간 데이터를 생성하여, 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터로 이루어진 상기 제1 픽셀의 픽셀 데이터를 생성하는 보간부를 더 포함하는 것을 특징으로 하는 이미지 장치.
  3. 제2 항에 있어서,
    상기 제1 픽셀의 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터에 대하여 이미지 처리를 수행하는 신호 처리부를 더 포함하는 것을 특징으로 하는 이미지 장치.
  4. 제1 항에 있어서,
    상기 보정부는 상기 제1 원시 데이터와 상기 제2 원시 데이터를 2행 2열의 색 보정 매트릭스와 곱함으로써 상기 제1 보정 데이터 및 상기 제2 보정 데이터를 생성하는 것을 특징으로 하는 이미지 장치.
  5. 제4 항에 있어서,
    상기 색 보정 매트릭스의 계수들은 비휘발성 메모리에 저장되는 것을 특징으로 하는 이미지 장치.
  6. 제4 항에 있어서,
    상기 색 보정 매트릭스의 계수들은 사용자에 의해 변경 가능한 것을 특징으로 하는 이미지 장치.
  7. 제4 항에 있어서,
    상기 제1 픽셀을 포함하는 픽셀 어레이를 더 포함하고,
    상기 색 보정 매트릭스의 계수들은 상기 픽셀 어레이 내의 상기 제1 픽셀의 위치에 따라 달라지는 것을 특징으로 하는 이미지 장치.
  8. 제4 항에 있어서,
    상기 제1 컬러의 단색 광이 상기 제1 픽셀에 입사될 때는 상기 제2 보정 데이터가 0이고, 상기 제2 컬러의 단색 광이 상기 제1 픽셀에 입사될 때는 상기 제1 보정 데이터가 0이도록, 상기 색 보정 매트릭스의 계수들이 결정되는 것을 특징으로 하는 이미지 장치.
  9. 제1 항에 있어서,
    상기 제1 광전 변환층은 상기 제2 컬러의 광 및 상기 제3 컬러의 광보다 상기 제1 컬러의 광을 더 흡수하는 유기 물질을 포함하는 것을 특징으로 하는 이미지 장치.
  10. 제1 항에 있어서,
    상기 제2 광전 변환층은 상기 제1 컬러의 광 및 상기 제3 컬러의 광보다 상기 제2 컬러의 광을 더 흡수하는 유기 물질을 포함하는 것을 특징으로 하는 이미지 장치.
  11. 제1 항에 있어서,
    상기 제1 픽셀은 상기 제1 광전 변환층과 상기 제2 광전 변환층 사이에, 상기 제2 컬러의 광만을 투과하는 컬러 필터층을 더 포함하고,
    상기 제2 광전 변환층은 반도체 기판 내에 형성된 포토 다이오드를 포함하는 것을 특징으로 하는 이미지 장치.
  12. 제1 항에 있어서,
    상기 제2 광전 변환층은 반도체 기판의 표면으로부터 제1 깊이에 형성된 PN 정션을 포함하고, 상기 제1 깊이는 상기 제2 컬러의 광이 상기 반도체 기판에 흡수되는 깊이에 의해 결정되는 것을 특징으로 하는 이미지 장치.
  13. 제1 항에 있어서,
    상기 입사 광으로부터 제3 전기 신호를 출력하는 제3 광전 변환층, 및 상기 제3 광전 변환층 아래에 배치되고 상기 제3 광전 변환층을 통과한 투과 광으로부터 제4 전기 신호를 출력하는 제4 광전 변환층을 포함하는 제2 픽셀을 더 포함하고,
    상기 디지털화부는 상기 제3 전기 신호를 디지털화하여 제3 원시 데이터를 생성하고 상기 제4 전기 신호를 디지털화하여 제4 원시 데이터를 생성하며,
    상기 보정부는 상기 제3 원시 데이터 및 상기 제4 원시 데이터를 보정하여, 제3 보정 데이터 및 제4 보정 데이터를 생성하며,
    상기 제3 보정 데이터는 상기 제1 컬러의 광에 대한 데이터이고, 상기 제4 보정 데이터는 상기 제3 컬러의 광에 대한 데이터인 것을 특징으로 하는 이미지 장치.
  14. 제13 항에 있어서,
    상기 제1 픽셀에 인접한 상기 제2 픽셀들의 상기 제4 보정 데이터들을 이용하여, 상기 제3 컬러의 광에 대응하는 상기 제1 픽셀의 제1 보간 데이터를 생성하고, 상기 제2 픽셀에 인접한 상기 제1 픽셀들의 상기 제2 보정 데이터들을 이용하여, 상기 제2 컬러의 광에 대응하는 상기 제2 픽셀의 제2 보간 데이터를 생성하는 보간부를 더 포함하는 것을 특징으로 하는 이미지 장치.
  15. 서로 적층된 2개의 광전 변환층들을 포함하는 픽셀로부터 2개의 전기 신호들을 수신하는 단계;
    상기 2개의 전기 신호들을 디지털화하여 2개의 원시 데이터들을 생성하는 단계;
    상기 2개의 원시 데이터들을 상기 픽셀에 입사되는 제1 컬러의 광 및 제2 컬러의 광에 각각 대응하는 제1 보정 데이터, 및 제2 보정 데이터로 변환하는 단계; 및
    색 보간(color interpolation) 방법을 이용하여, 제3 컬러의 광에 대응하는 보간 데이터를 생성하여, 상기 제1 보정 데이터, 상기 제2 보정 데이터 및 상기 보간 데이터로 이루어진 상기 픽셀의 픽셀 데이터를 생성하는 단계를 포함하는 이미지 처리 방법.
  16. 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 광으로부터 제1 전기 신호를 출력하는 제1 광전 변환층, 상기 제1 광전 변환층 아래에 배치되고 상기 제1 광전 변환층을 통과한 광으로부터 제2 전기 신호를 출력하는 제2 광전 변환층, 및 상기 제2 광전 변환층 아래에 배치되고 상기 제2 광전 변환층을 통과한 광으로부터 제3 전기 신호를 출력하는 제3 광전 변환층을 포함하는 픽셀;
    상기 제1 전기 신호를 디지털화하여 제1 원시 데이터를 생성하고, 상기 제2 전기 신호를 디지털화하여 제2 원시 데이터를 생성하고, 상기 제3 전기 신호를 디지털화하여 제3 원시 데이터를 생성하는 디지털화부; 및
    상기 제1 내지 제3 원시 데이터들을 보정하여, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 상기 제2 컬러의 광에 대응하는 제2 보정 데이터 및 상기 제3 컬러의 광에 대응하는 제3 보정 데이터를 생성하는 보정부를 포함하는 이미지 장치.
  17. 서로 적층된 3개의 광전 변환층들을 포함하는 픽셀로부터 3개의 전기 신호들을 수신하는 단계;
    상기 3개의 전기 신호들을 디지털화하여 3개의 원시 데이터들을 생성하는 단계; 및
    상기 3개의 원시 데이터들을 상기 픽셀에 입사되는 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광에 각각 대응하는 제1 보정 데이터, 제2 보정 데이터 및 제3 보정 데이터로 변환하는 단계를 포함하는 이미지 처리 방법.
  18. 제17 항에 있어서,
    상기 변환하는 단계는,
    제1 색 보정 매트릭스를 이용하여 상기 3개의 원시 데이터들을 3개의 임시 데이터들로 변환하는 단계;
    상기 3개의 임시 데이터들의 노이즈를 감소시키는 단계; 및
    제2 색 보정 매트릭스를 이용하여, 노이즈가 감소된 상기 3개의 임시 데이터들을 상기 제1 내지 제3 보정 데이터들로 변환하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  19. 제18 항에 있어서,
    상기 제1 색 보정 매트릭스의 대각 성분들은 각각 1 이상 1.5 이하이고,
    상기 제1 색 보정 매트릭스의 비대각 성분들은 절대값으로 0.8 이하인 것을 특징으로 하는 이미지 처리 방법.
  20. 행 방향과 열 방향으로 배열된 픽셀들을 포함하는 픽셀 어레이;
    상기 픽셀 어레이의 상기 픽셀들을 래스터 주사 방식으로 스캔하여, 상기 픽셀들의 출력에 대응하는 픽셀 원시 데이터들을 순차적으로 출력하는 데이터 출력부; 및
    상기 픽셀 원시 데이터들로부터 픽셀 보정 데이터들을 순차적으로 생성하는 보정부를 포함하고,
    상기 픽셀들 각각은, 제1 컬러의 광, 제2 컬러의 광 및 제3 컬러의 광을 포함하는 입사 광으로부터 제1 전기 신호를 출력하는 제1 광전 변환층, 및 상기 제1 광전 변환층 아래에 배치되고 상기 제1 광전 변환층을 통과한 투과 광으로부터 제2 전기 신호를 출력하는 제2 광전 변환층을 포함하고,
    상기 픽셀 원시 데이터는 상기 제1 전기 신호와 상기 제2 전기 신호를 디지털화한 제1 원시 데이터 및 제2 원시 데이터를 포함하고,
    상기 보정부는 상기 제1 및 제2 원시 데이터들을 기초로, 상기 제1 컬러의 광에 대응하는 제1 보정 데이터, 및 상기 제2 컬러의 광에 대응하는 제2 보정 데이터를 포함하는 상기 픽셀 보정 데이터를 생성하는 것을 특징으로 하는 이미지 장치.
KR1020120122561A 2012-10-31 2012-10-31 이미지 장치 및 이미지 처리 방법 KR20140055538A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120122561A KR20140055538A (ko) 2012-10-31 2012-10-31 이미지 장치 및 이미지 처리 방법
US13/963,606 US20140118579A1 (en) 2012-10-31 2013-08-09 Image processing apparatus and image processing method
CN201310508615.0A CN103795940A (zh) 2012-10-31 2013-10-24 图像处理设备和图像处理方法
DE102013111712.0A DE102013111712A1 (de) 2012-10-31 2013-10-24 Bildverarbeitungs-Vorrichtung und Bildverarbeitungs-Verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120122561A KR20140055538A (ko) 2012-10-31 2012-10-31 이미지 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20140055538A true KR20140055538A (ko) 2014-05-09

Family

ID=50479830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122561A KR20140055538A (ko) 2012-10-31 2012-10-31 이미지 장치 및 이미지 처리 방법

Country Status (4)

Country Link
US (1) US20140118579A1 (ko)
KR (1) KR20140055538A (ko)
CN (1) CN103795940A (ko)
DE (1) DE102013111712A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052853A (ko) * 2018-11-07 2020-05-15 삼성전자주식회사 신호 처리 장치 및 신호 처리 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US20150124072A1 (en) * 2013-11-01 2015-05-07 Datacolor, Inc. System and method for color correction of a microscope image
KR102309883B1 (ko) * 2014-08-29 2021-10-06 삼성전자주식회사 광전 변환 소자 및 이를 포함하는 이미지 센서
US9816287B2 (en) * 2014-12-22 2017-11-14 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
CN105025283A (zh) * 2015-08-07 2015-11-04 广东欧珀移动通信有限公司 一种新的色彩饱和度调整方法、***及移动终端
JP2019091733A (ja) * 2016-03-31 2019-06-13 ソニー株式会社 固体撮像装置
US9979942B2 (en) * 2016-06-30 2018-05-22 Apple Inc. Per pixel color correction filtering
CN106898704B (zh) * 2017-04-21 2019-01-22 京东方科技集团股份有限公司 一种有机发光二极管及显示面板
US10440341B1 (en) 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells
JP7442990B2 (ja) * 2018-11-07 2024-03-05 三星電子株式会社 信号処理装置及び信号処理方法
CN110690237B (zh) * 2019-09-29 2022-09-02 Oppo广东移动通信有限公司 一种图像传感器、信号处理方法及存储介质
US11770627B1 (en) 2019-10-04 2023-09-26 Ball Aerospace & Technologies Corp. Systems and methods for direct measurement of photon arrival rate
CN114630008B (zh) * 2020-12-10 2023-09-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731397B1 (en) * 1999-05-21 2004-05-04 Foveon, Inc. Method for storing and retrieving digital image data from an imaging array
US7561194B1 (en) * 2003-10-17 2009-07-14 Eastman Kodak Company Charge diffusion crosstalk reduction for image sensors
KR100665177B1 (ko) * 2005-05-25 2007-01-09 삼성전기주식회사 반도체 감광 디바이스용 이미지 센서 및 이를 이용한이미지 처리 장치
US7868928B2 (en) * 2006-03-15 2011-01-11 Samsung Electronics Co., Ltd. Low noise color correction matrix function in digital image capture systems and methods
WO2008010292A1 (fr) * 2006-07-21 2008-01-24 Renesas Technology Corp. Dispositif de conversion photoélectrique et dispositif d'imagerie
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
US7759756B2 (en) * 2008-02-04 2010-07-20 Sharp Laboratories Of America, Inc. Dual-pixel full color CMOS imager
US8106426B2 (en) * 2008-02-04 2012-01-31 Sharp Laboratories Of America, Inc. Full color CMOS imager filter
CN102037734B (zh) * 2008-05-22 2014-10-15 惠普开发有限公司 照相机传感器校正
US8970720B2 (en) * 2010-07-26 2015-03-03 Apple Inc. Automatic digital camera photography mode selection
JP2012049289A (ja) * 2010-08-26 2012-03-08 Sony Corp 固体撮像装置とその製造方法、並びに電子機器
US8643742B2 (en) * 2010-10-15 2014-02-04 Cisco Technology, Inc. Crosstalk filter in a digital image processing pipeline
US8258560B1 (en) * 2011-02-15 2012-09-04 Aptina Imaging Corporation Image sensors with stacked photo-diodes
KR101312490B1 (ko) 2011-04-29 2013-10-01 박기영 무독성 옻나무 톱밥을 이용한 건식 효소욕 용기 및 이의 이용방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052853A (ko) * 2018-11-07 2020-05-15 삼성전자주식회사 신호 처리 장치 및 신호 처리 방법

Also Published As

Publication number Publication date
CN103795940A (zh) 2014-05-14
DE102013111712A1 (de) 2014-04-30
US20140118579A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
KR20140055538A (ko) 이미지 장치 및 이미지 처리 방법
CN105049755B (zh) 图像传感器和具有该图像传感器的图像处理装置
US9628725B2 (en) Pixel array including pixel groups of long and short exposure pixels and image sensor including same
US9888198B2 (en) Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US8520103B2 (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
US9686486B2 (en) Multi-resolution pixel architecture with shared floating diffusion nodes
US9535197B2 (en) Color filter array, image sensor including the same, and infrared data acquisition method using the same
US9380243B2 (en) Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
CN108270980A (zh) 图像传感器
RU2501118C2 (ru) Цветовые фильтры для датчиков с размерами меньше дифракционного предела
CN102449765B (zh) 用于亚衍射极限传感器的梯度滤色器
US20120268566A1 (en) Three-dimensional color image sensors having spaced-apart multi-pixel color regions therein
US20100123070A1 (en) Solid-state image capture device and image capture apparatus
GB2503308A (en) Color image sampling and reconstruction
JP2006237737A (ja) カラーフィルタアレイ及び固体撮像素子
US20080179641A1 (en) Color image sensors having pixels with cyan-type and yellow-type color characteristics therein
KR20210066048A (ko) 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법
US9711675B2 (en) Sensing pixel and image sensor including the same
US10644073B2 (en) Image sensors and electronic devices including the same
CN112349735B (zh) 图像传感器、图像信号处理器及包括其的图像处理***
US9716867B2 (en) Color filter array and image sensor having the same
KR102573163B1 (ko) 이미지 센서 및 이를 포함하는 전자 장치
KR101930757B1 (ko) 픽셀, 픽셀 어레이 및 이미지 센서
KR102649298B1 (ko) 신호 처리 장치 및 신호 처리 방법
US20240205566A1 (en) Image processing device and operation method thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid