KR20220000761A - 이미지 센서 및 이미지 센서의 비닝 방법 - Google Patents

이미지 센서 및 이미지 센서의 비닝 방법 Download PDF

Info

Publication number
KR20220000761A
KR20220000761A KR1020200078813A KR20200078813A KR20220000761A KR 20220000761 A KR20220000761 A KR 20220000761A KR 1020200078813 A KR1020200078813 A KR 1020200078813A KR 20200078813 A KR20200078813 A KR 20200078813A KR 20220000761 A KR20220000761 A KR 20220000761A
Authority
KR
South Korea
Prior art keywords
pixel
binning
pixels
value
image data
Prior art date
Application number
KR1020200078813A
Other languages
English (en)
Inventor
장찬영
강희
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200078813A priority Critical patent/KR20220000761A/ko
Priority to DE102021114150.8A priority patent/DE102021114150A1/de
Priority to US17/338,082 priority patent/US11588988B2/en
Priority to JP2021104257A priority patent/JP2022008235A/ja
Priority to CN202110707634.0A priority patent/CN113852769A/zh
Publication of KR20220000761A publication Critical patent/KR20220000761A/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 센서 및 이미지 센서의 비닝 방법이 개시된다. 본 개시의 예시적 실시예에 따른 이미지 센서의 비닝 방법은, 픽셀 어레이는 (2n)
Figure pat00017
(2n) 행렬로 배열되는 복수의 픽셀들(n은 2 이상의 정수)을 포함하는 복수의 영역들로 구분되고, 상기 복수의 영역들 각각에 대하여 적어도 두 개의 로우 단위로 동시에 복수의 픽셀 신호들을 리드아웃하는 단계, 리드아웃된 복수의 픽셀 신호들을 아날로그-디지털 변환함으로써, 제1 이미지 데이터를 생성하는 단계, 상기 제1 이미지 데이터는 상기 픽셀 어레이의 상기 복수의 영역들에 대응하는 복수의 비닝 영역들을 포함하고, 상기 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 동일한 색상을 갖는 두 픽셀 값을 기초로 제1 합산 값을 생성하는 단계 및 컬럼 방향으로 인접한 두 비닝 영역에서 동일한 색상을 나타내는 두 개의 상기 제1 합산 값을 기초로 상기 두 비닝 영역 각각에 대해 제2 합산 값을 생성하는 단계를 포함할 수 있다.

Description

이미지 센서 및 이미지 센서의 비닝 방법{Image sensor and binning method thereof}
본 개시의 기술적 사상은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서의 비닝 방법 및 이를 수행하는 이미지 센서에 관한 것이다.
이미지 센서(image sensor)의 해상도가 증가함에 따라 이미지 센서가 생성하는 이미지 데이터의 크기 역시 증가하고 있다. 그러나, 이미지 센서가 생성하는 이미지 데이터의 크기가 증가할수록 동영상 모드에서 높은 프레임 레이트(frame rate)를 유지하기가 어려우며, 또한 소비전력이 증가하게 된다. 프레임 레이트를 증가시키고, 이미지의 화질을 유지하기 위하여, 비닝(binning) 기법이 이용된다.
본 개시의 기술적 사상이 해결하려는 과제는, 프레임 레이트를 증가시키고,데이터 크기기를 감소시키면서도 화질(image quality)을 유지할 수 있는 이미지 센서의 비닝 방법 및 이를 수행하는 이미지 센서를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 예시적 실시예에 따른 이미지 센서의 비닝 방법은, 픽셀 어레이는 (2n)
Figure pat00001
(2n) 행렬로 배열되는 복수의 픽셀들(n은 2 이상의 정수)을 포함하는 복수의 영역들로 구분되고, 상기 복수의 영역들 각각에 대하여 적어도 두 개의 로우(row) 단위로 동시에 복수의 픽셀 신호들을 리드아웃하는 단계, 리드아웃된 복수의 픽셀 신호들을 아날로그-디지털 변환함으로써, 제1 이미지 데이터를 생성하는 단계, 상기 제1 이미지 데이터는 상기 픽셀 어레이의 상기 복수의 영역들에 대응하는 복수의 비닝 영역들을 포함하고, 상기 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 동일한 색상을 갖는 두 픽셀 값을 기초로 제1 합산 값을 생성하는 단계 및 컬럼 방향으로 인접한 두 비닝 영역에서 동일한 색상을 나타내는 두 개의 상기 제1 합산 값을 기초로 상기 두 비닝 영역 각각에 대해 제2 합산 값을 생성하는 단계를 포함할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 예시적 실시예에 따른 이미지 센서는,(2n)
Figure pat00002
(2n) 행열로 배열되는 픽셀들(n은 2 이상의 정수)을 포함하는 사각 형상의 복수의 영역들로 구분되는 픽셀 어레이, 복수의 컬럼 라인을 통해 상기 픽셀 어레이로부터 수신되는 복수의 픽셀 신호를 리드아웃하고, 리드아웃된 복수의 픽셀 신호를 복수의 픽셀 값으로 변환하는 아날로그-디지털 변환 회로, 상기 픽셀 어레이에 연결되는 복수의 로우 라인을 통해 제어 신호들을 제공하고, 상기 픽셀 어레이에서 적어도 두 개의 로우 단위로 동시에 복수의 픽셀 신호들이 출력되도록 제어하는 상기 제어 신호들을 생성하는 로우 드라이버, 상기 아날로그-디지털 변환 회로로부터 출력되는 제1 이미지 데이터를 소정의 라인 단위로 저장하는 라인 버퍼 및 상기 라인 버퍼에 저장된 제1 이미지 데이터에 대하여 비닝을 수행하는 프로세서를 포함할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 예시적 실시예에 따른 이미지 처리 시스템은, 광 신호를 센싱하여 이미지 데이터를 생성하는 이미지 센서 및 상기 이미지 센서로부터 상기 이미지 데이터를 수신하여 처리하는 프로세서를 포함하고, 상기 이미지 센서는, 4 X 4 행열로 배열되는 픽셀들을 포함하는 사각 형상의 복수의 영역들로 구분되는 픽셀 어레이, 복수의 컬럼 라인을 통해 상기 픽셀 어레이로부터 수신되는 복수의 픽셀 신호를 리드아웃하고, 리드아웃된 복수의 픽셀 신호를 복수의 픽셀 값으로 변환하는아날로그-디지털 변환 회로, 상기 픽셀 어레이에 연결되는 복수의 로우 라인을 통해 제어 신호들을 제공하고, 상기 픽셀 어레이에서 적어도 두 개의 로우 단위로 동시에 복수의 픽셀 신호들이 출력되도록 제어하는 상기 제어 신호들을 생성하는 로우 드라이버, 상기 아날로그-디지털 변환 회로로부터 출력되는 제1 이미지 데이터를 소정의 라인 단위로 저장하는 라인 버퍼 및 상기 라인 버퍼에 저장된 제1 이미지 데이터에 대하여 비닝을 수행하는 프로세서를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서의 비닝 방법에 따르면, 수직 아날로그 합산 방식으로 적어도 두 개의 로우를 동시에 리드아웃 함으로써, 프레임 레이트가 증가될 수 있으며, 생성된 이미지 데이터에 대하여 비닝을 수행함으로써, 이미지 프레임에 위색(false color) 및 지그재그 형태의 노이즈가 발생하는 것을 방지할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다.
도 2는 도 1의 픽셀 어레이의 패턴을 예시적으로 나타낸다.
도 3은 본 개시의 예시적 실시예에 다른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 리드아웃 방식을 설명하는 도면이다.
도 5a 내지 도 5c는 본 개시의 예시적 실시예에 따른 리드아웃 방식에 따라 생성되는 제1 이미지 데이터를 개략적으로 나타낸다.
도 6은 본 개시의 예시적 실시예에 따른 비닝 방법에서, 제1 이미지 데이터의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 픽셀 값들을 기초로 제1 비닝을 수행하는 것을 나타낸다.
도 7은 본 개시의 예시적 실시예에 따른 비닝 방법에서, 인접한 두 비닝 영역의 픽셀 값들을 기초로 인터폴레이션을 수행하는 것을 나타낸다.
도 8은 본 개시의 예시적 실시예에 다른 비닝 방법을 나타내는 흐름도이다.
도 9는 본 개시의 예시적 실시예에 따른 비닝 방법에서, 그린 픽셀에 적용되는 제2 비닝을 설명하는 도면이다.
도 10은 본 개시의 예시적 실시예에 따른 픽셀의 일 예를 나타낸다.
도 11a는 테트라 패턴의 픽셀 어레이를 나타내고, 도 11b는 테트라 패턴의 픽셀 어레이가 본 개시의 예시적 실시예에 따른 이미지 센서에 적용되는 예를 나타낸다.
도 12는 본 개시의 예시적 실시예에 따른 픽셀의 일 예를 나타낸다.
도 13은 본 개시의 예시적 실시예에 따릉 이미지 센서가 적용되는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 14는 도 13의 카메라 모듈의 상세 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다.
이미지 센서(100)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 센서(100)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 가전 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 센서(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
도 1을 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그-디지털 변환 회로(130)(이하 ADC 회로라고 함), 램프 신호 생성기(140), 타이밍 컨트롤러(150), 라인 버퍼(160) 및 프로세서(170)를 포함할 수 있다.
픽셀 어레이(110)는 행열로 배열된 복수의 픽셀(PX) 및 복수의 픽셀(PX)에접속되는 복수의 로우 라인(RL) 및 복수의 컬럼 라인(CL)을 포함한다.
복수의 픽셀(PX) 각각은 적어도 하나의 광전 변환 소자(또는 광 감지 소자라고 함)를 포함할 수 있으며. 광전 변환 소자는 빛을 감지하고, 감지된 빛을 광전하로 변환할 수 있다. 예를 들어, 광전 변환 소자는 무기 포토(photo) 다이오드, 유기 포토 다이오드, 페로브 스카이트 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등과 같이, 유기 물질 또는 무기 물질로 구성되는 광 감지 소자일 수 있다. 실시예에 있어서, 복수의 픽셀(PX)들 각각은 복수의 광전 변환 소자를 포함할 수 있다. 복수의 광 감지 소자는 동일한 층에 배치되거나, 또는 서로 수직한 방향으로 적층될 수도 있다.
복수의 픽셀(PX)들 각각의 상부, 또는 인접한 픽셀(PX)들로 구성되는 픽셀 그룹들 각각의 상부에 집광을 위한 마이크로 렌즈가 배치될 수 있다. 복수의 픽셀(PX)들 각각은 마이크로 렌즈를 통해 수신된 빛으로부터 특정 스펙트럼 영역의 빛을 감지할 수 있다. 예를 들어, 픽셀 어레이(110)는 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환하는 레드 픽셀, 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 그린 픽셀, 및 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 블루 픽셀을 포함할 수 있다. 복수의 픽셀(PX)들 각각의 상부에는 특정 스펙트럼 영역의 빛을 투과시키기 위한 컬러 필터가 배치될 수 있다. 그러나, 이에 제한되는 것은 아니며, 픽셀 어레이(110)는 레드, 그린 및 블루 외에 다른 스펙트럼 영역의 빛을 전기 신호로 변환하는 픽셀들을 포함할 수 있다.
실시예에 있어서, 복수의 픽셀(111)들은 멀티-레이어 구조를 가질 수도 있다. 멀티-레이어 구조의 픽셀(111)은 서로 다른 스펙트럼 영역의 빛을 전기 신호로 변환하는 적층된 광 감지 소자들을 포함하며, 광 감지 소자들로부터 서로 다른 색상에 대응하는 전기 신호들이 생성될 수 있다. 다시 말해서, 하나의 픽셀(PX)에서 복수의 색에 대응하는 전기 신호들이 출력될 수 있다.
픽셀 어레이(110)는 서로 상이한 색상의 신호를 센싱하는 제1 픽셀, 제2 픽셀, 및 제3 픽셀이 열방향 및 행방향으로 반복적으로 배치되는 베이어 패턴을 가질 수 있다.
도 2는 도 1의 픽셀 어레이의 패턴을 예시적으로 나타낸다.
도 2를 참조하면, 픽셀 어레이(110)에서, 레드 픽셀(PX_R), 그린 픽셀, 예컨대 제1 그린 픽셀(PX_Gr)이 배열되는 행과 또 다른 그린 픽셀, 예컨대 제2 그린 픽셀(PX_Gb) 및 블루 픽셀(PX_B)이 배열되는 행이 반복적으로 배열되며, 그린 픽셀, 예컨대 제1 그린 픽셀(PX_Gr) 및 제2 그린 픽셀(PX_Gb)은 서로 대각선 상에 위치할 수 있다. 그린 픽셀, 예컨대 제1 그린 픽셀(PX_Gr) 및 제2 그린 픽셀(PX_GB)은 휘도와 밀접한 관련이 있어 모든 행에 배치되고, 레드 픽셀(PX_R) 및 블루 픽셀(PX_B)은 각 행마다 엇갈리게 배치될 수 있다.
이러한 패턴은 RGB 베이어 패턴으로 지칭될 수 있으며, 이하, 본 개시에서는, 픽셀 어레이(110)가 RGB 베이어 패턴을 가지는 것을 예를 들어 설명하기로 한다. 그러나, 본 개시의 기술적 사상은 이에 제한되는 것은 아니며, 상이한 세가지 색상의 픽셀이 반복적으로 배열되며, 제2 픽셀, 예컨대 휘도와 관련된 픽셀이 모든 행에 매치되면서, 제2 픽셀이 인접한 행에서 대각선 상에 위치하는 구조를 갖는 다양한 패턴이 픽셀 어레이(110)에 적용될 수 있다. 예컨대, 레드 픽셀, 두 개의 옐로우 픽셀 및 블루 픽셀로 구성되는 RYYB 패턴이 픽셀 어레이(110)에 적용될 수도 있다.
메모리 셀 어레이(110)는 복수의 영역(AR)으로 구분될 수 있으며, 복수의 영역(AR) 각각은 (2n)
Figure pat00003
(2n) 행열로(n은 2 이상의 정수) 배열되는 복수의 픽셀들(PX)을 포함할 수 있다. 예컨대, 복수의 영역(AR) 각각은 도시된 바와 같이 4
Figure pat00004
4 행열로 배열된 복수의 픽셀(PX)을 포함할 수 있다. 이때, 복수의 영역(AR) 각각은, 이미지 센서(100)가 비닝을 수행하는 제1 모드로 동작 시, 본 개시의 예시적 실시예에 따른 리드아웃 방식이 적용되는 기본 단위로서, 리드아웃된 신호들을 기초로 생성되는 이미지 데이터의 복수의 비닝 영역 각각에 대응할 수 있다. 본 개시의 예시적 실시예에 따른 리드아웃 방식에 따르면, 복수의 영역(AR) 각각에 대하여 적어도 두 개의 로우(row) 단위로 동시에 복수의 픽셀 신호들이 리드아웃될 수 있다. 예컨대, 하나의 수평 기간에 적어도 두 개의 로우에 해당하는 복수의 픽셀(PX)들의 복수의 픽셀 신호가 리드아웃될 수 있다. 본 개시의 예시적 실시예에 따른 리드아웃 방식은 도 4a 내지 도 5b를 참조하여 후술하기로 한다.
한편, 이미지 센서(100)가 제2 모드, 예컨대 비닝을 수행하지 않는 노말 모드로 동작 시, 픽셀 어레이(110)는 로우 단위로 복수의 픽셀 신호들이 차례로 리드아웃될 수 있다.
계속하여 도 1을 참조하면, 복수의 로우 라인(RL)들 각각은 로우 방향으로 연장되며, 동일한 로우에 배치된 픽셀(PX)들에 연결될 수 있다. 예를 들어, 복수의 로우 라인(RL) 각각은 픽셀(PX)에 구비되는 소자들, 예컨대 복수의 트랜지스터들 각각에 로우 드라이버(120)로부터 출력되는 제어 신호들을 전송할 수 있다.
복수의 컬럼 라인(CL) 각각은 컬럼 방향으로 연장되며, 동일한 컬럼에 배치된 픽셀(PX)에 연결될 수 있다. 복수의 컬럼 라인(CL) 각각은 픽셀 어레이(110)의 로우 단위로 픽셀(PX)들로부터 출력되는 픽셀 신호, 예컨대 리셋 신호 및 센싱 신호를 독출 회로(130)에 전송할 수 있다. 전술한 바와 같이, 이미지 센서(100)가 제1 모드로 동작 시, 복수의 컬럼 라인(CL) 중 일부는 적어도 두 개의 로우 단위로 픽셀 신호를 전송할 수 있다.
타이밍 컨트롤러(150)는 이미지 센서(100)의 다른 구성들, 예컨대 로우 드라이버(120), 독출 회로(130), 램프 신호 생성기(140), 라인 버퍼(160) 및 프로세서(170)의 타이밍을 제어할 수 있다. 타이밍 컨트롤러(150)는 로우 드라이버(120), 독출 회로(130), 및 램프 신호 생성기(140), 라인 버퍼(160) 및 프로세서(170) 각각에 대하여 동작 타이밍을 나타내는 타이밍 신호들을 제공할 수 있다.
로우 드라이버(120)는 타이밍 컨트롤러(150)의 제어 하에, 픽셀 어레이(110)를 구동하기 위한 제어 신호들을 생성하고, 복수의 로우 라인(RL)을 통해 픽셀 어레이(110)의 복수의 픽셀(PX) 각각에 제어 신호들을 제공할 수 있다. 로우 드라이버(120)는 픽셀 어레이(110)의 복수의 픽셀(PX)들이 동시에 또는 로우(row) 단위로 입사되는 광을 감지하도록 제어할 수 있다. 또한 로우 드라이버(120)는 복수의 픽셀(PX) 중 로우 단위 또는 적어도 두 개의 로우 단위로 픽셀(PX)들을 선택하고, 선택된 픽셀(PX)들이 픽셀 신호를 복수의 컬럼 라인(CL)을 통해 출력하도록 제어할 수 있다.
램프 신호 생성기(140)는 소정의 기울기로 증가 또는 감소하는 램프 신호(RAMP)를 생성하고, 램프 신호(RAMP)를 ADC 회로(130)에 제공할 수 있다.
ADC 회로(130)는 복수의 픽셀(PX)들 중 로우 드라이버(120)에 의해 선택된로우의 복수의 픽셀(PX)들로부터 리드아웃되는 복수의 픽셀 신호들을 수신하고, 이를 디지털 데이터인 복수의 픽셀 값으로 변환할 수 있다.
ADC 회로(130)는 복수의 컬럼 라인(CL)을 통해 픽셀 어레이(110)로부터 수신되는 복수의 픽셀 신호들을 램프 신호 생성기(140)로부터의 램프 신호(RAMP)를 기초로 디지털 데이터로 변환함으로써, 로우(row) 단위로 제1 이미지 데이터(IDT1), 예컨대 원본(raw) 이미지 데이터를 생성 및 출력할 수 있다.
ADC 회로(130)는 복수의 컬럼 라인(CL)에 대응하는 복수의 ADC를 포함할 수있으며, 복수의 ADC 각각은 대응하는 컬럼 라인(CL)을 통해 수신되는 픽셀 신호를 램프 신호(RAMP)와 각각 비교하고, 비교 결과들을 기초로 픽셀 값을 생성할 수 있다. 예컨대 ADC는 CDS 방식으로 센싱 신호에서 리셋 신호를 제거하고, 픽셀(PX)에서 감지된 광 량을 나타내는 픽셀 값을 생성할 수 있다.
라인 버퍼(160)는 복수의 라인 메모리를 포함하고, ADC 회로(130)에서 출력되는 복수의 픽셀 값을 소정의 로우 단위로 저장할 수 있다. 다시 말해서, 라인 버퍼(160)는 ADC 회로(130)로부터 출력되는 제1 이미지 데이터(IDT1)를 소정의 로우 단위로 저장할 수 있다. 예를 들어, 라인 버퍼(160)는 픽셀 어레이(110)의 세 개의 로우에 해당하는 세 개의 라인 메모리를 포함할 수 있으며, 세 개의 라인 메모리에 ADC회로(130)로부터 출력되는 제1 이미지 데이터(IDT1)의 세 개의 로우에 해당하는 복수의 픽셀 값들을 저장할 수 있다.
프로세서(170)는 라인 버퍼(160)에 저장된 제1 이미지 데이터(IDT1)의 복수의 로우에 해당하는 복수의 픽셀 값들을 처리할 수 있다. 프로세서(170)는 제1 이미지 데이터(IDT1)에 대하여, 라인 버퍼(160)에 저장된 소정의 로우 단위로 화질 보상, 비닝, 다운 사이징 등을 수행할 수 있다. 이에 따라, 이미지 처리된 출력 이미지 데이터(OIDT)가 소정의 로우 단위로 생성 및 출력될 수 있다.
실시예에 있어서, 프로세서(170)는 제1 이미지 데이터(IDT1)를 색상 별로 처리할 수 있다. 예컨대. 제1 이미지 데이터(IDT1)가 레드, 그린 및 블루 픽셀 값들을 포함할 경우, 프로세서(170)는 레드, 그린 및 블루 픽셀들 각각 병렬적 또는 직렬로 처리할 수 있다. 실시예에 있어서, 프로세서(170)는 이와 같이 색상별 처리를 병렬적으로 수행하기 위하여, 복수의 프로세싱 회로를 포함할 수도 있다. 그러나 이에 제한되는 것은 아니며, 하나의 프로세싱 회로가 반복적으로 재사용될 수 있다.
프로세서(170)는 후술되는 본 개시의 예시적 실시예에 따른 비닝 방법을 수행함으로써, 데이터 사이즈가 감소된 출력 이미지 데이터(OIDT)를 생성할 수 있다.
출력 이미지 데이터(OIDT)는 외부 프로세서, 예컨대, 어플리케이션 프로세서로 출력되며, 어플리케이션 프로세서는 출력 이미지 데이터(OIDT)를 저장하거나, 이미지 처리하거나 또는 디스플레이할 수 있다.
본 개시의 예시적 실시예에 따르면, 이미지 센서(100)가 제1 동작 모드로 동작 시, 적어도 두개의 로우(row)의 복수의 픽셀 신호들이 동시에 리드아웃되면서, 수직 방향(예컨대 컬럼 방향으로) 아날로그 합산될 수 있다. 이러한 수직 아날로그 합산 방식에 따르면, 한 수평 기간에 적어도 두 개의 로우가 동시에 리드아웃되는 바, 프레임 레이트가 적어도 두 배 이상 증가될 수 있다.
수직 아날로그 합산 방식에 따라, 제1 이미지 데이터(IDT1)가 생성될 수 있으며, 프로세서(170)는 제1 이미지 데이터(IDT1)에 대하여, 비닝을 수행할 수 있다. 이에 따라, 출력 이미지 데이터(OIDT)의 데이터 량이 감소될 수 있으며, 샘플링 주파수 차이에 기인하는 위색(false color) 및 지그재그 형태의 노이즈의 발생이 완화될 수 있다.
도 3은 본 개시의 예시적 실시예에 다른 이미지 센서의 비닝 방법을 나타내는 흐름도이다. 도 3의 동작은 도 1의 이미지 센서(100)에서 수행될 수 있다.
도 1 및 도 3을 참조하면, 이미지 센서(100)는 픽셀 어레이(110)의 복수의 영역(AR)들 각각에 대하여, 적어도 두 개의 로우 단위로 동시에 복수의 픽셀 신호들을 리드아웃할 수 있다(S110). 이에 따라 전술한 바와 같이, 적어도 두 개의 로우의 동일한 칼럼에 배치된 적어도 두 개의 픽셀로부터 출력되는 적어도 두 개의 픽셀 신호들이 아날로그 합산될 수 있다.
이미지 센서(100)는 리드아웃된 복수의 픽셀 신호들을 아날로그-디지털 변환하여, 제1 이미지 데이터(IDT1)를 생성할 수 있다. 예컨대, ADC 회로(130)는 복수의 컬럼 라인(CL)을 통해 수신되는 복수의 픽셀 신호들을 아날로그-디지털 변환함으로써, 제1 이미지 데이터(IDT1)를 생성할 수 있다. 이후, 디지털 비닝이 수행될 수 있다.
제1 이미지 데이터(IDT1)는 복수의 비닝 영역들로 구분될 수 있으며, 이미지 센서(100)는 제1 이미지 데이터(IDT1)의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 픽셀 값들을 기초로 제1 비닝을 수행할 수 있다(S130). 이미지 센서(100)는 비닝 영역 내에서 서로 동일한 색상을 갖는 픽셀 값들을 가중 합산할 수 있다. 다시 말해서, 각 픽셀 값들에 설정된 가중치를 부가하고, 가중치가 부가된 값들을 평균 합산할 수 있다.
이미지 센서(100)는 컬럼 방향으로 서로 인접한 두 비닝 영역의 픽셀 값들을 기초로 인터폴레이션을 수행할 수 있다(S140). 이미지 센서(100)는 두 비닝 영역에서 동일한 색상을 갖는 픽셀 값들을 가중 합산할 수 있다.
이에 따라 제1 이미지 데이터(IDT1)보다 사이즈가 감소된 제2 이미지 데이터가 출력될 수 있다(S150). 예를 들어 복수의 비닝 영역이 4
Figure pat00005
4 행열로 배치된 픽셀 값들을 포함할 경우, 제2 이미지 데이터의 사이즈는 픽셀 어레이(110)의 해상도의 1/4배에 해당할 수 있다.
이하 도 4a 내지 도 9를 참조하여, 본 개시의 예시적 실시예에 따른 비닝 방법을 보다 상세하게 설명하기로 한다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 리드아웃 방식을 설명하는 도면이고, 도 5a 내지 도 5c는 본 개시의 예시적 실시예에 따른 리드아웃 방식에 따라 생성되는 제1 이미지 데이터를 개략적으로 나타낸다.
도 4a 및 4b는 픽셀 어레이(110)의 하나의 영역(AR)에 대한 리드아웃을 나타낸다. 상기 영역(AR)은 4
Figure pat00006
4 행렬로 배열된 복수의 픽셀(PX)을 포함할 수 있다.
도 4a를 참조하면, 제1 수평 기간에, 제1 로우(Row1) 및 제3 로우(Row3)가 동시에 리드아웃될 수 있다. 제1 컬럼(C1)에 배치된 제1 그린 픽셀들(Gr1, Gr3)의 픽셀 신호들이 제1 컬럼 라인(CL1)을 통해 출력되고, 제4 컬럼(C4)에 배치된 레드 픽셀들(R2, R4)의 픽셀 신호들이 제4 컬럼 라인(CL4)을 통해 출력될 수 있다.
두 픽셀, 예컨대, 제1 그린 픽셀들(Gr1, Gr3)의 픽셀 신호들이 제1 컬럼 라인(CL1)을 통해 출력될 때 픽셀 신호들이 합산될 수 있다. 다만, 픽셀(PX)로부터 픽셀 신호가 출력될 때 픽셀(PX)은 소스 팔로워로서 동작할 수 있으며, 픽셀(PX) 내부의 기생 저항에 의하여, 제1 그린 픽셀들 (Gr1, Gr3)의 픽셀 신호들 중 상대적으로 높은 값에 인접한 값을 갖는 합산 신호가 제1 그린 픽셀들(Gr1, Gr3)을 대응하는 픽셀 신호로서 제1 컬럼 라인(CL1)을 통해 ADC 회로(130)로 제공될 수 있다.
한편, 제2 컬럼(C2)에 배치된 레드 픽셀들(R1, R3) 중 상대적으로 영역(AR)의 외곽에 배치된 레드 픽셀(R1)의 픽셀 신호가 제2 컬럼 라인(CL2)을 통해 출력되고, 제3 컬럼(C3)에 배치된 제1 그린 픽셀들(Gr2, Gr4) 중 상대적으로 영역(AR)의 외곽에 배치된 그린 픽셀(Gr2)의 픽셀 신호가 제3 컬럼 라인(CL3)을 통해 출력될 수 있다. 다시 말해서, 제2 컬럼(C2) 및 제3 컬럼(C3)에서는 제1 로우(Row1) 및 제2 로우(Row2)에 배치된 동일한 색상을 갖는 픽셀들 중 상대적으로 외곽에 배치된 픽셀의 픽셀 신호가 리드아웃될 수 있다. 상대적으로 내부에 배치된 픽셀의 픽셀 신호들은 리드아웃되지 못하고 무시될 수 있다.
ADC 회로(130)는 수신되는 픽셀 신호들을 디지털 값인 픽셀 값들(PGr13, PR1, PGR2, PR24)로 변환할수 있다. 실시예에 있어서, 제1 수평 기간에 생성된 픽셀 값들(PGr13, PR1, PGr2, PR24)은 동일한 라인 메모리, 예컨대 라인 버퍼(160)의 제1 라인 메모리(LM1)에 저장될 수 있으며 제1 이미지 데이터(IDT1)의 일부를 구성할 수 있다. 다만, 픽셀 값들(PGr13, PR1, PGr2, PR24)은 제1 이미지 데이터(IDT1)의 동일한 로우에 해당하는 것은 아니다.
도 4b를 참조하면, 제1 수평 기간에 이은 제2 수평 기간에, 제2 로우(Row2) 및 제4 로우(Row4)가 동시에 리드아웃될 수 있다. 제1 컬럼(C1)에 배치된 블루 픽셀들(B1, B3)의 픽셀 신호들이 제1 컬럼 라인(CL1)을 통해 출력되고, 제4 컬럼(C4)에 배치된 제2 그린 픽셀들(Gb2, Gb4)의 픽셀 신호들이 제4 컬럼 라인(CL4)을 통해 출력될 수 있다. 이때 도 4a를 참조하여 전술한 바와 같이, 동일한 칼럼 라인으로 출력되는 두 픽셀 신호들은 합산될 수 있으며, 합산 신호가 ADC 회로(130)로 제공될 수 있다.
제2 컬럼(C2)에 배치된 제2 그린 픽셀들(Gb1, Gb3) 중 상대적으로 영역(AR)의 외곽에 배치된 제1 그린 픽셀(Gb3)의 픽셀 신호가 제2 컬럼 라인(CL2)을 통해 출력되고, 제3 컬럼(C3)에 배치된 블루 픽셀들(B2, B4) 중 상대적으로 영역(AR)의 외곽에 배치된 블록 픽셀(B4)의 픽셀 신호가 제3 컬럼 라인(CL3)을 통해 출력될 수 있다.
ADC 회로(130)는 수신되는 픽셀 신호들을 디지털 값인 픽셀 값들(PB13, PGb3, PB4, PGb24)로 변환할 수 있다. 실시예에 있어서, 제2 수평 기간에 생성된 픽셀 값들(PB13, PGb3, PB4, PGb24)은 동일한 라인 메모리, 예컨대 라인 버퍼(160)의 제2 라인 메모리(LM2)에 저장될 수 있으며 제1 이미지 데이터(IDT1)의 일부를 구성할 수 있다. 실시예에 있어서, 제1 수평 기간에 생성된 픽셀 값들(PGr13, PR1, PGr2, PR24)이 제1 라인 메모리(LM1)에서 제2 라인 메모리(LM2)로 이동하고, 제2 수평 기간에 생성된 픽셀 값들(PB13, PGb3, PB4, PGb24)이 제1 라인 메모리(LM1)에 저장될 수도 있다.
도 5a를 참조하면, 제1 라인 메모리(L1)에 저장된 픽셀 값들(PGr13, PR1, PGr2, PR24)은 제1 이미지 데이터(IDT1)의 비닝 영역(BA) 내에서, 제1 로우(Row1) 및 제2 로우(Row2)를 구성할 수 있다. 픽셀 값들(PGr13, 및 PR24) 각각은 픽셀 어레이(110)의 한 영역(AR)의 제1 로우(Row1) 및 제3 로우(Row3)에 위치한 두 픽셀의 픽셀 신호들의 합산 값이므로, 두 픽셀(예컨대 도 4a의 픽셀들 Gr1 및 Gr3, 또는 픽셀들 R2 및 R4)의 중간 지점에 해당하는 샘플링 위치에 대한 픽셀 값을 나타낼 수 있다. 픽셀 값들 (PR1. PGr2)은 대응하는 픽셀들(도 4a의 R1, Gr2)의 위치에 대한 픽셀 값을 나타낼 수 있다.
도 5b를 참조하면, 제2 라인 메모리(L2)에 저장된 픽셀 값들(PB13, PGb3, PB4, PGb24)은 제1 이미지 데이터(IDT1)의 비닝 영역(BA) 내에서, 제3 로우(Row3) 및 제4 로우(Row4)를 구성할 수 있다. 픽셀 값들(PB13, 및 PGb24) 각각은 픽셀 어레이(110)의 한 영역(AR)의 제2 로우(Row2) 및 제4 로우(Row4)에 위치한 두 픽셀(예컨대 도 4b의 픽셀들 B1 및 B3, 또는 픽셀들 Gb2 및 Gb4)의 픽셀 신호들의 합산 값이므로, 두 픽셀의 중간 지점에 해당하는 샘플링 위치에 대한 픽셀 값을 나타낼 수 있다. 픽셀 값들 (PGb3. PB4)은 대응하는 픽셀들(도 4b의 Gb3, B4)의 위치에 대한 픽셀 값을 나타낼 수 있다.
도 5c를 참조하면, 본 개시의 예시적 실시예에 따른 픽셀 어레이(110)의 영역(AR)에 대한 리드아웃에 따라, 도시된 바와 같이, 제1 이미지 데이터(IDT1)의 비닝 영역(BA)에 대한 픽셀 값들이 결정될 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 비닝 방법에서, 제1 이미지 데이터의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 픽셀 값들을 기초로 제1 비닝을 수행하는 것을 나타낸다.
도 6을 참조하면, 비닝 영역(BA) 내에서, 동일한 색상에 대응하는 픽셀 값들이 합산됨으로써, 제1 비닝이 수행될 수 있다.
예컨대 제1 그린 색상에 대응하는 픽셀 값들(PGr13, PGr2)이 합산되어 샘플링 위치 S11에 대응하는 픽셀 값이 산출될 수 있다. 이때, 픽셀 값들(PGr13, PGr2) 각각에 미리 설정된 가중치가 부여되고, 가중치가 부여된 값들이 평균합산될 수 있다. 가중치들은 샘플링 위치를 고려하여 미리 설정될 수 있다. 다시 말해서, 상기 가중치들은 가중치가 부여된 값들의 평균 합산의 값이 미리 설정된 샘플링 위치 S11에 위치하도록 설정될 수 있다. 예컨대, 픽셀 값들(PGr13, PGr2)이 나타내는 픽셀들의 센터들 간의 거리가 10이고, 샘플링 위치S11는 픽셀 값(PGr13) 으로부터 3만큼의 거리에 위치할 경우, 픽셀 값들(PGr13, PGr2) 각각에 부가되는 가중치들의 비는 7대 3일 수 있다. 다시 말해서 픽셀 값 PGr13에 더 높은 가중치가 부가될 수 있다.
이와 같이, 동일한 색상에 대응하는 다른 픽셀 값들 각각의 샘플링 위치 S12, S13, S14에 위치하도록 가중치가 부여되고, 가중치가 부여된 값들이 평균 합산될 수 있다. 이에 따라 각 샘플링 위치 S11, S12, S13, S14에 해당하는 픽셀 값들 PGr_b, PR_b, PB_b. PGb_b이 산출될 수 있다.
도 7은 본 개시의 예시적 실시예에 따른 비닝 방법에서, 인접한 두 비닝 영역의 픽셀 값들을 기초로 인터폴레이션을 수행하는 것을 나타낸다.
도 7을 참조하면, 제1 이미지 데이터(IDT1)는 복수의 비닝 영역(Ban-1, BAn, Ban+1)을 포함할 수 있다. 복수의 비닝 영역(Ban-1, BAn, Ban+1)들 간 인터폴레이션이 수행될 수 있으며, 이에 따라 타겟 샘플링 위치들(TS1, TS2, TS3, TS4)에 대응하는 픽셀 값들이 생성될 수 있다.
비닝 영역 BAn에서 타겟 생플링 위치들에 대응하는 픽셀 값들을 생성하는 것을 예를 들어 설명하기로 한다. 도 6을 참조하여 설명한 바와 같이, 비닝 영역 BAn에는 샘플링 위치 S11, S12, S13, S14에 해당하는 픽셀 값들 PGr_b, PR_b, PB_b. Gb_b 이 산출되었으며, 픽셀 값들 PGr_b, PR_b, PB_b. PGb_b 은 인접한 다른 비닝 영역(BAn-1, BAn+1)에서 동일한 색상의 픽셀 값 중 가장 가까운 위치에 대응하는 픽셀 값과 합산될 수 있다. 합산되는 픽셀 값들 각각에는 설정된 가중치가 부가되고, 가중치는 픽셀 값들 각각의 위치 및 타겟 샘플링 위치를 고려하여 설정될 수 있다. 픽셀 값에 대응하는 위치와 타겟 샘플링 간의 거리가 가까울수록 더 높은 가중치가 설정될 수 있다. 이와 같이 인터폴레이션에 의하여 비닝 영역(BAn)의 타겟 샘플링 위치들(TS1, TS2, TS3, TS4)에 대응하는 픽셀 값(PGr_t, PR_t, PB_t, PGb_t)들이 산출될 수 있다.
이로써, 4
Figure pat00007
4 행열로 배열된 복수의 픽셀(PX)들로부터 리드아웃에 따른 수직 아날로그 합산 및 비닝을 통해 2
Figure pat00008
2 행열로 배열된 픽셀 값들을 포함하는 제2 이미지 데이터가 생성될 수 있다.
도 8은 본 개시의 예시적 실시예에 다른 비닝 방법을 나타내는 흐름도이다. 도 8의 비닝 방법은 도 1의 이미지 센서(100)에서 수행될 수 있다. 단계 S210, S220, S230, S240은 도 3의 단계 S110, S120, S130 및 S140과 각각 동일하다. 따라서, 중복되는 설명은 생략하기로 한다.
단계 S220에서 제1 이미지 데이터(IDT1)를 생성한 후, 이미지 센서(100)는 그린 픽셀들에 대하여 제2 비닝을 수행할 수 있다(S250). 이미지 센서(100)는 제1 이미지 데이터(IDT)의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 적어도 두 그린 픽셀 값들 및 상기 비닐 영역에 인접한 다른 비닝 영역 내의 그린 픽셀 값을 합산할 수 있다. 예컨대 비닝 영역과 다른 비닝 영역은 컬럼 방향으로 서로 인접할 수 있다. 픽셀들 각각에 대하여 샘플링 위치를 고려하여 가중치가 부가될 수 있으며, 가중치가 부가된 값들을 평균 합산 할 수 있다. 도 9를 참조하여, 제2 비닝에 대하여 상세하게 설명하기로 한다.
도 9는 본 개시의 예시적 실시예에 따른 비닝 방법에서, 그린 픽셀에 적용되는 제2 비닝을 설명하는 도면이다.
도 9를 참조하면, 비닝 영역 BAn 및 비닝 영역 BAn-1은 컬럼 방향으로 가장 인접할 수 있다.
비닝 영역(BAn)의 제1 그린 픽셀들에 대응하는 픽셀 값들(PGr13, PGr2) 및 비닝 영역(BAn-1)에서, 비닝 영역(BAn)의 제1 그린 픽셀들에 가장 인접한 제2 그린 픽셀에 대응하는 픽셀 값(PGb3)이 합산될 수 있다. 이때, 합산 값이 타겟 샘플링 위치(TS1)에 위치할 수 있도록 각 픽셀 값들에 가중치가 부여되고, 가중치가 부여된 값들이 평균 합산될 수 있다. 이에 따라 타겟 샘플링 위치(TS1)에 해당하는 그린 픽셀의 픽셀 값(PGr_t')이 생성될 수 있다. 이러한 방식으로 비닝 영역(BAn)에서 그린 픽셀들에 대응하는 타겟 샘플링 위치들에 그린 픽셀의 픽셀값들이 결정됨으로써, 그린 픽셀들의 픽셀 값들을 포함하는 제3 이미지 데이터(IDT3)가 생성될 수 있다.
단계 240의 인터폴레이션 수행 시에는 도 7에 도시된 바와 같이, 합산되는 픽셀 값들 간의 거리가 멀다. 그러나, 제2 비닝 방식에 따르면, 비닝 영역(BAn)에서 가장 가까운 거리에 있는 그린 픽셀의 픽셀 값이 비닝 영역(BAn)의 픽셀 값들과 합산될 수 있다. 따라서, 더 인접한 픽셀에 대응하는 픽셀 값들을 기초로 비닝이 수행될 수 있다.
다시 도 8을 참조하면, 제1 그린 픽셀 및 제2 그린 픽셀의 픽셀 값의 차이를 기초로 제2 이미지 데이터와 제3 이미지 데이터가 병합될 수 있다(S270). 전술한 바와 같이, 제3 이미지 데이터는 그린 픽셀들에 대한 픽셀 값을 포함할 수 있다. 따라서, 제2 이미지 데이터에서 그린 픽셀들에 대한 픽셀 값들과 제3 이미지 데이터의 그린 픽셀들에 대한 픽셀 값들이 병합될 수 있다.
이때, 제2 비닝 수행 시 이용된 제1 그린 픽셀 및 제2 그린 픽셀의 픽셀 값들 중 가장 인접한 픽셀들에 대응하는 픽셀 값들의 차이를 기초로 제2 이미지 데이터 및 제3 이미지 데이터가 병합될 수 있다.
예를 들어, 픽셀 값들의 차이가 제1 기준 값 미만일 경우, 다시 말해서, 픽셀 값들의 차이가 매우 적을 경우, 제3 이미지 데이터의 그린 픽셀들의 픽셀 값들이 출력되는 이미지 데이터에 적용될 수 있다. 다시 말해서, 제2 이미지 데이터의 레드 픽셀 및 블루 픽셀에 대한 픽셀 값들 및 제3 이미지 데이터의 그린 픽셀들에 대한 픽셀 값들이 출력되는 이미지 데이터에 포함될 수 있다. 반대로 픽셀 값들의 차이가 제2 기준 값을 초과할 경우, 다시 말해서, 픽셀 값들의 차이가 차이가 매우 클 경우, 제2 이미지 데이터가 출력 되는 이미지 데이터로서 선택될 수 있다. 다시 말해서, 제3 이미지 데이터의 그린 픽셀 값들은 출력되는 이미지 데이터에 반영되지 않을 수 있다.
픽셀 값들의 차이가 제1 기준 값 이상이고, 제2 기준 값 미만일 경우, 그 차이를 제1 기준 값 및 제2 기준 값을 기초로 1 이하의 값으로 변환하고, 변환된 값에 상응하여 제2 이미지 데이터 및 제3 이미지 데이터 각각에 가중치를 적용하고, 가중치가 적용된 값들을 합산할 수 있다. 예를 들어, 픽셀 값들의 차이가 변환된 값이 0.6일 경우, 제2 이미지 데이터의 그린 픽셀들의 픽셀 값들에 0.4를, 제3 이미지 데이터의 그린 픽셀들의 픽셀 값들에 0,6의 가중치를 적용하고, 가중치가 적용된 값들을 합산할 수 있다. 그린 픽셀들의 합산된 픽셀 값들과 제2 이미지 데이터의 레드 픽셀 및 블루 픽셀들의 픽셀 값들을 기초로 출력 이미지 데이터 생성될 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 픽셀의 일 예를 나타낸다.
도 10을 참조하며, 픽셀(PX)은 광전 변환 소자(11), 및 픽셀 회로(12)를 포함할 수 있으며, 픽셀 회로(12)는 복수의 트랜지스터들, 예컨대 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 구동 트랜지스터(DX) 및 스위칭 트래지스터(SX)를 포함할 수 있다.
광전 변화 소자(11)는 예컨대 포토 다이오드일 수 있다. 포토 다이오드는 입사되는 광의 세기에 따라 가변되는 광전하를 생성한다. 전송 트랜지스터(TX)는 로우 드라이버(도 1의 120)로부터 제공되는 전송 제어 신호(TG)에 따라 광전하를 플로팅 디퓨전 노드(FD)로 전송할 수 있다. 구동 트랜지스터(DX)는 플로팅 디퓨전 노드(FD)에 축적된 광전하에 따른 전압을 증폭하여 출력할 수 있다. 구동 트랜지스터(DX)는 소스 팔로워로서 동작할 수 있다. 선택 트랜지스터(SX)의 드레인 노드가 구동 트랜지스터(DX)의 소스 노드에 연결되고, 로우 드라이버(120)로부터 출력되는 선택 신호(SEL)에 응답하여 선택 트랜지스터(SX)가 턴-온되면, 픽셀(PX)에 연결된 칼럼 라인(CL)으로 플로팅 디퓨젼 노드(FD)의 전압 레벨에 상응하는 레벨의 픽셀 신호(APS)가 출력될 수 있다. 리셋 트랜지스터(RX)는 로우 드라이버(120)로부터 제공되는 리셋 신호(RS)에 따라 플로팅 디퓨젼 노드(FD)를 전원 전압(VDD)을 기초로 리셋할 수 있다.
한편, 도 4a 및 도 4b를 참조하여 설명한 바와 같이, 픽셀 어레이(110)에서 적어도 두 개의 로우가 동시에 리드아웃될 수 있으며, 이때 픽셀 어레이(110)의 한 영역(AR)의 중심부에 위치하는 픽셀들은 리드아웃되지 않는다. 따라서, 두 개의 로우가 동시에 리드아웃될 때, 상기 픽셀들은 선택되지 않을 수 있다. 리드아웃 되는 픽셀들은 활성 레벨의 제1 선택 신호(SEL1)에 응답하여, 컬럼 라인(CL)에 연결되고, 리드아웃 되지 않는 픽셀들은 비활성 레벨의 제2 선택 신호(SEL2)에 응답하여 컬럼 라인(CL)과의 연결이 차단될 수 있다. 이에 따라, 같은 로우에 위치하는 픽셀들이라도 선택적으로 픽셀 신호가 출력되거나 또는 출력되지 않을 수 있다.
도 11a는 테트라 패턴의 픽셀 어레이를 나타내고, 도 11b는 테트라 패턴의 픽셀 어레이가 본 개시의 예시적 실시예에 따른 이미지 센서에 적용되는 예를 나타낸다.
도 11a를 참조하면, 픽셀 어레이(110a)는 테트라 패턴을 가진다. 레드 픽셀(PX_R), 제1 그린 픽셀(PX_Gr), 제2 그린 픽셀(PX_Gb), 및 블루 픽셀(PX_B)이 각각 2
Figure pat00009
2 행열로 배열될 수 있으며, 상기 패턴이 행열로 반복될 수 있다. 이러한 패턴을 쿼드라 베이어 패턴으로 지칭할 수 있다.
실시예에 있어서, 2
Figure pat00010
2 행열로 배열된 픽셀들은 도 12에 도시되는 바와 같이, 각각 광전 변환 소자를 포함하며, 플로팅 디퓨전 노드 및 픽셀 회로를 공유할 수 있다. 이에 따라, 도 11b에 도시된 바와 같이, 2
Figure pat00011
2 행열로 배열된 픽셀들은 하나의 빅 픽셀(예컨대, PX_R1, PX_Gr1. PX_Gb1, PX_B1) 로서 동작할 수 있다. 빅 픽셀들은 베이어 패턴을 구성할 수 있다. 이에 따라 전술한 바와 같이, 본 개시의 예시적 실시예에 따른 비닝 방법이 적용될 수 있다. 리드아웃 단계에서, 제1 수평 기간에 제1 로우(Row1) 및 제3 로우(Row3)가 동시에 리드아웃되고, 제2 수평 기간에 제2 로우(Row2) 및 제4 로우(Row4)가 동시에 리드아웃 될 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 픽셀의 일 예를 나타낸다.
도 12를 참조하면, 픽셀(PXa)은 복수의 광전 변환 소자(22a, 22b, 22c, 22d) 및 픽셀 회로(12)를 포함할 수 있다. 예컨대 픽셀(PXa)은 4 개의 광전 변환 소자(22a, 22b, 22c, 22d)를 포함할 수 있으며, 일부 실시예들에서, 광전 변환 소자로서, 4 개의 포토다이오드(PD1A, PD1B, PD1C, PD1D)를 포함할 수 있다. 복수의 광전 변환 소자(22a, 22b, 22c, 22d) 각각의 상부에는 마이크로 렌즈가 배치될 수 있다. 따라서, 마이크로 렌즈와 광전 변환 소자의 조합이 하나의 픽셀로 지칭될 수도 있으며, 이에 따라 도 12의 픽셀(PXa)은 4 개의 픽셀로 간주될 수도 있다.
픽셀 회로(12)는 복수의 광전 변환 소자(22a, 22b, 22c, 22d) 각각에 연결된 제1 내지 제4 전송 트랜지스터(Tx1~TX4), 리셋 트랜지스터(RX1), 구동 트랜지스터(DX1) 및 선택 트랜지스터(SX1)를 포함할 수 있다.
플로팅 디퓨전 노드(FD)는 4 개의 광전 변환 소자(22a, 22b, 22c, 22d) 및 4개의 전송 트랜지스터(TX1, TX2, TX3, TX4)에 의해 공유될 수 있다. 전송 트랜지스터(TX1, TX2, TX3, TX4)는 트랜스퍼 게이트(TG1, TG2, TG3, TG4)의 전압에 따라 4 개의 제1 포토다이오드(PD1A, PD1B, PD1C, PD1D) 각각을 플로팅 디퓨전 노드(FD1)와 연결시키거나 차단시킬 수 있다.
제1 포토다이오드(PD1A, PD1B, PD1C, PD1D)로 입사된 빛은 광전 변환에 의해 포토다이오드(PD1A, PD1B, PD1C, PD1D) 내에 전하로 축적될 수 있다. 포토다이오드(PD1A, PD1B, PD1C, PD1D)에 축적된 전하가 플로팅 디퓨전 노드(FD1)에 전달되면, 드라이브 트랜지스터(DX1) 및 선택 트랜지스터(SX1)를 거쳐 제1 아날로그 전압(V1out)으로서 외부로 출력될 수 있다. 플로팅 디퓨전 노드(FD1)의 전압 변화에 대응되는 제1 아날로그 전압(V1out)은 외부의 리드아웃 회로(도시 생략)로 전송될 수 있다.
본 실시예에 따른 픽셀(PXa)은 도 11a의 픽셀 어레이(110a)에 적용될 수 있다. 예를 들어, 픽셀(PXa)의 4 개의 광전 변환 소자(22a, 22b, 22c, 22d)가 2 X 2로 배열된 각 픽셀들에 대응할 수 있다. 다시 말해서, 2 X 2로 배열된 각 픽셀들은 도 12의 픽셀(PXa)과 같이 플로팅 디퓨전 노드 (FD)를 공유할 수 있다. 전송 트랜지스터(TX1, TX2, TX3, TX4)는 동시에 턴-온 또는 턴-오프 됨으로써, 도 11b에 도시된 바와 같이, 2 X 2로 배열된 픽셀들이 하나의 빅 픽셀로서 동작할 수 있다. 실시예에 있어서, 빅 픽셀로서 동작할 때, 전송 트랜지스터(TX1, TX2, TX3, TX4) 중 일부만 턴-온 또는 턴-오프되고, 나머지는 턴-오프 상태를 유지할 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 이미지 센서가 적용되는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 14는 도 13의 카메라 모듈의 상세 블록도이다.
도 13을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 14를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 14를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 전술한 본 개시의 예시적 실시예에 따른 비닝 방법을 수행하는 이미지 센서(도 1의 100)가 이미지 센서(1142)로서 적용될 수 있다. 따라서, 이미지 센싱 장치(1140)가 제1 모드로 동작할 때, 프레임 레이트가 증가되고, 생성되는 이미지 데이터의 사이즈가 감소될 수 있으며, 화질이 향상될 수 있다.
제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 13과 도 14를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 13을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 이미지 센서 110: 픽셀 어레이
160: 라인 버퍼 PX, PXa: 픽셀

Claims (20)

  1. 이미지 센서의 비닝 방법에 있어서,
    픽셀 어레이는 (2n)
    Figure pat00012
    (2n) 행렬로 배열되는 복수의 픽셀들(n은 2 이상의 정수)을 포함하는 복수의 영역들로 구분되고, 상기 복수의 영역들 각각에 대하여 적어도 두 개의 로우(row) 단위로 동시에 복수의 픽셀 신호들을 리드아웃하는 단계;
    리드아웃된 복수의 픽셀 신호들을 아날로그-디지털 변환함으로써, 제1 이미지 데이터를 생성하는 단계;
    상기 제1 이미지 데이터는 상기 픽셀 어레이의 상기 복수의 영역들에 대응하는 복수의 비닝 영역들을 포함하고, 상기 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 동일한 색상을 갖는 두 픽셀 값을 기초로 제1 합산 값을 생성하는 단계; 및
    컬럼 방향으로 인접한 두 비닝 영역에서 동일한 색상을 나타내는 두 개의 상기 제1 합산 값을 기초로 상기 두 비닝 영역 각각에 대해 제2 합산 값을 생성하는 단계를 포함하는 방법.
  2. 제1 항에 있어서, 상기 리드아웃하는 단계는,
    상기 적어도 두 개의 로우의 제1 컬럼에 배치된 제1 색상을 갖는 적어도 두 개의 제1 픽셀로부터 동시에 픽셀 신호들을 리드아웃하고, 상기 적어도 두 개의 로우의 제2 컬럼에 배치된 제2 색상을 갖는 적어도 두 개의 제2 픽셀들 중 하나의 제2 픽셀로부터 픽셀 신호를 리드아웃 하는 것을 특징으로 하는 방법.
  3. 제2 항에 있어서, 상기 하나의 제2 픽셀은,
    상기 적어도 두 개의 제2 픽셀들 중 영역 내에서 상대적으로 외곽에 배치된 것을 특징으로 하는 방법.
  4. 제2 항에 있어서, 상기 제1 이미지 데이터를 생성하는 단계는,
    아날로그-디지털 변환 회로가, 제1 컬럼 라인을 통해 상기 적어도 두 개의 제1 픽셀의 픽셀 신호들의 합에 해당하는 합산 신호를 수신하고, 상기 합산 신호를 아날로그-디지털 변환하여 상기 적어도 두 개의 제1 픽셀의 중간 지점에 해당하는 제1 샘플링 위치에 대한 픽셀 값으로서 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1 항에 있어서, 상기 제1 합산 값을 생성하는 단계는,
    상기 두 픽셀 값에 대하여 가중치들을 각각 부여하고, 가중치가 부여된 값들을 평균 합산하는 것을 특징으로 하는 방법.
  6. 제5 항에 있어서,
    상기 두 픽셀 값 각각에 부여되는 상기 가중치들은 상기 평균 합산의 결과에 따른 상기 제1 합산 값이 위치하게되는 제2 샘플링 위치를 기초로 설정되는 것을 특징으로 하는 방법.
  7. 제1 항에 있어서, 상기 제2 합산 값을 생성하는 단계는,
    상기 두 개의 제1 합산 값에 대하여 가중치들을 각각 부여하여 평균 합산 하고, 상기 평균 합산의 결과에 따른 상기 제2 합산 값을 제3 샘플링 위치에 대한 픽셀 값으로서 생성하는 것을 특징으로 하는 방법.
  8. 제1 항에 있어서,
    상기 제1 이미지 데이터의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 적어도 두 개의 제1 픽셀 값들 및 상기 비닝 영역에 인접한 다른 비닝 영역 내의 제1 픽셀 값을 기초로 제3 합산 값을 생성하는 단계; 및
    적어도 두 개의 제1 픽셀에 대하여, 상기 제2 합산 값과 상기 제3 합산 값을 병합하는 단계를 더 포함하는 방법.
  9. 제8 항에 있어서, 상기 병합하는 단계는,
    상기 비닝 영역의 제1 픽셀 값 및 상기 다른 비닝 영역의 제1 픽셀 값의 차이를 기초로 수행되며, 상기 차이가 제1 임계 값 미만이면, 상기 제3 합산 값이 출력되는 이미지 데이터에 포함되며, 상기 차이가 제2 임계 값을 초과하면, 상기 제2 합산 값이 출력되는 상기 이미지에 포함되며, 상기 차이가 제1 임계값 이상, 상기 제2 임계 값 이하이면, 상기 제2 합산 값과 상기 제3 합산 값 각각에 상기 차이에 기초한 가중치가 부가되고, 가중치가 부가된 값들의 합산 값이 상기 출력되는 이미지 데이터에 포함되는 것을 특징으로 하는 방법.
  10. 제1 항에 있어서, 상기 복수의 영역들은 4
    Figure pat00013
    4 행열로 배열되는 16개의 픽셀들을 포함하며,
    상기 16개의 픽셀들에 따른 16개의 픽셀 값들이 출력되는 이미지 데이터에서 2
    Figure pat00014
    2 행열로 배열되는 픽셀 값들로 비닝되는 것을 특징으로 하는 방법.
  11. (2n)
    Figure pat00015
    (2n) 행열로 배열되는 픽셀들(n은 2 이상의 정수)을 포함하는 사각 형상의 복수의 영역들로 구분되는 픽셀 어레이;
    복수의 컬럼 라인을 통해 상기 픽셀 어레이로부터 수신되는 복수의 픽셀 신호를 리드아웃하고, 리드아웃된 복수의 픽셀 신호를 복수의 픽셀 값으로 변환하는아날로그-디지털 변환 회로;
    상기 픽셀 어레이에 연결되는 복수의 로우 라인을 통해 제어 신호들을 제공하고, 상기 픽셀 어레이에서 적어도 두 개의 로우 단위로 동시에 복수의 픽셀 신호들이 출력되도록 제어하는 상기 제어 신호들을 생성하는 로우 드라이버;
    상기 아날로그-디지털 변환 회로로부터 출력되는 제1 이미지 데이터를 소정의 라인 단위로 저장하는 라인 버퍼; 및
    상기 라인 버퍼에 저장된 제1 이미지 데이터에 대하여 비닝을 수행하는 프로세서를 포함하는 이미지 센서.
  12. 제11 항에 있어서, 상기 로우 드라이버는,
    상기 적어도 두 개의 로우의 제1 컬럼에 배치된 적어도 두 개의 제1 픽셀들이 동시에 픽셀 신호들을 출력하고, 상기 적어도 두 개의 로우의 제2 컬럼에 배치된 제2 픽셀들 중 하나의 제2 픽셀이 픽셀 신호를 출력하도록 제어하는 것을 특징으로 하는 이미지 센서.
  13. 제12 항에 있어서, 상기 아날로그-디지털 변환 회로는,
    제1 컬럼 라인을 통해 상기 적어도 두 개의 제1 픽셀의 픽셀 신호들의 합에 해당하는 합산 신호를 수신하고, 상기 합산 신호를 아날로그-디지털 변환하여 상기 적어도 두 개의 제1 픽셀의 중간 지점에 해당하는 제1 샘플링 위치에 대한 픽셀 값으로서 생성하는 것을 특징으로 하는 이미지 센서.
  14. 제11 항에 있어서, 상기 프로세서는,
    상기 제1 이미지 데이터에 포함되는 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 동일한 색상을 갖는 두 픽셀 값을 기초로 제1 합산 값을 생성하는 것을 특징으로 하는 이미지 센서.
  15. 제14 항에 있어서, 상기 프로세서는,
    상기 두 픽셀 값에 대하여 상기 제1 합산 값이 위치하게 되는 제2 샘플링 위치를 기초로 설정되는 가중치들을 각각 부여하고, 가중치가 부여된 값들을 평균 합산하는 것을 특징으로 하는 이미지 센서.
  16. 제14 항에 있어서, 상기 프로세서는,
    상기 복수의 비닝 영역들 중 컬럼 방향으로 인접한 두 비닝 영역에서 동일한 색상을 나타내는 두 개의 상기 합산 값을 기초로 상기 두 비닝 영역 각각에 대해 제2 합산 값을 생성하는 것을 특징으로 하는 이미지 센서.
  17. 제16 항에 있어서, 상기 프로세서는,
    상기 제1 이미지 데이터의 복수의 비닝 영역들 각각에 대하여, 비닝 영역 내의 적어도 두 개의 제1 픽셀 값들 및 상기 비닝 영역에 인접한 다른 비닝 영역 내의 제1 픽셀 값을 기초로 제3 합산 값을 산출하고, 적어도 두 개의 제1 픽셀에 대하여, 상기 제2 합산 값과 상기 제3 합산 값을 병합하는 것을 특징으로 하는 이미지 센서.
  18. 제17 항에 있어서, 상기 프로세서는,
    상기 비닝 영역의 제1 픽셀 값 및 상기 다른 비닝 영역의 상기 제1 픽셀 값의 차이를 기초로 상기 제1 합산 값과 상기 제3 합산 값을 병합하는 것을 특징으로 하는 이미지 센서.
  19. 제11 항에 있어서, 상기 복수의 영역들 각각은,
    레드 픽셀, 두 개의 그린 픽셀 및 블루 픽셀이 반복적으로 배치되는 베이어 패턴을 포함하는 것을 특징으로 하는 이미지 센서.
  20. 제11 항에 있어서, 상기 복수의 영역들 각각은,
    각각이 2
    Figure pat00016
    2 행열로 배열된 레드 픽셀 그룹, 그린 픽셀 그룹 및 블루 픽셀 그룹이 반복적으로 배치되는 패턴을 포함하는 것을 특징으로 하는 이미지 센서.
KR1020200078813A 2020-06-26 2020-06-26 이미지 센서 및 이미지 센서의 비닝 방법 KR20220000761A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200078813A KR20220000761A (ko) 2020-06-26 2020-06-26 이미지 센서 및 이미지 센서의 비닝 방법
DE102021114150.8A DE102021114150A1 (de) 2020-06-26 2021-06-01 Bildsensor und binning-verfahren dafür
US17/338,082 US11588988B2 (en) 2020-06-26 2021-06-03 Image sensor and binning method thereof
JP2021104257A JP2022008235A (ja) 2020-06-26 2021-06-23 イメージセンサ、ビニング方法、及びイメージ処理システム
CN202110707634.0A CN113852769A (zh) 2020-06-26 2021-06-24 图像传感器及其合并方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200078813A KR20220000761A (ko) 2020-06-26 2020-06-26 이미지 센서 및 이미지 센서의 비닝 방법

Publications (1)

Publication Number Publication Date
KR20220000761A true KR20220000761A (ko) 2022-01-04

Family

ID=78827248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078813A KR20220000761A (ko) 2020-06-26 2020-06-26 이미지 센서 및 이미지 센서의 비닝 방법

Country Status (5)

Country Link
US (1) US11588988B2 (ko)
JP (1) JP2022008235A (ko)
KR (1) KR20220000761A (ko)
CN (1) CN113852769A (ko)
DE (1) DE102021114150A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3997579B1 (en) 2020-07-29 2023-09-27 Fingerprint Cards Anacatum IP AB Adaptive readout from an optical biometric sensor to a host device
WO2022025810A1 (en) * 2020-07-29 2022-02-03 Fingerprint Cards Anacatum Ip Ab Adaptive readout from a global shutter optical biometric sensor
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091466B2 (en) 2003-12-19 2006-08-15 Micron Technology, Inc. Apparatus and method for pixel binning in an image sensor
US7929807B2 (en) 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
KR20110085768A (ko) 2010-01-21 2011-07-27 삼성전자주식회사 Ｃｍｏｓ 이미지 센서, 상기 이미지 센서의 데이터 리드아웃 방법, 및 상기 이미지 센서를 포함하는 전자 시스템
US8780238B2 (en) 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
KR101488074B1 (ko) 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
KR102178335B1 (ko) 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
JP2015228544A (ja) * 2014-05-30 2015-12-17 株式会社東芝 固体撮像装置
US10109037B1 (en) 2015-06-02 2018-10-23 Marvell International Ltd. Systems and methods for Bayer image scaling based on edge detection
KR20200078813A (ko) 2018-12-22 2020-07-02 두배에프앤비 비빔면 전용 소스 및 그 제조방법
KR102600681B1 (ko) * 2019-03-26 2023-11-13 삼성전자주식회사 비닝을 수행하는 테트라셀 이미지 센서

Also Published As

Publication number Publication date
JP2022008235A (ja) 2022-01-13
US11588988B2 (en) 2023-02-21
US20210409623A1 (en) 2021-12-30
DE102021114150A1 (de) 2021-12-30
CN113852769A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
US11588988B2 (en) Image sensor and binning method thereof
US11825216B2 (en) Image sensor
KR20210156458A (ko) 이미지 센싱 장치 및 이를 포함하는 전자 장치
US11425323B2 (en) Image sensor and operating method thereof
KR20220038972A (ko) 전자 장치 및 그 이미지 비닝방법
KR20220098587A (ko) 이미지 센서, 픽셀 및 픽셀의 동작 방법
JP2023008830A (ja) イメージセンサ、イメージセンサを含むイメージ装置、及びイメージ装置の動作方法
US20220116557A1 (en) Pixel array and image sensor including the same
KR20230078460A (ko) 이미지 센서 및 이미지 센서의 자동 초점 동작 방법
KR20230082544A (ko) 넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법
EP4307703A1 (en) Image sensor and electronic device including the same
US11825226B2 (en) Image sensor and pixel array of image sensor
US11622093B1 (en) Pixel array for reducing image information loss and image sensor including the same
US20230005980A1 (en) Image sensor
US20220399384A1 (en) Pixel array and image sensor including the same
US20230300481A1 (en) Image sensing device and image processing method of the same
EP4187914A1 (en) Image sensor and autofocusing method of the same
US20220201237A1 (en) Image sensor, image sensing device including same, and operating method
KR20220047140A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20220144014A (ko) 카메라 모듈 및 카메라 모듈의 동작 방법
TW202420835A (zh) 影像感測器和電子裝置
KR20240010387A (ko) 이미지 센서 및 이를 포함하는 전자 장치
CN117278869A (zh) 校正串扰的图像传感器、其操作方法和包括其的电子设备
CN117412190A (zh) 图像传感器和包括该图像传感器的电子设备
TW202306140A (zh) 影像感測器

Legal Events

Date Code Title Description
A201 Request for examination