KR20220043571A - 이미지 센싱 장치 및 그의 동작 방법 - Google Patents

이미지 센싱 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20220043571A
KR20220043571A KR1020200127124A KR20200127124A KR20220043571A KR 20220043571 A KR20220043571 A KR 20220043571A KR 1020200127124 A KR1020200127124 A KR 1020200127124A KR 20200127124 A KR20200127124 A KR 20200127124A KR 20220043571 A KR20220043571 A KR 20220043571A
Authority
KR
South Korea
Prior art keywords
rows
image
pixels
image signals
row
Prior art date
Application number
KR1020200127124A
Other languages
English (en)
Inventor
정회삼
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020200127124A priority Critical patent/KR20220043571A/ko
Priority to US17/196,506 priority patent/US11689823B2/en
Priority to CN202110623791.3A priority patent/CN114339099A/zh
Publication of KR20220043571A publication Critical patent/KR20220043571A/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H04N5/3692—
    • H04N9/0455—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 일실시예는, 비닝(binning) 모드 시 복수의 픽셀들 중 일부의 픽셀들에 대응하는 제1 이미지 신호들을 생성하기 위한 이미지 센서; 및 상기 비닝 모드 시, 상기 제1 이미지 신호들에 기초하여, 보간(interpolation) 동작을 통해 상기 복수의 픽셀들 중 나머지 픽셀들에 대응하는 제2 이미지 신호들을 생성하기 위한 이미지 프로세서를 포함하는 이미지 센싱 장치 및 그의 동작방법을 제공한다.

Description

이미지 센싱 장치 및 그의 동작 방법{IMAGE SENSING DEVICE AND METHOD OF OPERATING THE SAME}
본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센싱 장치 및 그의 동작 방법에 관한 것이다.
이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.
본 발명의 실시예는 노말 모드 시 이용되는 회로를 설계 변경 없이 그대로 비닝 모드에서 이용하면서 고프레임률(high frame rate)을 달성하기 위한 이미지 센싱 장치 및 그의 동작 방법을 제공한다.
본 발명의 일 측면에 따르면, 이미지 센싱 장치는, 비닝(binning) 모드 시 복수의 픽셀들 중 일부의 픽셀들에 대응하는 제1 이미지 신호들을 생성하기 위한 이미지 센서; 및 상기 비닝 모드 시, 상기 제1 이미지 신호들에 기초하여, 보간(interpolation) 동작을 통해 상기 복수의 픽셀들 중 나머지 픽셀들에 대응하는 제2 이미지 신호들을 생성하기 위한 이미지 프로세서를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센싱 장치의 동작 방법은, 비닝(binning) 모드에 진입하는 단계; 복수의 픽셀이 배열된 복수의 행(row)들 중 일부의 행들에 대응하는 제1 이미지 신호들을 아날로그 비닝(analog binning) 동작을 통해 생성하는 단계; 및 상기 제1 이미지 신호들에 기초하여, 보간(interpolation) 동작과 디지털 비닝(digital binning) 동작을 통해 상기 복수의 행들 중 나머지 행들에 대응하는 제2 이미지 신호들을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예는 노말 모드 시 이용되는 회로를 설계 변경 없이 그대로 비닝 모드에서 이용하면서 고프레임률(high frame rate)을 달성할 수 있는바 설계 비용을 절약하면서도 상기 비닝 모드 시 고속으로 화질이 개선된 이미지를 획득할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 장치의 블록 구성도이다.
도 2는 도 1에 도시된 이미지 센서의 블록 구성도이다.
도 3은 도 2에 도시된 픽셀 어레이의 일부를 보인 구성도이다.
도 4는 도 1에 도시된 이미지 센싱 장치의 동작을 일예에 따라 설명하기 위한 픽셀 어레이의 일부가 도시된 도면이다.
도 5는 도 1에 도시된 이미지 센싱 장치의 동작을 다른 예에 따라 설명하기 위한 픽셀 어레이의 일부가 도시된 도면이다.
도 6은 도 1에 도시된 이미지 센싱 장치의 동작을 또다른 예에 따라 설명하기 위한 픽셀 어레이의 일부가 도시된 도면이다
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.
도 1에는 본 발명의 제1 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.
도 1을 참조하면, 이미지 센싱 장치는 이미지 센서(100), 및 이미지 프로세서(200)를 포함할 수 있다.
이미지 센서(100)는 노말(normal) 모드와 비닝(binning) 모드 시 입사광에 대응하는 이미지 신호들(DPXs)을 생성할 수 있다.
예컨대, 이미지 센서(100)는 상기 노말 모드 시 프레임(frame) 구간 동안 내부에 포함된 복수의 픽셀 중 전부를 로우(row) 별로 동작시켜 미가공 이미지(raw image)에 대응하는 이미지 신호들(DPXs)을 생성할 수 있다. 상기 노말 모드 시 생성되는 이미지 신호들(DPXs)은 각각 상기 복수의 픽셀 각각에 대응할 수 있다.
예컨대, 이미지 센서(100)는 상기 비닝 모드 시 상기 프레임 구간 동안 상기 복수의 픽셀 중 일부만을 로우 그룹 별로 동작시켜 가공 이미지에 대응하는 이미지 신호들(DPXs)을 생성할 수 있다. 상기 가공 이미지는 상기 미가공 이미지보다 작은 사이즈를 가질 수 있다. 상기 사이즈는 해상도를 의미할 수 있고, 상기 가공 이미지는 고화질(High Definition: HD) 이미지, 풀고화질(full HD) 이미지 등일 수 있다. 상기 비닝 모드 시 생성되는 이미지 신호들(DPXs)은 각각 상기 일부의 픽셀 중 적어도 2개의 픽셀로부터 리드아웃되는 픽셀신호들의 평균을 계산한 신호에 대응할 수 있다. 이하에서는 상기 비닝 모드 시 이미지 센서(100)로부터 생성되는 이미지 신호들(DPXs)을 제1 이미지 신호들(DPXs)이라 칭하여 설명한다. 이미지 센서(100)는 상기 비닝 모드 시 아날로그 비닝(analog binning) 동작을 통해 제1 이미지 신호들(DPXs)을 생성할 수 있다. 상기 아날로그 비닝 동작은 적어도 2개의 아날로그 타입의 픽셀신호들의 평균을 계산하는 동작을 포함할 수 있다.
이미지 프로세서(200)는 상기 노말 모드와 상기 비닝 모드 시 상기 프레임 구간 동안 이미지 신호들(DPXs)을 처리할 수 있다.
예컨대, 이미지 프로세서(200)는 상기 노말 모드 시 이미지 신호들(DPXs)에 기초하여 상기 미가공 이미지에 대응하는 노말 이미지를 생성할 수 있다.
예컨대, 이미지 프로세서(200)는 상기 비닝 모드 시 제1 이미지 신호들(DPXs)에 기초하여 상기 가공 이미지에 대응하는 비닝 이미지를 생성할 수 있다. 특히, 이미지 프로세서(200)는 상기 비닝 모드 시 제1 이미지 신호들(DPXs)에 기초하여 보간(interpolation) 동작과 디지털 비닝(digital binning) 동작을 통해 상기 복수의 픽셀 중 나머지에 대응하는 제2 이미지 신호들을 생성할 수 있다. 예컨대, 이미지 프로세서(200)는 제1 이미지 신호들(DPXs)에 기초하여 상기 디지털 비닝 동작을 통해 제3 이미지 신호들을 생성할 수 있고, 상기 제3 이미지 신호들에 기초하여 상기 보간 동작을 통해 상기 제2 이미지 신호들을 생성할 수 있다.
도 2에는 도 1에 도시된 이미지 센서(100)가 블록 구성도로 도시되어 있다.
도 2를 참조하면, 이미지 센서(100)는 로우(row) 컨트롤러(110), 픽셀 어레이(120), 및 신호 변환기(130)를 포함할 수 있다.
로우 컨트롤러(110)는 상기 노말 모드 시 상기 복수의 픽셀들이 배열된 복수의 행(row) 중 전부를 로우 별로 제어하기 위한 로우제어신호(CTRLs)를 생성할 수 있다. 로우 컨트롤러(110)는 상기 비닝 모드 시 상기 복수의 행 중 일부를 로우 그룹 별로 제어하기 위한 로우제어신호들(CTRLs)을 생성할 수 있다.
상기 픽셀 어레이(120)는 행(row)과 열(column) 방향으로 배열된 상기 복수의 픽셀을 포함할 수 있다. 상기 픽셀 어레이(120)는 상기 로우 컨트롤러(110)의 제어에 따라 아날로그 타입의 픽센신호들(VPXs)을 생성할 수 있다. 예컨대, 상기 픽셀 어레이(120)는 상기 노말 모드 시 로우 별로 픽센신호들(VPXs)을 생성할 수 있고, 상기 비닝 모드 시 로우 그룹 별로 픽셀신호들(VPXs)을 생성할 수 있다. 상기 비닝 모드 시 생성되는 픽셀신호들(VPXs)은 각각 상기 아날로그 비닝 동작에 따라 적어도 2개의 픽셀신호들의 평균에 대응하는 신호일 수 있다.
신호 변환기(130)는 픽셀신호들(VPXs)에 기초하여 디지털 타입의 이미지 신호들(DPXs)을 생성할 수 있다. 예컨대, 신호 변환기(130)는 상기 노말 모드 시 로우 별 픽셀신호들(VPXs)에 대응하는 이미지 신호들(DPXs)을 생성할 수 있고, 상기 비닝 모드 시 로우 그룹 별 픽셀신호들(VPXs)에 대응하는 제1 이미지 신호들(DPXs)을 생성할 수 있다. 신호 변환기(130)는 아날로그 투 디지털 변환기(analog to digital converter)를 포함할 수 있다.
도 3에는 도 2에 도시된 픽셀 어레이(120)의 일부가 도시되어 있다.
도 3을 참조하면, 픽셀 어레이(120)는 예정된 패턴으로 배열될 수 있다. 예컨대, 픽셀 어레이(120)는 베이어(Bayer) 패턴으로 배열될 수 있다. 상기 베이어 패턴은 2 x 2 픽셀들의 반복 셀로 구성되며, 각각의 셀에는 2개의 그린(green) 컬러 필터를 가지는 픽셀들(Gr, Gb)이 대각선으로 대향하도록 배치되고, 레드(red) 컬러 필터를 가지는 픽셀(R)과 블루(blue) 컬러 필터를 가지는 픽셀(B)이 나머지 코너에 배치될 수 있다.
이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 센싱 장치(100)의 동작을 도 4 내지 도 6을 참조하여 설명한다. 본 발명의 실시예는 상기 비닝 모드에 따른 동작만을 설명하기로 한다.
우선, 본 발명의 전반적인 동작 방법은, 상기 비닝 모드에 진입하는 단계와, 상기 복수의 픽셀이 배열된 상기 복수의 행(row)들 중 일부의 행들에 대응하는 제1 이미지 신호들(DPXs)을 상기 아날로그 비닝 동작을 통해 생성하는 단계와, 제1 이미지 신호들(DPXs)에 기초하여 상기 보간 동작과 상기 디지털 비닝 동작을 통해 상기 복수의 행들 중 나머지 행들에 대응하는 제2 이미지 신호들을 생성하는 단계를 포함할 수 있다. 이하에서는 상기 아날로그 비닝 동작, 상기 디지털 비닝 동작, 및 상기 보간 동작을 일예들에 따라 설명한다.
도 4에는 이미지 센싱 장치(100)의 동작을 일예에 따라 설명하기 위한 픽셀 어레이(120)의 일부가 도시되어 있다.
도 4를 참조하면, 상기 일부의 행들은 제1 내지 제4 행과 제9 내지 제12 행을 포함할 수 있고, 상기 나머지 행들은 제5 내지 제8 행과 제13 행 내지 제16 행을 포함할 수 있다. 상기 일부의 행들과 상기 나머지 행들은 규칙적으로 혼재되어 있음을 알 수 있다. 이하에서는 설명의 편의를 위해 상기 나머지 행들에 포함된 픽셀들 중 레드 컬러 필터를 가지는 2 x 2 픽셀들(R20, R21, R30, R31)에 대응하는 제2 이미지 신호가 생성되는 과정을 대표적으로 설명한다.
상기 2 x 2 픽셀들(R20, R21, R30, R31)에 대응하는 상기 제2 이미지 신호는 상기 보간 동작을 통해 생성될 수 있다. 더욱 구체적으로, 상기 2 x 2 픽셀들(R20, R21, R30, R31)에 대응하는 상기 제2 이미지 신호의 이미지 값은 다음의 수학식 1에 따라 계산될 수 있다.
Figure pat00001
여기서, "(R20+R21+R30+R31)/4"는 상기 2 x 2 픽셀들(R20, R21, R30, R31)에 대응하는 상기 제2 이미지 신호의 이미지 값일 수 있고, "(R00+R01+R10+R11)/4"는 상기 일부의 행들 중 상기 제1 및 제3 행에 포함된 2 x 2 픽셀들(R00, R01, R10, R11)에 대응하는 제1 상부 이미지 신호의 이미지 값일 수 있고, "(R40+R41+R50+R51)/4"는 상기 일부의 행들 중 상기 제9 및 제11 행에 포함된 2 x 2 픽셀들(R40, R41, R50, R51)에 대응하는 제1 하부 이미지 신호의 이미지 값일 수 있다.
상기 제1 상부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(R00+R10)/2"와 "(R01+R11)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 상부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(R00+R01)+(R10+R11)}/4"은 상기 디지털 비닝 동작을 통해 처리될 수 있다. 상기 제1 하부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(R40+R50)/2"와 "(R41+R51)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 하부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(R40+R41)+(R50+R51)}/4"은 상기 디지털 비닝 동작을 통해 처리될 수 있다.
도 5에는 이미지 센싱 장치(100)의 동작을 일예에 따라 설명하기 위한 픽셀 어레이(120)의 일부가 도시되어 있다.
도 5를 참조하면, 상기 일부의 행들은 제1 행, 제3 행, 제6 행, 제8 행, 제9 행, 제11 행, 제14 행, 및 제16 행을 포함할 수 있고, 상기 나머지 행들은 제2 행, 제4 행, 제5 행, 제7 행, 제10 행, 제12 행, 제13 행, 및 제15 행을 포함할 수 있다. 상기 일부의 행들과 상기 나머지 행들은 불규칙적으로 혼재되어 있음을 알 수 있다. 이하에서는 설명의 편의를 위해 상기 나머지 행들에 포함된 픽셀들 중 그린 컬러 필터를 가지는 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 제2 이미지 신호가 생성되는 과정을 대표적으로 설명한다.
상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 상기 제2 이미지 신호는 상기 보간 동작을 통해 생성될 수 있다. 더욱 구체적으로, 상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 상기 제2 이미지 신호의 이미지 값은 다음의 수학식 2에 따라 계산될 수 있다.
Figure pat00002
여기서, "(Gr20+Gr21+Gr30+Gr31)/4"은 상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 상기 제2 이미지 신호의 이미지 값일 수 있고, "(Gr00+Gr01+Gr10+Gr11)/4"은 상기 일부의 행들 중 상기 제1 및 제3 행에 포함된 2 x 2 픽셀들(Gr00, Gr01, Gr10, Gr11)에 대응하는 제1 상부 이미지 신호의 이미지 값일 수 있고, "(Gr40+Gr41+Gr50+Gr51)/4"은 상기 일부의 행들 중 상기 제9 및 제11 행에 포함된 2 x 2 픽셀들(Gr40, Gr41, Gr50, Gr51)에 대응하는 제1 하부 이미지 신호의 이미지 값일 수 있다.
상기 제1 상부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(Gr00+Gr10)/2"와 "(Gr01+Gr11)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 상부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(Gr00+Gr01)+(Gr10+Gr11)}/4"은 상기 디지털 비닝 동작을 통해 처리될 수 있다. 상기 제1 하부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(Gr40+Gr50)/2"와 "(Gr41+Gr51)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 하부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(Gr40+Gr41)+(Gr50+Gr51)}/4"은 상기 디지털 비닝 동작을 통해 처리될 수 있다.
도 6에는 이미지 센싱 장치(100)의 동작을 일예에 따라 설명하기 위한 픽셀 어레이(120)의 일부가 도시되어 있다.
도 6을 참조하면, 상기 일부의 행들은 제1 행, 제3 행, 제6 행, 제8 행, 제9 행, 제11 행, 제14 행, 및 제16 행을 포함할 수 있고, 상기 나머지 행들은 제2 행, 제4 행, 제5 행, 제7 행, 제10 행, 제12 행, 제13 행, 및 제15 행을 포함할 수 있다. 상기 일부의 행들과 상기 나머지 행들은 불규칙적으로 혼재되어 있음을 알 수 있다. 이하에서는 설명의 편의를 위해 상기 나머지 행들에 포함된 픽셀들 중 그린 컬러 필터를 가지는 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 제2 이미지 신호가 생성되는 과정을 대표적으로 설명하면 다음과 같다.
상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 상기 제2 이미지 신호는 상기 보간 동작을 통해 생성될 수 있다. 더욱 구체적으로, 상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 상기 제2 이미지 신호의 이미지 값은 다음의 수학식 3에 따라 계산될 수 있다.
Figure pat00003
여기서, "(Gr20+Gr21+Gr30+Gr31)/4"은 상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 대응하는 제2 이미지 신호의 이미지 값일 수 있고, "(Gr00+Gr01+Gr10+Gr11)/4"는 상기 일부의 행들 중 상기 제1 및 제3 행에 포함된 2 x 2 픽셀들(Gr00, Gr01, Gr10, Gr11)에 대응하는 제1 상부 이미지 신호의 이미지 값일 수 있고, "(Gr40+Gr41+Gr50+Gr51)/4"는 상기 일부의 행들 중 상기 제9 및 제11 행에 포함된 2 x 2 픽셀들(Gr40, Gr41, Gr50, Gr51)에 대응하는 제1 하부 이미지 신호의 이미지 값일 수 있다. "p"는 가중치이며 '0'에서 '1' 사이의 값을 가질 수 있다(0≤P≤1). "f(Gb20,Gb30,Gb21,Gb31,Gb22,Gb32)"는 보간을 위한 함수이며 3 x 2 픽셀들(Gb20, Gb30, Gb21, Gb31, Gb22, Gb32)에 대응하는 이미지 신호의 이미지 값일 수 있다. 상기 3 x 2 픽셀들(Gb20, Gb30, Gb21, Gb31, Gb22, Gb32)은 상기 2 x 2 픽셀들(Gr20, Gr21, Gr30, Gr31)에 가장 인접하게 배치되며 그린 컬러 필터를 가지는 픽셀들일 수 있다. 상기 보간을 위한 함수를 상기 제2 이미지 신호에 반영함으로써 도 5에 비해 밝기 측면에서 더 유리할 수 있다.
상기 제1 상부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(Gr00+Gr10)/2"와 "(Gr01+Gr11)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 상부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(Gr00+Gr01)+(Gr10+Gr11)}/4"은 상기 디지털 비닝 동작을 통해 처리될 수 있다. 상기 제1 하부 이미지 신호에 반영된 이미지 값들 중 같은 열에 배열된 이미지 값들의 합, 즉 "(Gr40+Gr50)/2"와 "(Gr41+Gr51)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, 상기 제1 하부 이미지 신호에 반영된 전체 이미지 값, 즉 "{(Gr40+Gr41)+(Gr50+Gr51)}/2"은 상기 디지털 비닝 동작을 통해 처리될 수 있다. "f(Gb20,Gb30,Gb21,Gb31,Gb22,Gb32)"는 다음의 수학식 4에 따라 계산될 수 있다.
Figure pat00004
여기서, "(Gb20+GB30)/2"와 "(Gb21+Gb31)/2"와 "(Gb22+Gb32)/2"은 각각 상기 아날로그 비닝 동작을 통해 처리될 수 있고, "1/3*(A+B+C)" 또는 "1/4*A+1/2*B+1/4*C"은 상기 디지털 비닝을 통해 처리될 수 있다.
이와 같은 본 발명의 실시예들에 따르면, 상기 비닝 모드 시 상기 나머지 행들에 대한 리드아웃 동작 및 신호 변환 동작을 생략할 수 있으므로 고프레임률(high frame rate)을 달성할 수 있는 이점이 있다.
본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 이미지 센서 110 : 로우 컨트롤러
120 : 픽셀 어레이 130 : 신호 변환기
200 : 이미지 프로세서

Claims (15)

  1. 비닝(binning) 모드 시 복수의 픽셀들 중 일부의 픽셀들에 대응하는 제1 이미지 신호들을 생성하기 위한 이미지 센서; 및
    상기 비닝 모드 시, 상기 제1 이미지 신호들에 기초하여, 보간(interpolation) 동작을 통해 상기 복수의 픽셀들 중 나머지 픽셀들에 대응하는 제2 이미지 신호들을 생성하기 위한 이미지 프로세서
    를 포함하는 이미지 센싱 장치.
  2. 제1항에 있어서,
    상기 일부의 픽셀들은 상기 복수의 픽셀이 배열된 복수의 행(row)들 중 일부의 행들에 배열된 픽셀들을 포함하고,
    상기 나머지 픽셀들은 상기 복수의 행들 중 나머지 행들에 배열된 픽셀들을 포함하는 이미지 센싱 장치.
  3. 제2항에 있어서,
    상기 일부의 행들은 적어도 하나의 제1 행과 적어도 하나의 제2 행을 포함하고,
    상기 나머지 행들은 상기 제1 행과 제2 행 사이의 적어도 하나의 제3 행을 포함하는 이미지 센싱 장치.
  4. 제1항에 있어서,
    상기 이미지 센서는 아날로그 비닝 동작을 통해 상기 제1 이미지 신호들을 생성하고,
    상기 이미지 프로세서는 디지털 비닝 동작을 통해 상기 제2 이미지 신호들을 생성하는 이미지 센싱 장치.
  5. 제4항에 있어서,
    상기 아날로그 비닝 동작은 아날로그 타입의 픽셀신호들의 평균을 계산하는 동작을 포함하는 이미지 센싱 장치.
  6. 제4항에 있어서,
    상기 디지털 비닝 동작은 디지털 타입의 상기 제1 이미지 신호들의 평균을 계산하는 동작을 포함하는 이미지 센싱 장치.
  7. 비닝(binning) 모드에 진입하는 단계;
    복수의 픽셀이 배열된 복수의 행(row)들 중 일부의 행들에 대응하는 제1 이미지 신호들을 아날로그 비닝(analog binning) 동작을 통해 생성하는 단계; 및
    상기 제1 이미지 신호들에 기초하여, 보간(interpolation) 동작과 디지털 비닝(digital binning) 동작을 통해 상기 복수의 행들 중 나머지 행들에 대응하는 제2 이미지 신호들을 생성하는 단계
    를 포함하는 이미지 센싱 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 제2 이미지 신호들을 생성하는 단계는,
    상기 제1 이미지 신호들에 기초하여 상기 디지털 비닝 동작을 통해 제3 이미지 신호들을 생성하는 단계; 및
    상기 제3 이미지 신호들에 기초하여 상기 보간 동작을 통해 상기 제2 이미지 신호들을 생성하는 단계를 포함하는 이미지 센싱 장치의 동작 방법.
  9. 제7항에 있어서,
    상기 아날로그 비닝 동작은 아날로그 타입의 픽셀신호들의 평균을 계산하는 동작을 포함하는 이미지 센싱 장치의 동작 방법.
  10. 제7항에 있어서,
    상기 디지털 비닝 동작은 디지털 타입의 상기 제1 이미지 신호들의 평균을 계산하는 동작을 포함하는 이미지 센싱 장치의 동작 방법.
  11. 제7항에 있어서,
    상기 일부의 행들은 제1 행들과 제2 행들을 포함하고,
    상기 나머지 행들은 상기 제1 행들과 제2 행들 사이의 제3 행들을 포함하는 이미지 센싱 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 제1 내지 제3 행들은 규칙적으로 혼재되는 이미지 센싱 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 제1 내지 제3 행들은 동일한 컬러 필터(color filter) 패턴을 가지는 이미지 센싱 장치의 동작 방법.
  14. 제7항에 있어서,
    상기 일부의 행들은 제1 행들, 제2 행들, 그리고 제1 행들과 제2 행들 사이의 제3 행들을 포함하고,
    상기 나머지 행들은 상기 제1 행들과 제2 행들 사이의 제4 행들 - 상기 제3 행들과 다른 행들임 - 을 포함하는 이미지 센싱 장치의 동작 방법.
  15. 제14항에 있어서,
    상기 제1 내지 제4 행들은 불규칙적으로 혼재되는 이미지 센싱 장치의 동작 방법.
KR1020200127124A 2020-09-29 2020-09-29 이미지 센싱 장치 및 그의 동작 방법 KR20220043571A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200127124A KR20220043571A (ko) 2020-09-29 2020-09-29 이미지 센싱 장치 및 그의 동작 방법
US17/196,506 US11689823B2 (en) 2020-09-29 2021-03-09 Image sensing device and operating method thereof
CN202110623791.3A CN114339099A (zh) 2020-09-29 2021-06-04 图像感测装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200127124A KR20220043571A (ko) 2020-09-29 2020-09-29 이미지 센싱 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220043571A true KR20220043571A (ko) 2022-04-05

Family

ID=80821926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200127124A KR20220043571A (ko) 2020-09-29 2020-09-29 이미지 센싱 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11689823B2 (ko)
KR (1) KR20220043571A (ko)
CN (1) CN114339099A (ko)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
DE102004015876A1 (de) * 2004-03-31 2005-10-27 Siemens Ag Verfahren zum Auslesen eines Flächendetektors
US7876980B2 (en) * 2004-11-11 2011-01-25 Panasonic Corporation Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area
AT501761B1 (de) * 2005-08-17 2006-11-15 Arc Seibersdorf Res Gmbh Farbzeilenkamera
KR101448918B1 (ko) * 2007-12-18 2014-10-15 삼성전자주식회사 픽셀 데이터의 고속 출력이 가능한 ｃｍｏｓ 이미지 센서
WO2009145201A1 (ja) 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
KR102069864B1 (ko) 2012-11-05 2020-01-23 에스케이하이닉스 주식회사 반도체 메모리 장치 및 이의 동작 방법
TWI542224B (zh) * 2014-09-22 2016-07-11 瑞昱半導體股份有限公司 影像訊號處理方法以及影像訊號處理裝置
JP6525539B2 (ja) * 2014-10-08 2019-06-05 キヤノン株式会社 撮像素子及び撮像装置
KR102470223B1 (ko) * 2016-04-27 2022-11-23 주식회사 디비하이텍 이미지 센서 및 이미지 센서의 센싱 방법
US11463677B2 (en) * 2017-07-13 2022-10-04 Samsung Electronics Co., Ltd. Image signal processor, image processing system and method of binning pixels in an image sensor
KR102520487B1 (ko) * 2018-02-21 2023-04-12 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6788648B2 (ja) * 2018-10-24 2020-11-25 キヤノン株式会社 放射線撮影装置、放射線撮影方法及びプログラム
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
KR20210014021A (ko) * 2019-07-29 2021-02-08 삼성전자주식회사 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법

Also Published As

Publication number Publication date
CN114339099A (zh) 2022-04-12
US11689823B2 (en) 2023-06-27
US20220103766A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN100433801C (zh) 固态成像设备及其驱动方法
CN212785522U (zh) 图像传感器和电子设备
US8922683B2 (en) Color imaging element and imaging apparatus
US8233067B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and image capturing apparatus
KR102594038B1 (ko) 이미지 센싱 장치
US7259788B1 (en) Image sensor and method for implementing optical summing using selectively transmissive filters
CN102224736A (zh) 摄像装置
CN106067935B (zh) 图像拾取装置、图像拾取***和信号处理方法
US8111298B2 (en) Imaging circuit and image pickup device
US20160205359A1 (en) Solid state imaging device, imaging device, and electronic device
EP2680591B1 (en) Color imaging device
US9185375B2 (en) Color imaging element and imaging device
CN103416067A (zh) 摄像装置及摄像程序
US20230362512A1 (en) Image sensor and electronic camera
US7826658B2 (en) Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing
CN105516625B (zh) Cmos图像传感器像元合并读出电路结构及信号处理读出方法
CN107534742A (zh) 成像方法、图像传感器以及成像设备
JP3956875B2 (ja) 固体撮像装置
KR20220043571A (ko) 이미지 센싱 장치 및 그의 동작 방법
JP6137539B2 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP5411390B2 (ja) カラー撮像素子
KR20220082547A (ko) 이미지 센싱 장치
US20130038772A1 (en) Image processing apparatus and image processing method
CN216873256U (zh) 共用微透镜部分遮挡相位对焦的图像传感器
JP2015062264A (ja) 固体撮像素子、固体撮像装置及び画像処理方法