KR20230111379A - 이미지 센서 및 이미징 장치 - Google Patents

이미지 센서 및 이미징 장치 Download PDF

Info

Publication number
KR20230111379A
KR20230111379A KR1020220007156A KR20220007156A KR20230111379A KR 20230111379 A KR20230111379 A KR 20230111379A KR 1020220007156 A KR1020220007156 A KR 1020220007156A KR 20220007156 A KR20220007156 A KR 20220007156A KR 20230111379 A KR20230111379 A KR 20230111379A
Authority
KR
South Korea
Prior art keywords
sensing
color
image sensor
sensing elements
color filter
Prior art date
Application number
KR1020220007156A
Other languages
English (en)
Inventor
강덕영
윤대건
조양호
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220007156A priority Critical patent/KR20230111379A/ko
Priority to US17/957,190 priority patent/US11988849B2/en
Priority to CN202211249585.1A priority patent/CN116506745A/zh
Publication of KR20230111379A publication Critical patent/KR20230111379A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Control Of Exposure In Printing And Copying (AREA)

Abstract

일 실시예에 따른 이미징 장치는 색상 채널 별 센싱 영역에 배치된 센싱 소자들에서 해당하는 결상 렌즈 및 컬러 필터를 통과한 빛을 센싱하고, 센싱 영역 별 상기 센싱 소자들에서 센싱된 색상 세기 값을 빛의 조도에 기초하여 결정된 비닝 크기로 그룹핑한 것에 기초하여 센싱 데이터를 생성할 수 있다.

Description

이미지 센서 및 이미징 장치{IMAGE SENSOR AND IMAGING DEVICE}
아래의 개시는 이미지 센서 및 이미징 장치에 관한 것이다.
광학 기술 및 영상 처리 기술의 발달로 인해, 멀티미디어 컨텐츠, 보안 및 인식 등 광범위한 분야에 촬영 장치가 활용되고 있다. 예를 들어, 촬영 장치는 모바일 기기, 카메라, 차량 및 컴퓨터 등에 탑재되어, 영상을 촬영하거나, 객체를 인식하거나, 기기를 제어하기 위한 데이터를 획득할 수 있다. 촬영 장치의 부피는 렌즈의 사이즈, 렌즈의 초점 거리(focal length) 및 센서의 사이즈 등에 의해 결정될 수 있다. 렌즈의 사이즈가 감소할 경우, 렌즈의 초점 거리가 줄어들 수 있어, 촬영 장치의 부피를 감소시키기 위해, 소형 렌즈들로 구성된 멀티 렌즈가 이용될 수 있다.
일 실시예에 따른 이미지 센서는, 제1 결상 렌즈를 통과한 빛 중 제1 색상에 대응하는 파장의 빛을 통과시키는 제1 컬러 필터, 제2 결상 렌즈를 통과한 빛 중 제2 색상에 대응하는 파장의 빛을 통과시키는 제2 컬러 필터, 및 제3 결상 렌즈를 통과한 빛 중 제3 색상에 대응하는 파장의 빛을 통과시키는 제3 컬러 필터를 포함하는 컬러 필터 어레이; 상기 제1 컬러 필터를 통과한 빛을 수신하는 제1 색상 센싱 영역에 배치된 제1 센싱 소자들, 상기 제2 컬러 필터를 통과한 빛을 수신하는 제2 색상 센싱 영역에 배치된 제2 센싱 소자들, 및 상기 제3 컬러 필터를 통과한 빛을 수신하는 제3 색상 센싱 영역에 배치된 제3 센싱 소자들을 포함하는 센싱 어레이; 및 상기 제1 센싱 소자들, 상기 제2 센싱 소자들, 및 상기 제3 센싱 소자들을 조도에 기초하여 결정된 비닝 크기(binning size)로 그룹핑 하고, 상기 그룹핑된 제1 센싱 소자들, 상기 그룹핑된 제2 센싱 소자들, 및 상기 그룹핑된 제3 센싱 소자들의 센싱에 기초하여 센싱 데이터를 생성하는 제어기를 포함할 수 있다.
상기 센싱 데이터는, 픽셀 별로 비닝에 기초하여 합산된 센싱 값을 포함하고, 상기 센싱 데이터로부터 이미지를 복원하는 프로세서를 포함할 수 있다.
상기 프로세서는 피사체 상의 서로 동일 또는 인접한 지점으로부터 유발된 빛을 수신하는 센싱 소자들에서 센싱된 픽셀 값들이 서로 인접한 픽셀 위치에 배치되도록 상기 픽셀 값들을 재배열할 수 있다.
상기 프로세서는, 상기 재배열된 픽셀 값들로부터, 타겟 해상도의 채널 이미지를 생성할 수 있다.
상기 제어기는, 상기 조도에 기초하여 셋 이상의 비닝 크기들 중 한 비닝 크기를 선택할 수 있다.
상기 제어기는, 상기 조도가 임계 조도를 초과하는 경우, 개별 센싱 소자에서 센싱된 센싱 값에 기초하여 각 픽셀 값을 결정할 수 있다.
상기 제어기는, 상기 조도가 제1 조도 이하이고 제2 조도를 초과하는 경우, 제1 개수의 센싱 소자들을 비닝하고, 상기 조도가 제2 조도 이하인 경우, 상기 제1 개수보다 큰 제2 개수의 센싱 소자들을 비닝할 수 있다.
각 결상 렌즈에 의해 커버되는 복수의 센싱 소자들 중 50% 를 초과하는 센싱 소자들은 동일한 단일 색상에 대응하는 파장의 빛을 수신하도록 배치될 수 있다.
상기 제1 색상, 상기 제2 색상, 및 상기 제3 색상은 동일한 색상계에 포함되는 색상으로서, 서로 다른 색상일 수 있다.
상기 센싱 어레이는, 색상계를 구성하는 색상들 별로 적어도 하나의 색상 센싱 영역을 포함할 수 있다.
상기 센싱 어레이에서 녹색을 센싱하는 센싱 소자들의 개수가 나머지 색상을 센싱하는 센싱 소자들의 개수이상일 수 있다.
상기 컬러 필터 어레이는, 1개의 적색 통과 필터링 소자, 1개의 청색 통과 필터링 소자, 및 2개의 녹색 통과 필터링 소자를 포함하는 패턴이 반복적으로 배치된 추가 컬러 필터를 더 포함하고, 상기 센싱 어레이는, 추가 결상 렌즈 및 상기 추가 컬러 필터를 통과한 빛을 센싱하는 복수의 추가 센싱 소자들을 더 포함할 수 있다.
상기 패턴은, 베이어(bayer) 패턴일 수 있다.
상기 제어기는, 상기 추가 센싱 소자에 대해서는 비닝 동작을 배제할 수 있다.
이미지 센서는 상기 추가 센싱 소자에서 센싱된 데이터를 기준으로, 다른 센싱 소자들에서 센싱된 픽셀들을 재배열하는 프로세서를 더 포함할 수 있다.
녹색에 대응하는 센싱 영역의 개수가 청색에 대응하는 센싱 영역의 개수 또는 적색에 대응하는 센싱 영역의 개수 이상일 수 있다.
이미지 센서는 상기 조도를 측정하기 위한 조도 센서를 더 포함할 수 있다.
일 실시예에 따른 이미징 장치는, 제1 결상 렌즈, 제2 결상 렌즈, 및 제3 결상 렌즈를 포함하는 결상 렌즈 어레이; 상기 제1 결상 렌즈를 통과한 빛 중 제1 색상에 대응하는 파장의 빛을 통과시키는 제1 컬러 필터, 상기 제2 결상 렌즈를 통과한 빛 중 제2 색상에 대응하는 파장의 빛을 통과시키는 제2 컬러 필터, 및 상기 제3 결상 렌즈를 통과한 빛 중 제3 색상에 대응하는 파장의 빛을 통과시키는 제3 컬러 필터를 포함하는 컬러 필터 어레이; 상기 제1 컬러 필터를 통과한 빛을 수신하는 제1 색상 센싱 영역에 배치된 제1 센싱 소자들, 상기 제2 컬러 필터를 통과한 빛을 수신하는 제2 색상 센싱 영역에 배치된 제2 센싱 소자들, 및 상기 제3 컬러 필터를 통과한 빛을 수신하는 제3 색상 센싱 영역에 배치된 제3 센싱 소자들을 포함하는 센싱 어레이; 및 상기 제1 센싱 소자들, 상기 제2 센싱 소자들, 및 상기 제3 센싱 소자들을 조도에 기초하여 결정된 비닝 크기(binning size)로 그룹핑하고, 상기 그룹핑된 제1 센싱 소자들, 상기 그룹핑된 제2 센싱 소자들, 및 상기 그룹핑된 제3 센싱 소자들의 센싱에 기초하여 센싱 데이터를 생성하는 제어기를 포함할 수 있다.
일 실시예에 따른 이미지 센서에 의해 수행되는 방법은, 색상 채널 별 센싱 영역에 배치된 센싱 소자들에서 해당하는 결상 렌즈 및 컬러 필터를 통과한 빛을 센싱하는 단계; 및 센싱 영역 별 상기 센싱 소자들에서 센싱된 색상 세기 값을 빛의 조도에 기초하여 결정된 비닝 크기로 그룹핑한 것에 기초하여 센싱 데이터를 생성하는 단계를 포함할 수 있다.
도 1 및 도 2는 일 실시예에 따른 이미징 장치의 구조를 도시한다.
도 3은 일 실시예에 따른 이미지 센서의 동작 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따른 이미지 센서의 예시적인 비닝 동작을 설명한다.
도 5는 일 실시예에 따른 이미지 센서의 이미지 처리 동작을 설명한다.
도 6은 일 실시예에 따른 이미징 장치의 예시적인 구조를 설명한다.
도 7은 일 실시예에 따른 이미지 센서 및 이미징 장치에서 비닝 레벨에 따른 노이즈를 설명한다.
도 8은 일 실시예에 따른 이미징 장치의 구성을 도시한 블록도이다.
도 9는 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 10 및 도 11은 일 실시예에 따른 이미지 센서가 구현되는 기기의 예시를 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 및 도 2는 일 실시예에 따른 이미징 장치의 구조를 도시한다. 도 1은 이미징 장치의 사시도이고, 도 1은 이미징 장치의 단면도이다.
이미징 장치(100)는 렌즈 어레이(110) 및 이미지 센서(120)를 포함한다. 렌즈 어레이(110)는 렌즈 엘리먼트들을 포함하고, 이미지 센서(120)는 광학 센싱 소자들(optical sensing elements)을 포함한다. 렌즈 엘리먼트들은 렌즈 어레이(110)의 평면을 따라 배치될 수 있고, 광학 센싱 소자들은 이미지 센서(120)에서 센싱 어레이(121)의 평면을 따라 배치될 수 있다. 렌즈 어레이(110)의 평면은 센싱 어레이(121)의 평면과 평행하게 배치될 수 있다. 렌즈 어레이(110)는 결상(imaging)을 위한 멀티 렌즈 어레이(MLA, multi lens array)로서, 결상 렌즈 어레이라고도 나타낼 수 있다.
본 명세서에서 광학 센싱 소자(이하, '센싱 소자')는 해당 소자로 입사되는 빛에 기초한 광학 정보를 센싱하는 소자로서, 입사된 빛의 세기를 지시하는 값을 출력할 수 있다. 광학 센싱 소자는, 예를 들어, CMOS(complementary metal oxide semiconductor), CCD(Charge-Coupled Device), 및 포토 다이오드(photo diode) 등을 포함할 수 있다.
본 명세서에서 픽쳐 엘리먼트(picture element)(이하, 픽셀(pixel))는 이미지를 구성하는 기본 단위 정보로서, 픽셀 위치에 대응하는 피사체 상의 물리적 위치로부터 반사된 빛이 센싱 소자에 의해 센싱된 광학 정보를 나타낼 수 있다. 픽셀 위치는 이미지 내에서 픽셀의 위치로서 화소 좌표계를 따르고, 물리적 위치는 월드 좌표계를 따를 수 있다.
참고로, 컬러 이미지를 구성하는 픽셀은 한 픽셀 위치에 대해 픽셀 값을 가질 수 있다. 픽셀 값은 복수의 색상 값들(예를 들어, RGB 색상계인 경우, 적색 값, 녹색 값, 및 청색 값)을 가질 수 있다. 디스플레이 분야에서 디스플레이를 구성하는 단위 픽셀은 한 픽셀 위치의 색상 값들을 표현하기 위해 복수의 색상들에 관한 서브 픽셀들(예를 들어, RGB 색상계인 경우 적색 서브 픽셀, 녹색 서브 픽셀, 및 청색 서브 픽셀)을 포함할 수 있다. 이와 달리, 이미지 센서 분야에서는 픽셀이 색상 별 서브 픽셀로 구분되지 않고, 한 색상 값을 센싱하는 센싱 소자(예를 들어, 컬러 필터가 전단에 배치된 포토 다이오드)를 지칭하는 것이 일반적이다. 또한, 이미지 센서 분야에서는 픽셀이 한 센싱 소자와 그 센싱 소자에 의해 센싱된 값을 지칭하는 것으로 혼용되어 사용되기도 한다. 다만, 본 명세서에서는 명확한 설명을 위해 픽셀은 이미지를 구성하는 기본 단위 정보이고, 센싱 소자는 피사체로부터 수신되는 빛에 응답하여 해당 픽셀의 픽셀 값을 출력하는 하드웨어 소자인 것으로 그 의미를 구별한다.
예시적으로 각 픽셀의 픽셀 값은 단일 센싱 소자의 센싱 또는 비닝(binning)에 의해 그룹핑된 복수의 센싱 소자들의 센싱에 기초하여 결정될 수 있다. 비닝에 의해 이미징 장치(100) 및/또는 이미지 센서(120)의 광 감도가 향상되고, 저조도에서도 화질이 개선될 수 있다. 한 센싱 소자에 의해 센싱 가능한 광량에는 한계가 있는데, 한 픽셀을 복수의 센싱 소자들에 의해 센싱된 값을 이용하여 표현함으로써 감도가 개선될 수 있다. 일 실시예에 따른 이미지 센서는 센싱 어레이(121)의 센싱 소자들을 조도에 따라 결정된 비닝 크기에 기초하여 그룹핑할 수 있다. 한 픽셀의 픽셀 값은, 전술한 비닝 크기로 그룹핑된 센싱 소자들에서 센싱된, 세기 값들의 합산된 값에 기초하여 결정될 수 있다. 조도에 따른 비닝 크기의 결정 및 그룹핑은 하기 도 4에서 설명한다.
이미지 센서(120)는 센싱 어레이(121), 광학 필터(optical filter)(예: 컬러 필터 어레이(122)), 및 집광 렌즈 어레이(condensing lens array)(123)를 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 광학 필터가 미리 정한 파장 대역을 통과시키고 나머지 파장 대역을 차단하는 광학 특성을 가지는 개별 집광 마이크로 렌즈(condensing micro lens)(123a)를 포함하는 집광 렌즈 어레이(123)로서 통합적으로 구현될 수도 있다.
집광 렌즈 어레이(123)는 렌즈 어레이(110)를 통과한 빛을 센싱 어레이(121)로 집광(concentrate)하기 위한 복수의 집광 마이크로 렌즈들을 포함할 수 있다. 예를 들어, 집광 렌즈 어레이(123)는 센싱 어레이(121)에 포함된 센싱 소자들의 개수와 동일한 개수의 집광 마이크로 렌즈들을 포함할 수 있다. 복수의 집광 마이크로 렌즈들은 결상 광학 렌즈 및 센싱 어레이(121) 사이에 배치되어, 결상 광학 렌즈를 통과한 빛을 각 집광 마이크로 렌즈(123a)에 대응하는 센싱 소자(121a)로 집광하여 전달할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 센싱 어레이(121)의 각 센싱 소자(121a) 상에 집광 마이크로 렌즈(123a)가 배치되어, 아래에 배치된 센싱 소자(121a)로 빛을 집광할 수 있다. 또한, 도 2에 도시된 바와 같이, 컬러 통과 필터링 소자(122a)가 각 집광 마이크로 렌즈(123a) 및 센싱 소자(121a) 사이에 배치될 수도 있다.
광학 필터는 미리 정한 파장 대역을 통과시키고 나머지 파장 대역을 차단하는 광학 특성을 가지는 필터일 수 있다. 광학 필터는 하나 이상의 컬러 필터를 포함할 수 있다. 각 컬러 필터는 해당하는 결상 렌즈를 통과한 빛을 수신하고, 수신된 빛 중 단일 색상(예: 적색, 청색, 및 녹색 중 한 색상)의 파장에 대응하는 빛을 투과시킬 수 있다. 예를 들어, 광학 필터는 필터 평면을 따라 배치되는 복수의 컬러 필터들(122-1, 122-2, 122-3)을 포함하는 컬러 필터 어레이(CFA, color filter array)(122)로 구현될 수 있다. 각 컬러 필터는 하나 이상의 컬러 통과 필터링 소자(122a)를 포함할 수 있다. 컬러 필터는 복수의 컬러 통과 필터링 소자들의 집합이거나, 센싱 영역을 커버하는 면적을 가지는 컬러 통과 필터링 소자일 수 있다. 각 컬러 통과 필터링 소자(122a)는 임의의 색상에 대응하는 파장 대역의 빛을 통과시키고 나머지 대역의 빛을 차단하는 필터일 수 있다. 예를 들어, 컬러 통과 필터링 소자(122a)로서 적색 통과 필터링 소자, 녹색 통과 필터링 소자, 및 청색 통과 필터링 소자가 있을 수 있다. 적색 통과 필터링 소자는 적색에 대응하는 파장 대역의 빛을 통과시키고, 나머지 대역의 빛을 차단할 수 있다. 녹색 통과 필터링 소자는 녹색에 대응하는 파장 대역의 빛을 통과시키고 나머지 대역의 빛을 차단할 수 있다. 청색 통과 필터링 소자는 청색에 대응하는 파장 대역의 빛을 통과시키고 나머지 대역의 빛을 차단할 수 있다.
이미지 센서(120)에 의하여 촬영 및 복원되는 이미지의 품질은 센싱 어레이(121)에 포함된 센싱 소자들의 수, 및 센싱 소자(121a)에 입사되는 광량에 의하여 결정될 수 있다. 예를 들어, 이미지의 해상도는 센싱 어레이(121)에 포함된 센싱 소자들의 수에 의하여, 이미지의 감도는 센싱 소자(121a)에 입사되는 광량에 의하여 결정될 수 있고, 입사되는 광량은 센싱 소자(121a)의 사이즈 및/또는 비닝 크기에 기초하여 결정될 수 있다. 센싱 소자(121a)의 사이즈 및/또는 비닝 크기가 클수록 입사되는 광량은 증가할 수 있고, 센싱 어레이(121)의 동적 범위(dynamic range)가 증가할 수 있다. 따라서, 센싱 어레이(121)에 포함된 센싱 소자들의 개수가 증가함에 따라 이미지 센서(120)는 고해상도 이미지를 촬영할 수 있다. 센싱 소자(121a)의 사이즈 및/또는 비닝 크기가 증가함에 따라 이미지 센서(120)는 저조도에서 고감도 이미지 촬영에 유리하게 작동할 수 있다.
렌즈 어레이(110)는 하나 이상의 결상 렌즈를 포함하고, 각 결상 렌즈는 단일 색상에 대응할 수 있다. 도 1에서는 제1 색상(예: 적색)에 대응하는 제1 결상 렌즈(111), 제2 색상(예: 녹색)에 대응하는 제2 결상 렌즈(112), 및 제3 색상(예: 청색)에 대응하는 제3 결상 렌즈(113)가 도시된다. 렌즈 어레이(110)의 결상 렌즈들(111, 112, 113)은 개별적으로 자신의 렌즈 크기(lens size)에 대응하는 센싱 어레이(121)의 센싱 영역들(129)을 커버할 수 있다. 센싱 어레이(121)에서 결상 렌즈들(111, 112, 113)의 각각에 의해 커버되는 센싱 영역들(129)은, 해당 결상 렌즈의 렌즈 사양(예: 크기, 곡률, 및 두께 등)에 따라 결정될 수 있다. 센싱 영역들(129)은, 일정한 시야각 범위의 광선들이 해당 결상 렌즈를 통과한 후 도달하는 센싱 어레이(121) 상의 영역을 나타낼 수 있다. 센싱 영역들(129) 각각의 크기는 해당 센싱 영역의 중심으로부터 해당 센싱 영역의 최외곽 지점까지의 거리 또는 대각 길이로 표현될 수 있다. 다시 말해, 센싱 영역들(129)의 각각에 포함된 센싱 소자들에는 해당 결상 렌즈를 통과한 빛이 입사될 수 있다. 예시적으로 센싱 영역들(129)은 제1 색상 센싱 영역(122-1), 제2 색상 센싱 영역(122-2), 및 제3 색상 센싱 영역(122-3)을 포함할 수 있다. 센싱 영역들(129)의 각각에서 센싱되는 정보는 후술한다.
센싱 어레이(121)의 센싱 소자들 각각은 렌즈 어레이(110)의 결상 렌즈들(111, 112, 113)을 통과한 광선에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센싱 소자(121a)는 결상 렌즈를 통해 수신된 빛의 세기 값을 센싱 정보로서 센싱할 수 있다. 이미징 장치(100) 및/또는 이미지 센서(120)는 센싱 어레이(121)에 의해 출력된 센싱 정보에 기초하여, 이미징 장치(100)의 시야에 포함된 지점들에 관한 원본 신호(original signal)에 대응하는 세기 정보를 결정할 수 있다. 이미징 장치(100) 및/또는 이미지 센서(120)는 결정된 세기 정보에 기초하여 촬영 이미지를 복원할 수 있다. 센싱 소자(121a)는 컬러 통과 필터링 소자(122a)를 통과한 빛을 센싱함으로써 원하는 색상에 대응하는 색상 세기 값을 센싱 정보로 생성할 수 있다. 센싱 어레이(121)를 구성하는 복수의 센싱 소자들 각각은 센싱 영역들(129) 별로 지정된 색상 파장의 빛을 센싱하도록 배치될 수 있다. 센싱 어레이(121)는 복수의 색상들 중 각 단일 색상에 대응하는 색상 센싱 영역에 배치된 센싱 소자들에서, 해당하는 단일 색상의 결상 렌즈 및 컬러 필터를 통과한 빛의 세기(intensity)를 센싱할 수 있다.
일 실시예에 따르면 이미지 센서(120)는 복수의 결상 렌즈들(111, 112, 113)의 각각을 통과한 빛을 센싱한 센싱 소자들의 센싱 정보로부터 부분 이미지를 획득할 수 있다. 이미지 센서(120)에서 한 결상 렌즈에 의해 커버되는 센싱 소자들은 같은 컬러 필터를 통과한 빛을 수신할 수 있다. 따라서, 한 결상 렌즈에 대응하는 센싱 영역에 포함된 센싱 소자들은 같은 색상에 대응하는 파장 대역의 성분의 빛을 센싱할 수 있다. 일 실시예에 따르면 각 결상 렌즈에 의해 커버되는 복수의 센싱 소자들 중 50%를 초과하는 센싱 소자들은 동일한 단일 색상에 대응하는 파장의 빛을 수신하도록 배치될 수 있다. 예를 들어, 각 결상 렌즈에 의해 커버되는 복수의 센싱 소자들 중 90%를 초과하는 센싱 소자들은 동일한 단일 색상에 대응하는 파장의 빛을 수신하도록 배치될 수 있다. 제조 공정 오차 등에 의해 인접한 센싱 영역으로 전달되어야 할 색상 파장 대역의 빛이 다른 센싱 영역으로 전달될 수도 있다. 이미징 장치(100) 및/또는 이미지 센서(120)는 한 색상에 대응하는 색상 센싱 영역에 배치된 센싱 소자들 중 제조 공정 오차 등으로 인해 다른 색상의 빛을 수신하는 센싱 소자에서 센싱된 값을 해당 색상 센싱 소자의 센싱 데이터로부터 배제할 수 있다. 따라서, 이미징 장치(100) 및/또는 이미지 센서(120)는 한 색상 센싱 영역에 대해 동일한 색상의 픽셀 값들을 획득할 수 있다.
부분 이미지는 해당하는 결상 렌즈의 시야각 범위에 대응하는 장면을 나타내는 이미지를 나타낼 수 있다. 부분 이미지는 해당 색상 채널의 픽셀 값들을 포함하는 이미지일 수 있다. 컬러 필터 어레이(122)에서 복수의 컬러 필터들의 배치에 따라 각 센싱 영역에서 센싱 가능한 색상이 결정될 수 있다. 이미지 센서(120)는 각 결상 렌즈에 대응하는 센싱 영역에서 센싱 가능한 색상 채널의 부분 이미지를 획득할 수 있다. 다시 말해, 이미지 센서(120)는 결상 렌즈들(111, 112, 113)의 개수와 동일한 개수의 부분 이미지들을 획득할 수 있다. 이미지 센서(120)는 복수의 색상 채널들의 각각마다 하나 이상의 부분 이미지를 획득할 수 있다. 이미지 센서(120)는 적색 채널에 대해 하나 이상의 부분 이미지, 녹색 채널에 대해 하나 이상의 부분 이미지, 및 청색 채널에 대해 하나 이상의 부분 이미지를 획득할 수 있다. 부분 이미지들의 집합을 복안 시야 이미지(CEV image, compound eye view image)라고도 나타낼 수 있다.
부분 이미지는 결상 렌즈에 의해 커버되는 센싱 소자들의 개수 및 비닝 크기에 기초한 해상도를 가질 수 있다. 부분 이미지의 해상도를 부분 해상도라고 나타낼 수 있다. 본 명세서에서 해상도 및 부분 해상도는 이미지를 구성하는 픽셀 개수일 수 있다. 이미지 센서(120) 및/또는 이미징 장치(100)는 부분 이미지들에 기초하여 타겟 해상도(예: 전체 해상도)를 가지는 촬영 이미지를 복원할 수 있다. 전체 해상도는 이미지 센서(120)에 포함된 전체 센싱 소자들의 개수 및 비닝 크기에 기초하여 결정될 수 있다.
예를 들어, 렌즈 어레이(110)는 제1 결상 렌즈(111), 제2 결상 렌즈(112), 및 제3 결상 렌즈(113)를 포함할 수 있다. 컬러 필터 어레이(122)는 제1 컬러 필터(122-1), 제2 컬러 필터(122-2), 및 제3 컬러 필터(122-3)를 포함할 수 있다. 센싱 어레이(121)에 포함된 센싱 소자들은 제1 색상 센싱 영역(129-1), 제2 색상 센싱 영역(129-2), 및 제3 색상 센싱 영역(129-3)으로 구분될 수 있다.
제1 컬러 필터(122-1)는 제1 결상 렌즈(111)를 통과한 빛 중 제1 색상(예: 적색)에 대응하는 파장의 빛을 통과시킬 수 있다. 제1 색상 센싱 영역(129-1)에 배치된 제1 센싱 소자들은 전술한 제1 결상 렌즈(111) 및 제1 컬러 필터(122-1)를 통과한 빛을 수신할 수 있다. 제1 센싱 소자들은 제1 결상 렌즈(111)의 시야각 범위 내의 광선들 중 제1 색상에 대응하는 파장 대역의 빛 성분을 센싱할 수 있다. 제1 센싱 소자들에 의해 센싱된 센싱 정보는 제1 결상 렌즈(111)의 시야각 범위에 대응하는 장면에 관한 제1 색상에 대응하는 세기 정보를 포함할 수 있다.
제2 컬러 필터(122-2)는 제2 결상 렌즈(112)를 통과한 빛 중 제2 색상(예: 녹색)에 대응하는 파장의 빛을 통과시킬 수 있다. 제2 색상 센싱 영역(129-2)에 배치된 제2 센싱 소자들은, 전술한 제2 결상 렌즈(112) 및 제2 컬러 필터(122-2)를 통과한 빛을 수신할 수 있다. 제2 센싱 소자들은 제2 결상 렌즈(112)의 시야각 범위 내의 광선들 중 제2 색상에 대응하는 파장 대역의 빛 성분을 센싱할 수 있다. 제2 센싱 소자들에 의해 센싱된 센싱 정보는 제2 결상 렌즈(112)의 시야각 범위에 대응하는 장면에 관한 제2 색상에 대응하는 세기 정보를 포함할 수 있다.
제3 컬러 필터(122-3)는 제3 결상 렌즈(113)를 통과한 빛 중 제3 색상(예: 청색)에 대응하는 파장의 빛을 통과시킬 수 있다. 제3 색상 센싱 영역(129-3)에 배치된 제3 센싱 소자들은 제3 결상 렌즈(113) 및 제3 컬러 필터(122-3)를 통과한 빛을 수신할 수 있다. 제3 센싱 소자들은 제3 결상 렌즈(113)의 시야각 범위 내의 광선들 중 제3 색상에 대응하는 파장 대역의 빛 성분을 센싱할 수 있다. 제3 센싱 소자들에 의해 센싱된 센싱 정보는 제3 결상 렌즈(113)의 시야각 범위에 대응하는 장면에 관한 제3 색상에 대응하는 세기 정보를 포함할 수 있다.
일 실시예에 따른 제어기(예: 도 8의 제어기(829))는 각 색상 센싱 영역에 배치된 센싱 소자들을 조도에 기초하여 결정된 비닝 크기로 그룹핑할 수 있다. 제어기는 제1 센싱 소자들, 제2 센싱 소자들, 및 제3 센싱 소자들을 조도에 기초하여 결정된 비닝 크기(binning size)로 그룹핑할 수 있다. 제어기는 그룹핑된 제1 센싱 소자들, 그룹핑된 제2 센싱 소자들, 및 그룹핑된 제3 센싱 소자들의 센싱에 기초하여 센싱 데이터를 생성할 수 있다. 제어기는 그룹핑된 센싱 소자들에서 센싱된 빛의 세기에 기초하여 센싱 데이터를 생성할 수 있다. 센싱 데이터는 센싱 영역 별 부분 이미지 및/또는 부분 이미지를 위한 세기 정보를 포함할 수 있다. 이미지 센서(120)는 제1 센싱 소자들에 의해 센싱된 센싱 정보로부터 제1 센싱 소자들의 개수 및 비닝 크기에 기초하여 결정된 제1 부분 해상도(예: 저해상도)의 제1 색상의 채널에 대응하는 부분 이미지(예: 적색 채널 부분 이미지)를 획득할 수 있다. 이미지 센서(120)는 제2 센싱 소자들에 의해 센싱된 센싱 정보로부터 제2 센싱 소자들의 개수 및 비닝 크기에 기초하여 결정된 제2 부분 해상도(예: 저해상도)의 제2 색상의 채널에 대응하는 부분 이미지(예: 녹색 채널 부분 이미지)를 획득할 수 있다. 이미지 센서(120)는 제3 센싱 소자들에 의해 센싱된 센싱 정보로부터 제3 센싱 소자들의 개수 및 비닝 크기에 기초하여 결정된 제3 부분 해상도(예: 저해상도)의 제3 색상의 채널에 대응하는 부분 이미지(예: 청색 채널 부분 이미지)를 획득할 수 있다.
참고로, 본 명세서에서 1개의 제1 컬러 필터(122-1), 2개의 제2 컬러 필터(122-2), 1개의 제3 컬러 필터(122-3), 1개의 제1 색상 센싱 영역(129-1), 2개의 제2 색상 센싱 영역(129-2), 및 1개의 제3 색상 센싱 영역(129-3)이 도시되었다. 도 1에 도시된 예시에서, 이미지 센서(120) 및/또는 이미징 장치(100)는 1개의 적색 채널 부분 이미지, 2개의 녹색 채널 부분 이미지, 및 1개의 청색 채널 부분 이미지를 획득할 수 있다. 다만, 이로 한정하는 것은 아니며, 각 컬러 필터 및 색상 센싱 영역의 개수는 하나 또는 둘 이상일 수 있다. 더 나아가, 본 명세서에서는 3차원의 색상계(예: RGB 색 공간)을 주로 설명하고 있으나, 이로 한정하는 것은 아니며, n차원의 색상계에 대해서도 적용될 수 있다. 여기서, n은 4이상의 정수일 수 있다. n차원의 색상계를 위한 이미지 센서(120)는 n차원의 색상계에 포함되는 제i 색상을 위한 제i 결상 렌즈, 제i 컬러 필터, 및 제i 색상 센싱 영역을 더 포함할 수도 있다. 여기서, i는 4이상 n이하의 정수일 수 있다. 이미징 장치(100)는 카메라 장치라고 나타낼 수도 있다.
이미징 장치(100)는 전술한 바와 같이 획득된 다양한 센싱 정보를 통해 색상들 별로 저해상도 입력 이미지들을 획득할 수 있고, 저해상도 입력 이미지들로부터 보다 고해상도의 출력 이미지를 복원할 수 있다. 이미징 장치(100) 및/또는 이미지 센서(120)는 조도 별로 비닝 팩터(binning factor)(예: 비닝 크기)를 조절함으로써, 해당 조도에 최적화된 이미지를 획득할 수 있다. 이미징 장치(100) 및/또는 이미지 센서(120)에서는 비닝 크기들이 제한 없이 셋 이상의 조도 레벨들 별에 대해 설정될 수 있다. 이미징 장치(100) 및/또는 이미지 센서(120)는 영상 정합 후 균일한 컬러 분포를 가지는 촬영 이미지를 획득함으로써, 화질 손실이 적은 이미지를 획득할 수 있다.
아래 도 3에서는 동적 비닝을 수행 가능한 이미지 센서(120)의 동작 방법을 설명한다.
도 3은 일 실시예에 따른 이미지 센서의 동작 방법을 도시한 흐름도이다.
단계(310)에서 이미지 센서는 색상 채널 별 센싱 영역에 배치된 센싱 소자들에서 해당하는 결상 렌즈 및 컬러 필터를 통과한 빛을 센싱할 수 있다. 전술한 바와 같이, 센싱 어레이는 각 색상 채널에 대응하는 센싱 영역을 포함할 수 있다. 예를 들어, RGB 색상계에 대해 설계된 이미지 센서는 적색 채널에 대응하는 하나 이상의 제1 색상 센싱 영역, 녹색 채널에 대응하는 하나 이상의 제2 색상 센싱 영역, 및 청색 채널 영역에 대응하는 하나 이상의 제3 색상 센싱 영역을 포함할 수 있다.
단계(320)에서 이미지 센서는 센싱 영역 별 센싱 소자들에서 센싱된 색상 세기 값을 빛의 조도에 기초하여 결정된 비닝 크기로 그룹핑한 것에 기초하여 센싱 데이터를 생성할 수 있다. 색상 세기 값은, 센싱 영역으로 전달된 빛에서 해당 센싱 영역에서 센싱 가능한 색상에 대응하는 파장 대역의 빛의 세기를 나타낼 수 있다. 전술한 바와 같이, 각 색상 센싱 영역에 배치된 센싱 소자는 해당 색상 센싱 영역에 대응하는 컬러 필터의 색상에 대응하는 빛 성분을 센싱할 수 있다. 센싱 데이터는, 픽셀 별로 비닝에 기초하여 합산된 센싱 값을 포함할 수 있다. 예를 들어, 이미지 센서는 비닝 크기로 그룹핑된 하나 이상의 센싱 소자에서 센싱된 세기 값(예: 색상 세기 값)을 합산함으로써 개별 픽셀에 대응하는 센싱 정보를 획득할 수 있다. 이미지 센서는 한 픽셀에 대해 그룹핑된 센싱 소자들에서 센싱된 아날로그 센싱 신호들을 합산하는 아날로그 비닝 및/또는 한 픽셀에 대해 그룹핑된 센싱 소자들에서 센싱된 디지털 센싱 값들을 합산하는 디지털 비닝을 수행할 수 있다. 아날로그 비닝은 예시적으로 증폭기 단(amplifier stage)에서 수행될 수 있다. 센싱 데이터는 색상 센싱 영역 별로, 해당 색상에 대응하는 색상 채널 별 부분 이미지에 포함되는 픽셀에 대응하는 센싱 값들(예: 색상 값들)을 포함할 수 있다. 다만, 센싱 데이터를 전술한 바로 한정하는 것은 아니고, 설계에 따라 달라질 수 있다.
이미지 센서의 프로세서는 센싱 데이터로부터 이미지(예: 촬영 이미지)를 복원할 수 있다. 이미지 센서는 전술한 센싱 데이터에 기초하여 개별 픽셀의 픽셀 값을 결정함으로써 저해상도를 가지는 복수의 부분 이미지들을 획득할 수 있고, 복수의 부분 이미지들로부터 타겟 해상도(예: 전체 해상도)의 촬영 이미지를 복원할 수 있다. 프로세서에 의한 이미지 복원은 하기 도 5에서 설명한다. 다만, 본 명세서에서 주로 이미지 센서가 동작하는 것으로 설명하나, 이로 한정하는 것은 아니며, 이미징 장치의 프로세서에 의해 동작이 수행될 수도 있다.
도 4는 일 실시예에 따른 이미지 센서의 예시적인 비닝 동작을 설명한다.
일 실시예에 따른 이미지 센서의 제어기(예: 도 8의 제어기(829))는 조도에 기초하여 셋 이상의 비닝 크기들(예: 1Х1, 2Х2, 3Х3, 4Х4) 중 한 비닝 크기를 선택할 수 있다. 비닝 크기는 센싱 어레이의 일축(예: 가로축)을 따라 그룹핑되는 센싱 소자의 개수 및 전술한 일축에 교차하는 타축(예: 세로축)을 따라 그룹핑되는 센싱 소자의 개수의 곱으로 표현될 수 있으나, 이로 한정하는 것은 아니다. 예를 들어, 이미지 센서 및/또는 이미징 장치는 복수의 조도 레벨들 별로 조도 범위를 지정하고, 주변 환경에 대해 검출된 조도 값이 속하는 조도 범위에 대응하는 조도 레벨을 식별할 수 있다. 이미지 센서 및/또는 이미징 장치는 복수의 비닝 크기들 중 식별된 조도 레벨에 대응하는 비닝 크기를 선택할 수 있다.
참고로, 이미징 장치 및/또는 이미지 센서는 별도 조도 센서를 더 포함하고, 조도 센서에서 센싱되는 조도 값에 기초하여 비닝 크기를 결정할 수 있다. 다만, 이로 한정하는 것은 아니고, 이미징 장치 및/또는 이미지 센서는 센싱 어레이 상의 센싱 소자들에서 센싱되는 광량을 모니터링하고, 모니터링된 광량에 기초하여 조도 레벨을 결정할 수도 있다.
도 4에 도시된 예시에서, 제어기는 촬영 환경의 조도 레벨을 고조도(410), 저조도 1단계(420), 저조도 2단계(430), 및 저조도 3단계(440)를 포함하는 4개의 조도 레벨들 중 하나로 결정할 수 있다. 전술한 바와 같이 전체 해상도 및 부분 해상도는 센싱 소자들의 개수 및 비닝 크기에 기초하여 결정될 수 있다. 예를 들어, NP개의 센싱 소자들을 가지는 센싱 어레이에 있어서, bХb의 비닝 크기에 대해 NP/b2의 픽셀들을 가지는 전체 해상도의 이미지가 획득될 수 있다. 센싱 어레이에서 센싱 영역들의 개수가 Ns인 경우, 부분 이미지의 해상도는 (NP/b2)/Ns일 수 있다. Np, b, Ns는 1이상의 정수일 수 있다.
고조도(410) 환경에서 이미지 센서는 고조도(410)에 대응하는 비닝 크기(예: 1Х1)를 선택할 수 있다. 고조도(410)는 측정된 조도가 임계 조도를 초과하는 환경을 나타낼 수 있다. 예를 들어, 제어기는 조도가 임계 조도를 초과하는 경우, 개별 센싱 소자에서 센싱된 센싱 값에 기초하여 각 픽셀 값을 결정할 수 있다. 예시적으로 도 4에 도시된 예시에서, 고조도(410) 환경 하에서 비닝을 스킵한 이미지 센서는 108 메가 픽셀(Mega Pixel; MP)의 센싱 데이터를 획득할 수 있다. 센싱 어레이가 4개의 색상 센싱 영역들로 구분되는 예시에서, 이미지 센서는 센싱 영역의 개수에 대응하는 4개의 부분 이미지를 획득할 수 있다. 센싱 영역 별 부분 이미지는 27 MP(=108MP/4)의 해상도를 가질 수 있다.
다른 예를 들어, 이미지 센서의 제어기는 조도가 제1 조도 이하이고 제2 조도를 초과하는 경우(예: 저조도 1단계(420)), 제1 개수의 센싱 소자들을 비닝할 수 있다. 제어기는 조도가 제2 조도 이하인 경우(예: 저조도 2단계(430) 또는 저조도 2단계(430)), 제1 개수보다 큰 제2 개수의 센싱 소자들을 비닝할 수 있다. 예시적으로 도 4에 도시된 예시에서 저조도 1단계(420)의 제어기는 비닝 크기를 2Х2로 결정할 수 있다. 제어기는 2Х2 비닝을 수행함으로써, 4개의 센싱 소자에서 센싱된 센싱 값들을 합산하여 하나의 픽셀 값으로 결정할 수 있다. 제어기는 같은 센싱 영역에 속하는 센싱 소자들끼리 그룹핑함으로써, 센싱 영역 별로 2Х2 비닝을 수행할 수 있다. 2Х2 비닝으로 인해 고조도(410) 대비 저조도 1단계(420)에서 획득되는 이미지의 전체 해상도는 27MP(=108MP/4)로 감소될 수 있다. 센싱 영역 별 부분 이미지는 6.75MP(=27MP/4)의 해상도를 가질 수 있다. 저조도 2단계(430)의 제어기는 비닝 크기를 3Х3으로 결정할 수 있다. 3Х3 비닝에 의해 획득된 이미지의 전체 해상도는 12MP(=108MP/9)이고, 센싱 영역 별 부분 이미지는 3MP(=12MP/4)의 해상도를 가질 수 있다. 저조도 3단계(440)의 제어기는 비닝 크기를 4Х4로 결정할 수 있다. 4Х4 비닝에 의해 획득된 이미지의 전체 해상도는 6.75MP(=108MP/16)이고, 센싱 영역 별 부분 이미지는 1.6875MP(=6.75MP/4)일 수 있다.
도 5는 일 실시예에 따른 이미지 센서의 이미지 처리 동작을 설명한다.
일 실시예에 따른 이미징 장치(500) 및/또는 이미지 센서(510)는 도 4에서 전술한 바와 같이 조도 레벨에 기초하여 비닝 크기를 결정할 수 있다. 이미징 장치(500) 및/또는 이미지 센서(510)는 결정된 비닝 크기에 기초하여 센싱 영역 별로 센싱 소자들을 그룹핑하고, 그룹핑된 센싱 소자들에서 센싱된 센싱 값들에 기초하여 픽셀 값을 결정할 수 있다. 예를 들어, 이미징 장치(500) 및/또는 이미지 센서(510)는 한 픽셀을 위해 그룹핑된 센싱 소자들에서 센싱된 센싱 값들의 합산된 값으로부터 해당 픽셀의 픽셀 값을 결정할 수 있다. 참고로, 전술한 바와 같이, 한 색상 센싱 영역에 배치된 센싱 소자는 컬러 필터에 의해 단일 색상에 대응하는 파장 대역의 빛만 센싱할 수 있으므로, 이미징 장치(500) 및/또는 이미지 센서(510)는 픽셀 별로 단일 색상에 대응하는 색상 세기 값을 획득할 수 있다. 따라서, 비닝에 기초하여 획득된 픽셀 값(520)은 단일 색상 값만 지시할 수 있다. 이미징 장치(500) 및/또는 이미지 센서(510)는 도 5에 도시된 바와 같이, 센싱 영역 별로 부분 이미지들(592)을 획득할 수 있다. 부분 이미지들(592)의 각각은 픽셀 위치 별로 색상 센싱 영역에 대응하는 색상 채널의 색상 값들을 포함할 수 있다.
이미징 장치(500) 및/또는 이미지 센서(510)의 프로세서는 피사체 상의 서로 동일 또는 인접한 지점으로부터 유발된 빛을 수신하는 센싱 소자들에서 센싱된 픽셀 값들이 서로 인접한 픽셀 위치에 배치되도록 픽셀 값들을 재배열할 수 있다. 픽셀 값들의 재배열을 정합(registration)이라고도 나타낼 수 있다. 재배열된 픽셀 값들(530)은 중간 이미지(593)를 형성할 수 있다. 예를 들어, 이미징 장치(500) 및/또는 이미지 센서(510)는, 고해상도 영상(예: 촬영 이미지)의 복원을 위해, 촬영된 복수의 저해상도 이미지들(예: 색상 채널 부분 이미지들(592))에서 피사체 상의 동일 또는 인접한 지점을 나타내는 픽셀들의 이미지 내 픽셀 위치(pixel position)를 라이트 필드 정보 간의 상관성에 기초하여 재배열할 수 있다.
이미징 장치(500) 및/또는 이미지 센서(510)는, 유사한 라이트 필드 정보를 수신하는 센싱 소자들에 대응하는 픽셀들의 위치를 서로 인접하게 재배열함으로써, 중간 이미지(593)의 픽셀 정보를 구성할 수 있다. 앞서 설명한 바와 같이 각 센싱 소자는 복수의 라이트 필드들이 중첩된 정보를 수신할 수 있다. 두 센싱 소자들에서 센싱된 정보가 동일한 라이트 필드를 많이 포함할수록, 두 정보 간의 상관성이 높을 수 있다. 픽셀 위치의 재배열은 해당 픽셀이 촬영된 깊이를 고려하여 수행될 수 있다. 예를 들어, 픽셀이 촬영된 깊이는 임의의 깊이 값으로 설정되거나, 스테레오 이미지 매칭에 의해 추정되거나, 깊이 센서에 의해 측정될 수 있다. 다른 예를 들어, 픽셀이 촬영된 깊이에 대한 측정 및/또는 추정 없이도 피사체가 촬영된 깊이를 고려하여 픽셀 위치를 재배열하도록 설계된 뉴럴 네트워크에 의해 픽셀 위치의 재배열이 수행될 수도 있다. 이러한 픽셀 위치의 재배열은 픽셀 셔플(pixel shuffle)이라고 나타낼 수 있다. 예시적으로 여러 저해상도 입력 이미지들(예: 색상 채널 부분 이미지들(592))로부터 단일 고해상도 중간 이미지(593)를 출력하도록 설계된 기계 학습 모델(예: 뉴럴 네트워크)이 픽셀 위치들을 재배열하는데 사용될 수 있다. 뉴럴 네트워크는 다양한 깊이의 피사체를 촬영한 트레이닝 데이터 셋트에 기초하여 트레이닝될 수 있다. 중간 이미지(593)는 단일 색상 값만을 가지는 픽셀들이 재배열된 이미지이므로, 각 픽셀 위치의 픽셀은 단일 색상 값을 가질 수 있다. 다시 말해, 중간 이미지(593)는 픽셀 위치들 별로 색상 값이 혼재된 이미지일 수 있다. 다만, 이로 한정하는 것은 아니다.
이미징 장치(500) 및/또는 이미지 센서(510)의 프로세서는 재배열된 픽셀 값들(530)로부터, 타겟 해상도의 채널 이미지를 생성할 수 있다. 예를 들어, 이미징 장치(500) 및/또는 이미지 센서(510)는 기계 학습 모델(예: 셀프 어텐션에 기초한 뉴럴 네트워크), 보간 기법, 및 필터링 기반 이미지 처리 기법에 기초하여 재배열된 픽셀 값들(530)로부터 타겟 해상도의 채널 이미지를 획득할 수 있다. 픽셀 값들로부터 채널 이미지를 획득하는 동작을 디모자이킹(demosaicing)이라고도 나타낼 수 있다.
참고로, 이미지가 컬러 이미지인 경우 색상계에 따른 색상 값들을 픽셀 값으로서 가질 수 있는데, 이미지 센서(510)는 물리적인 한계로 인해 한 지점에서 동시에 3가지 색상을 센싱할 수 없다. 이미징 장치(500) 및/또는 이미지 센서(510)는 특정 위치의 센싱 소자(예를 들어, 청색 통과 필터링 소자가 전단에 배치된 센싱 소자)에 의해 센싱되지 않는 색상 값(예를 들어, 적색 색상 값)을 그 주변에 위치한 센싱 소자(예를 들어, 적색 통과 필터링 소자가 전단에 배치된 센싱 소자)에 의해 센싱된 색상 값을 이용하여 보간(interpolate)할 수 있다. 예시적으로, 이미징 장치(500) 및/또는 이미지 센서(510)는 재배열된 픽셀 값들(530)의 각각에 대해 전술한 보간을 수행할 수 있다. 다만, 이로 한정하는 것은 아니고, 이미징 장치(500) 및/또는 이미지 센서(510)는 픽셀 위치들 별로 색상 값이 혼재된 중간 이미지(593)로부터 색상 채널 별 채널 이미지를 출력하도록 설계된 기계 학습 모델(예: 뉴럴 네트워크)을 이용하여 채널 이미지를 복원할 수 있다. 이 경우, 중간 이미지(593) 및 채널 이미지의 해상도(예: 전체 해상도)는 동일할 수 있다. 다른 예를 들어, 이미징 장치(500) 및/또는 이미지 센서(510)는 필터링 기반 이미지 처리 기법을 이용하여 중간 이미지(593)로부터 채널 이미지들(540)을 복원할 수도 있다.
도 5에 도시된 예시에서, 이미징 장치(500) 및/또는 이미지 센서(510)는 색상 채널 별로 3개의 색상 채널 이미지를 획득할 수 있다. 색상 채널 이미지는 타겟 해상도(예: 전체 해상도)를 가질 수 있다. 따라서 이미징 장치(500) 및/또는 이미지 센서(510)는 복수의 색상 채널 이미지들(540)을 포함하는 고해상도 이미지(594)(예: 촬영 이미지)를 복원할 수 있다. 다만, 앞서 설명한 색상 채널 별 채널 이미지의 복원은 순전히 예시로서 설계에 따라 다른 방법이 수행될 수도 있다.
도 6은 일 실시예에 따른 이미징 장치의 예시적인 구조를 설명한다.
일 실시예에 따른 결상 렌즈 어레이는 단일 색상의 센싱을 위한 결상 렌즈들(611, 612, 613)고 함께 추가 결상 렌즈(619)를 더 포함할 수 있다. 컬러 필터 어레이는 추가 컬러 필터를 더 포함할 수 있다. 추가 컬러 필터에는 1개의 적색 통과 필터링 소자, 1개의 청색 통과 필터링 소자, 및 2개의 녹색 통과 필터링 소자를 포함하는 패턴이 반복적으로 배치될 수 있다. 전술한 패턴은, 예시적으로 베이어(bayer) 패턴일 수 있으나, 이로 한정하는 것은 아니다. 센싱 어레이는, 추가 센싱 소자들을 더 포함할 수 있다. 복수의 추가 센싱 소자들은 센싱 어레이의 추가 센싱 영역(629-9)에 배치되고, 추가 결상 렌즈(619) 및 추가 컬러 필터를 통과한 빛을 센싱할 수 있다. 제어기는, 추가 센싱 소자에 대해서는 비닝 동작을 배제할 수 있다. 제어기는 나머지 색상 센싱 영역에 배치된 센싱 소자들에 대해서는 비닝 동작을 수행할 수 있다.
예시적으로, 이미징 장치(600)는 베이어 패턴으로 배치된 컬러 필터링 소자를 가지는 추가 센싱 영역(629-9)에서 센싱된 정보에 기초하여 프리뷰 이미지를 디스플레이를 통해 제공할 수 있다. 이미징 장치(600)는, 색상 센싱 영역에서 수집된 센싱 값들에 대해 비닝을 적용하는 동안, 색상 센싱 영역에 대한 비닝 동작과는 독립적으로, 추가 센싱 영역(629-9)에서 수집된 센싱 값들을 기초로 프리뷰 이미지를 생성할 수 있다. 이미징 장치(600)는 영상 정합 및/또는 합성을 생략하고 즉시 프리뷰 이미지를 생성할 수 있으므로, 프리뷰 이미지의 생성을 위한 계산량이 감소될 수 있다. 따라서, 이미징 장치(600)는 프리뷰 이미지의 생성시 딜레이를 최소화할 수 있다.
또한, 이미징 장치(600) 및/또는 이미지 센서의 프로세서는 추가 센싱 소자에서 센싱된 데이터를 기준으로, 다른 센싱 소자들에서 센싱된 픽셀들을 재배열할 수 있다. 이미징 장치(600) 및/또는 이미지 센서는 베이어 패턴의 컬러 필터링 소자를 통과한 빛의 센싱에 기초하여 획득된 픽셀 값들로부터 디모자이킹을 수행함으로써 베이어 패턴에 기초한 디모자이크 영상을 획득할 수 있다. 이미징 장치(600) 및/또는 이미지 센서는 베이어 패턴에 기초한 디모자이크 영상을 기준으로 다른 색상 센싱 영역에서 획득된 픽셀 값들을 재배열할 수 있다. 색상 센싱 영역들(629-1, 629-2, 629-3)에서는 센싱 불가한 색상에 대한 정보가 손실되나, 추가 센싱 영역(629-9)에서는 다양한 색상에 관한 정보가 수집될 수 있다. 추가 센싱 영역(629-9)에서는 추가 결상 렌즈(619)에 대응하는 시야각 범위 내에서 다양한 색상 정보의 손실이 최소화될 수 있다. 따라서 이미징 장치(600) 및/또는 이미지 센서는 도 5에 도시된 실시예 대비 보다 정확한 정합을 수행할 수 있다.
일 실시예에 따른 이미지 센서에서, 제1 색상, 제2 색상, 및 제3 색상은 동일한 색상계에 포함되는 색상으로서, 서로 다른 색상일 수 있다. 예를 들어, RGB 색상계의 경우, 제1 색상은 적색, 제2 색상은 녹색, 및 제3 색상은 청색일 수 있다. 센싱 어레이는, 색상계를 구성하는 색상들 별로 적어도 하나의 색상 센싱 영역을 포함할 수 있다. 예를 들어, RGB 색상계의 경우, 센싱 어레이는 적어도 하나의 적색을 위한 센싱 영역, 적어도 하나의 녹색을 위한 센싱 영역, 적어도 하나의 청색을 위한 센싱 영역을 포함할 수 있다. 이미지 센서는 색상 별 센싱 영역들 외에 추가로 전술한 추가 센싱 영역을 더 포함할 수도 있다.
또한, 센싱 어레이에서 녹색을 센싱하는 센싱 소자들의 개수가 나머지 색상을 센싱하는 센싱 소자들의 개수이상일 수 있다. 녹색에 대응하는 센싱 영역의 개수가 청색에 대응하는 센싱 영역의 개수 또는 적색에 대응하는 센싱 영역의 개수 이상일 수 있다. 사람의 눈의 원추 세포가 녹색 파장의 빛에 가장 민감하게 반응하므로, 이미지 센서도 녹색 성분을 나머지 색상 성분보다 많이 센싱하도록 설계될 수 있다. 다만, 이로 한정하는 것은 아니고, 색상계와 같은 설계에 따라 달라질 수도 있다.
도 7은 일 실시예에 따른 이미지 센서 및 이미징 장치에서 비닝 레벨에 따른 노이즈를 설명한다.
일 실시예에 따른 이미징 장치 및/또는 이미지 센서에 의해 획득된 이미지는 비닝 레벨 별로 노이즈가 달라질 수 있다. 도 7은 1.4μm 픽셀 피치를 가지는 이미지 센서에 대해 1 lux의 빛으로 시뮬레이션한 결과를 도시한다. 예를 들어, 1Х1 비닝 크기에 대해 획득된 이미지는 YSNR(luminance signal-to-noise ratio)=18.02dB의 노이즈를 나타낼 수 있다. 2Х2 비닝 크기에 대해 획득된 이미지는 YSNR=24.23dB의 노이즈를 나타낼 수 있다. 3Х3 비닝 크기에 대해 획득된 이미지는 YSNR=27.74dB의 노이즈를 나타낼 수 있다. 4Х4 비닝 크기에 대해 획득된 이미지는 YSNR=30.11dB의 노이즈를 나타낼 수 있다. 5Х5 비닝 크기에 대해 획득된 이미지는 YSNR=31.92dB의 노이즈를 나타낼 수 있다. 6Х6 비닝 크기에 대해 획득된 이미지는 YSNR=33.48dB의 노이즈를 나타낼 수 있다. 비닝 크기가 증가할수록 YSNR이 증가할 수 있다. 이미징 장치 및/또는 이미지 센서는 조도 조건에 따라 해상도(예: 픽셀들 개수) 및 YSNR 간의 트레이드 오프에 기초하여 비닝 크기를 설정할 수 있다.
도 8은 일 실시예에 따른 이미징 장치의 구성을 도시한 블록도이다.
이미징 장치(800)는 렌즈 어레이(810) 및 이미지 센서를 포함할 수 있다.
렌즈 어레이(810)는 외부로부터 수신되는 빛을 전달하는 결상 광학 렌즈들을 포함할 수 있다.
이미지 센서는 렌즈 어레이(810)를 통과한 빛을 센싱하는 센서를 나타낼 수 있다. 이미지 센서는 센싱 어레이(821), 제어기(829) 및 프로세서(830)를 포함할 수 있다. 센싱 어레이(821) 및 제어기(829)는 도 1 내지 도 7에서 상술하였으므로, 설명을 생략한다.
프로세서(830)는 센싱 소자들에 의해 센싱되는 센싱 정보에 기초하여 이미지를 복원할 수 있다. 이미지 센서의 프로세서(830)는 이미지 신호 프로세서(ISP, Image Signal Processor)라고도 나타낼 수 있다. 센싱 정보는 이미지 복원 뿐만 아니라, 피사체에 대한 깊이 추정, 포커스 재조정, 동적 범위 촬영(dynamic range imaging) 및 저조도 환경에서 고감도 영상 촬영 등에 활용될 수도 있다. 참고로, 도 8에서 프로세서(830)가 이미지 센서에 포함되는 것으로 설명하였으나, 이로 한정하는 것은 아니고, 이미지 센서와 분리되어 이미징 장치(800)에 포함될 수도 있다.
도 9는 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
전자 단말(900)은 이미징 모듈 및 프로세서(930)를 포함할 수 있다.
이미징 모듈은 렌즈 어레이(910) 및 이미지 센서를 포함하고, 이미지 센서는 센싱 어레이(921) 및 제어기(929)를 포함할 수 있다. 도 8에서는 프로세서(830)가 이미지 센서에 포함되는 것으로 설명하였으나, 도 9의 실시예에서는 독립적으로 위치하는 것으로 설명한다. 렌즈 어레이(910), 이미지 센서, 및 프로세서(930)에 대해서는 상술하였으므로, 자세한 설명을 생략한다. 도 9에 도시된 프로세서(920)는 어플리케이션 프로세서(AP, Application Processor)일 수 있다.
도 10 및 도 11은 일 실시예에 따른 이미지 센서가 구현되는 기기의 예시를 도시하는 도면이다.
이미지 센서 및/또는 이미징 장치는 다양한 기술 분야에 적용될 수 있다. 복수의 렌즈들로 구성되는 렌즈 어레이 및 복수의 센싱 소자들로 구성되는 센서가 비교적 짧은 초점 거리로 이격되도록 설계될 수 있기 때문에 이미지 장치는 고화질 촬영을 가능하게 하는, 센서의 크기가 크면서도, 두께가 작은 초박형 카메라(ultra thin camera)로 구현될 수 있다.
이미지 센서 및/또는 이미징 장치는, 모바일 단말에 탑재될 수 있다. 모바일 단말은 임의의 위치에 고정되지 않고 이동 가능한(movable) 단말로서, 예를 들어, 스마트폰, 태블릿, 폴더블(foldable) 스마트폰 등과 같은 휴대 기기(portable device), 인공지능 스피커, 및 차량(vehicle) 등을 포함할 수 있다.
도 10에 도시된 바와 같이, 이미징 모듈(1010)은 스마트폰의 전면 카메라 또는 후면 카메라에 적용될 수 있다. 이미징 모듈(1010)은, 대형 풀 프레임 센서(Full Frame Sensor)와 멀티 렌즈 어레이(Multi Lens Array)가 결합된 구조로 휴대폰 카메라에 적용될 수 있다.
또한, 이미징 모듈(1010)은 박형 구조 또는 커브드(Curved) 구조로 차량에 구현될 수도 있다. 도 11에 도시된 바와 같이, 차량(1100)에 곡선을 가지는 전면 카메라 또는 후면 카메라로서 이미징 장치(1110)가 구현될 수 있다. 이 뿐만 아니라 이미징 장치(1110)는 DSLR 카메라, 드론(Drone), CCTV, 웹캠(Webcam)용 카메라, 360도 촬영 카메라, 영화 및 방송을 위한 카메라, VR/AR 카메라, 유연하거나 연장될 수 있는 카메라(Flexible/Stretchable Camera), 곤충 눈 카메라, 컨택트 렌즈 타입(Contact lens type) 카메라 등과 같은 분야에도 적용될 수 있다. 더 나아가, 이미징 장치는 촬영된 다수의 프레임 정보를 이용하여 해상도를 증가하는 멀티 프레임 고해상도 이미지 복원(Multi-frame Super Resolution image restoration)에도 적용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 이미지 센서에 있어서,
    제1 결상 렌즈를 통과한 빛 중 제1 색상에 대응하는 파장의 빛을 통과시키는 제1 컬러 필터, 제2 결상 렌즈를 통과한 빛 중 제2 색상에 대응하는 파장의 빛을 통과시키는 제2 컬러 필터, 및 제3 결상 렌즈를 통과한 빛 중 제3 색상에 대응하는 파장의 빛을 통과시키는 제3 컬러 필터를 포함하는 컬러 필터 어레이;
    상기 제1 컬러 필터를 통과한 빛을 수신하는 제1 색상 센싱 영역에 배치된 제1 센싱 소자들, 상기 제2 컬러 필터를 통과한 빛을 수신하는 제2 색상 센싱 영역에 배치된 제2 센싱 소자들, 및 상기 제3 컬러 필터를 통과한 빛을 수신하는 제3 색상 센싱 영역에 배치된 제3 센싱 소자들을 포함하는 센싱 어레이; 및
    상기 제1 센싱 소자들, 상기 제2 센싱 소자들, 및 상기 제3 센싱 소자들을 조도에 기초하여 결정된 비닝 크기(binning size)로 그룹핑하고, 상기 그룹핑된 제1 센싱 소자들, 상기 그룹핑된 제2 센싱 소자들, 및 상기 그룹핑된 제3 센싱 소자들의 센싱에 기초하여 센싱 데이터를 생성하는 제어기
    를 포함하는 이미지 센서.
  2. 제1항에 있어서,
    상기 센싱 데이터는,
    픽셀 별로 비닝에 기초하여 합산된 센싱 값을 포함하고,
    상기 센싱 데이터로부터 이미지를 복원하는 프로세서
    를 포함하는 이미지 센서.
  3. 제2항에 있어서,
    상기 프로세서는,
    피사체 상의 서로 동일 또는 인접한 지점으로부터 유발된 빛을 수신하는 센싱 소자들에서 센싱된 픽셀 값들이 서로 인접한 픽셀 위치에 배치되도록 상기 픽셀 값들을 재배열하는,
    이미지 센서.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 재배열된 픽셀 값들로부터, 타겟 해상도의 채널 이미지를 생성하는,
    이미지 센서.
  5. 제1항에 있어서,
    상기 제어기는,
    상기 조도에 기초하여 셋 이상의 비닝 크기들 중 한 비닝 크기를 선택하는,
    이미지 센서.
  6. 제1항에 있어서,
    상기 제어기는,
    상기 조도가 임계 조도를 초과하는 경우, 개별 센싱 소자에서 센싱된 센싱 값에 기초하여 각 픽셀 값을 결정하는,
    이미지 센서.
  7. 제1항에 있어서,
    상기 제어기는,
    상기 조도가 제1 조도 이하이고 제2 조도를 초과하는 경우, 제1 개수의 센싱 소자들을 비닝하고,
    상기 조도가 제2 조도 이하인 경우, 상기 제1 개수보다 큰 제2 개수의 센싱 소자들을 비닝하는,
    이미지 센서.
  8. 제1항에 있어서,
    각 결상 렌즈에 의해 커버되는 복수의 센싱 소자들 중 50%를 초과하는 센싱 소자들은 동일한 단일 색상에 대응하는 파장의 빛을 수신하도록 배치되는,
    이미지 센서.
  9. 제1항에 있어서,
    상기 제1 색상, 상기 제2 색상, 및 상기 제3 색상은 동일한 색상계에 포함되는 색상으로서, 서로 다른 색상인,
    이미지 센서.
  10. 제1항에 있어서,
    상기 센싱 어레이는,
    색상계를 구성하는 색상들 별로 적어도 하나의 색상 센싱 영역을 포함하는,
    이미지 센서.
  11. 제1항에 있어서,
    상기 센싱 어레이에서 녹색을 센싱하는 센싱 소자들의 개수가 나머지 색상을 센싱하는 센싱 소자들의 개수이상인,
    이미지 센서.
  12. 제1항에 있어서,
    상기 컬러 필터 어레이는,
    1개의 적색 통과 필터링 소자, 1개의 청색 통과 필터링 소자, 및 2개의 녹색 통과 필터링 소자를 포함하는 패턴이 반복적으로 배치된 추가 컬러 필터
    를 더 포함하고,
    상기 센싱 어레이는,
    추가 결상 렌즈 및 상기 추가 컬러 필터를 통과한 빛을 센싱하는 복수의 추가 센싱 소자들
    을 더 포함하는 이미지 센서.
  13. 제12항에 있어서,
    상기 패턴은,
    베이어(bayer) 패턴인,
    이미지 센서.
  14. 제12항에 있어서,
    상기 제어기는,
    상기 추가 센싱 소자에 대해서는 비닝 동작을 배제하는,
    이미지 센서.
  15. 제12항에 있어서,
    상기 추가 센싱 소자에서 센싱된 데이터를 기준으로, 다른 센싱 소자들에서 센싱된 픽셀들을 재배열하는 프로세서
    를 더 포함하는 이미지 센서.
  16. 제1항에 있어서,
    녹색에 대응하는 센싱 영역의 개수가 청색에 대응하는 센싱 영역의 개수 또는 적색에 대응하는 센싱 영역의 개수 이상인,
    이미지 센서.
  17. 제1항에 있어서,
    상기 조도를 측정하기 위한 조도 센서
    를 더 포함하는 이미지 센서.
  18. 이미징 장치에 있어서,
    제1 결상 렌즈, 제2 결상 렌즈, 및 제3 결상 렌즈를 포함하는 결상 렌즈 어레이;
    상기 제1 결상 렌즈를 통과한 빛 중 제1 색상에 대응하는 파장의 빛을 통과시키는 제1 컬러 필터, 상기 제2 결상 렌즈를 통과한 빛 중 제2 색상에 대응하는 파장의 빛을 통과시키는 제2 컬러 필터, 및 상기 제3 결상 렌즈를 통과한 빛 중 제3 색상에 대응하는 파장의 빛을 통과시키는 제3 컬러 필터를 포함하는 컬러 필터 어레이;
    상기 제1 컬러 필터를 통과한 빛을 수신하는 제1 색상 센싱 영역에 배치된 제1 센싱 소자들, 상기 제2 컬러 필터를 통과한 빛을 수신하는 제2 색상 센싱 영역에 배치된 제2 센싱 소자들, 및 상기 제3 컬러 필터를 통과한 빛을 수신하는 제3 색상 센싱 영역에 배치된 제3 센싱 소자들을 포함하는 센싱 어레이; 및
    상기 제1 센싱 소자들, 상기 제2 센싱 소자들, 및 상기 제3 센싱 소자들을 조도에 기초하여 결정된 비닝 크기(binning size)로 그룹핑하고, 상기 그룹핑된 제1 센싱 소자들, 상기 그룹핑된 제2 센싱 소자들, 및 상기 그룹핑된 제3 센싱 소자들의 센싱에 기초하여 센싱 데이터를 생성하는 제어기
    를 포함하는 이미징 장치.
  19. 이미지 센서에 의해 수행되는 방법에 있어서,
    색상 채널 별 센싱 영역에 배치된 센싱 소자들에서 해당하는 결상 렌즈 및 컬러 필터를 통과한 빛을 센싱하는 단계; 및
    센싱 영역 별 상기 센싱 소자들에서 센싱된 색상 세기 값을 빛의 조도에 기초하여 결정된 비닝 크기로 그룹핑한 것에 기초하여 센싱 데이터를 생성하는 단계
    를 포함하는 방법
  20. 제19항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
KR1020220007156A 2022-01-18 2022-01-18 이미지 센서 및 이미징 장치 KR20230111379A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220007156A KR20230111379A (ko) 2022-01-18 2022-01-18 이미지 센서 및 이미징 장치
US17/957,190 US11988849B2 (en) 2022-01-18 2022-09-30 Imaging device and method
CN202211249585.1A CN116506745A (zh) 2022-01-18 2022-10-12 成像装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220007156A KR20230111379A (ko) 2022-01-18 2022-01-18 이미지 센서 및 이미징 장치

Publications (1)

Publication Number Publication Date
KR20230111379A true KR20230111379A (ko) 2023-07-25

Family

ID=87161656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220007156A KR20230111379A (ko) 2022-01-18 2022-01-18 이미지 센서 및 이미징 장치

Country Status (3)

Country Link
US (1) US11988849B2 (ko)
KR (1) KR20230111379A (ko)
CN (1) CN116506745A (ko)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US20050012968A1 (en) * 2003-07-14 2005-01-20 Dialog Semiconductor Pixel with variable resolution during exposure
US7154075B2 (en) 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
KR100781552B1 (ko) 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
KR100827242B1 (ko) 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
KR100827238B1 (ko) 2006-08-21 2008-05-07 삼성전기주식회사 고화질 영상을 위한 영상 표시 방법 및 장치
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
KR101531709B1 (ko) 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
KR101597785B1 (ko) 2009-07-14 2016-02-25 삼성전자주식회사 이미지 센서 및 영상 처리 방법
KR101811637B1 (ko) 2011-05-02 2017-12-26 삼성전자주식회사 선택적인 픽셀 비닝 장치 및 방법
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
KR102354960B1 (ko) 2015-08-31 2022-01-21 연세대학교 원주산학협력단 복수 개의 이미지 합성을 통한 고해상도 이미지를 획득하는 장치 및 이 장치의 제어 방법
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
KR20220051881A (ko) * 2020-10-19 2022-04-27 삼성전자주식회사 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
KR20220079123A (ko) * 2020-12-04 2022-06-13 삼성전자주식회사 이미지 장치 및 이미지 장치의 동작 방법
US11606517B1 (en) * 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning
US11350048B1 (en) * 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
US11523071B1 (en) * 2021-09-27 2022-12-06 Shenzhen GOODIX Technology Co., Ltd. Disparity-preserving binning for phase detection autofocus in digital imaging systems
EP4192025A1 (en) * 2021-12-01 2023-06-07 Samsung Electronics Co., Ltd. Image sensor with low noise and high resolution and operating method thereof

Also Published As

Publication number Publication date
CN116506745A (zh) 2023-07-28
US11988849B2 (en) 2024-05-21
US20230228916A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US10547772B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US8542288B2 (en) Camera system and imaging method using multiple lens and aperture units
TWI500319B (zh) 影像感測器之延伸景深
US10397465B2 (en) Extended or full-density phase-detection autofocus control
CN109314742B (zh) 用于光圈模拟的方法、装置、设备及存储媒体
JP2012215785A5 (ko)
JP2019110564A (ja) センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法
JP2013546249A5 (ko)
EP3633969B1 (en) Image sensor and image sensing method
US11375103B2 (en) Imaging device, image processing apparatus, and image processing method
US11595575B2 (en) Image sensor
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
EP4346199A1 (en) Imaging method and device for autofocusing
KR20230111379A (ko) 이미지 센서 및 이미징 장치
US20240137661A1 (en) Single image sensor for restoring images corresponding to various fields of view
KR20210137886A (ko) 이미지 센서
JP2024506248A (ja) スパースカラーイメージセンサシステム
CN115719311A (zh) 处理图像的方法和相关设备
JP2020038319A (ja) 撮像装置及びその制御方法