KR20220152019A - 이미지 센싱 장치 및 그 동작 방법 - Google Patents

이미지 센싱 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220152019A
KR20220152019A KR1020210059457A KR20210059457A KR20220152019A KR 20220152019 A KR20220152019 A KR 20220152019A KR 1020210059457 A KR1020210059457 A KR 1020210059457A KR 20210059457 A KR20210059457 A KR 20210059457A KR 20220152019 A KR20220152019 A KR 20220152019A
Authority
KR
South Korea
Prior art keywords
image
pixels
vertex
gain values
pixel
Prior art date
Application number
KR1020210059457A
Other languages
English (en)
Inventor
한지희
송정용
유재윤
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210059457A priority Critical patent/KR20220152019A/ko
Priority to US17/521,506 priority patent/US11736812B2/en
Priority to CN202210047660.XA priority patent/CN115314648A/zh
Priority to JP2022045385A priority patent/JP2022173066A/ja
Publication of KR20220152019A publication Critical patent/KR20220152019A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H04N5/357—
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H04N5/37452—
    • H04N5/3765—
    • H04N9/0451—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 기술에 따른 이미지 센싱 장치는 복수의 픽셀들을 포함하는 이미지를 획득하는 이미지 센서, 이미지의 크기에 대응되는 게인 맵에 포함된 복수의 블록 영역들에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 저장하는 메모리, 및 기준 게인 값들을 이용하여 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산하고, 기준 게인 값들 및 게인 값들을 복수의 픽셀들에 적용한 보정 이미지를 출력하는 이미지 프로세서를 포함하며, 복수의 블록 영역들은, 제1 블록 영역 및 제1 블록 영역의 위치 보다 이미지의 중앙으로부터의 거리가 더 가깝고, 제1 블록 영역 보다 더 큰 사이즈를 갖는 제2 블록 영역을 포함할 수 있다.

Description

이미지 센싱 장치 및 그 동작 방법{IMAGE SENSING DEVICE AND OPERATING METHOD THEREOF}
본 발명은 전자 장치에 관한 것으로, 보다 구체적으로 이미지 센싱 장치 및 그 동작 방법에 관한 것이다.
이미지 센싱 장치는 이미지를 획득하는 장치이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 카메라, 자율주행 차량 등 다양한 전자 장치에서 이미지 센싱 장치의 수요가 증가하고 있다.
이미지 센싱 장치는 화질 향상을 위해 이미지를 보정할 수 있다. 이미지는 이미지 센싱 장치의 셀 구조, 빛의 파장의 특성, 렌즈의 공정 오차, 렌즈와 이미지 센서 간의 정렬 오차 등으로 인해 화질이 열화될 수 있기 때문이다. 특히, 인간의 시각 특성상 가장 민감한 색상 중 하나를 나타내는 그린 채널(예를 들어, Gb 채널, Gr 채널) 간의 불균형(imbalance)이 커질 경우 이미지에는 격자 노이즈와 같은 화질의 열화 요소가 발생할 수 있다.
이미지 센싱 장치는 보정에 이용되는 데이터를 메모리에 미리 저장할 수 있다. 다만, 하드웨어 등의 자원은 한정되어 있다는 점에서 화질 향상의 성능은 유지하면서도 데이터의 처리 및 저장에 필요한 자원의 최소화와 같은 최적화 작업이 요구된다.
본 발명의 실시 예는 이미지의 보정에 이용되는 데이터의 연산량 및 용량을 감소시킬 수 있는 이미지 센싱 장치 및 그 동작 방법을 제공한다.
본 발명의 실시예에 따른 이미지 센싱 장치는 복수의 픽셀들을 포함하는 이미지를 획득하는 이미지 센서, 이미지의 크기에 대응되는 게인 맵에 포함된 복수의 블록 영역들에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 저장하는 메모리, 및 기준 게인 값들을 이용하여 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산하고, 기준 게인 값들 및 게인 값들을 복수의 픽셀들에 적용한 보정 이미지를 출력하는 이미지 프로세서를 포함하며, 복수의 블록 영역들은, 제1 블록 영역 및 제1 블록 영역의 위치 보다 이미지의 중앙으로부터의 거리가 더 가깝고, 제1 블록 영역 보다 더 큰 사이즈를 갖는 제2 블록 영역을 포함할 수 있다.
본 발명의 실시예에 따른 이미지 센싱 장치의 동작 방법은 이미지 센서를 통해 캘리브레이션 이미지가 획득되면, 캘리브레이션 이미지의 크기에 대응되는 게인 맵에 포함된 복수의 블록 영역들에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 계산하는 단계, 기준 게인 값들을 이용하여 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산하는 단계, 기준 게인 값들 및 게인 값들을 메모리에 저장하는 단계, 및 이미지 센서를 통해 이미지가 획득되면, 메모리에 저장된 기준 게인 값들 및 게인 값들을 복수의 픽셀들에 적용한 보정 이미지를 출력하는 단계를 포함하며, 복수의 블록 영역들은, 제1 블록 영역 및 제1 블록 영역의 위치 보다 이미지의 중앙으로부터의 거리가 더 가깝고, 제1 블록 영역 보다 더 큰 사이즈를 갖는 제2 블록 영역을 포함할 수 있다.
본 기술은 이미지의 보정에 이용되는 데이터의 연산량 및 용량을 감소시킬 수 있는 이미지 센싱 장치 및 그 동작 방법을 제공한다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 3a는 본 발명의 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 3b은 본 발명의 실시예에 따른 이미지 센서를 통해 획득되는 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 이미지 프로세서를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 캘리브레이션 이미지를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 게인 맵을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 어느 하나의 블록 영역을 설명하기 위한 도면이다.
도 8a 내지 8d는 본 발명의 실시예에 따른 기준 게인 값을 계산하는 방법을 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 게인 값을 계산하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 보정 이미지를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 이미지 센싱 장치의 동작 방법을 설명하기 위한 도면이다.
도 12은 본 발명의 실시예에 따른 이미지 센싱 장치의 동작 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 이미지 센싱 장치를 포함하는 컴퓨팅 시스템을 설명하기 도면이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 센싱 장치(1000)는 호스트(3000)의 제어에 따라 동작할 수 있다.
이미지 센싱 장치(1000)는 호스트(3000)의 요청에 따라 이미지를 획득할 수 있다. 그리고, 이미지 센싱 장치(1000)는 호스트(3000)의 요청에 따라 호스트(3000) 또는 호스트(3000)가 지시하는 장치로 이미지를 출력할 수 있다. 여기서, 호스트(3000)가 지시하는 장치는 데이터를 저장하는 메모리 장치, 데이터를 시각적인 방식으로 출력하는 디스플레이 장치일 수 있다.
이미지 센싱 장치(1000)는 패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 이 경우, 이미지 센싱 장치(1000)는 호스트(3000)에 탑재될 수 있다. 또는 이미지 센싱 장치(1000)는 호스트(3000)와는 별개의 전자 장치로 구현될 수 있다.
호스트(3000)는 다양한 전자 장치로 구현될 수 있다. 예를 들어, 호스트(3000)는 디지털 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량 등으로 구현될 수 있다.
이미지 센싱 장치(1000)는 이미지 센서(100), 이미지 프로세서(200) 및 메모리(300)를 포함할 수 있다.
이미지 센서(100)는 이미지(Image, Img)를 획득할 수 있다. 구체적으로, 이미지 센서(100)는 호스트(3000)로부터 이미지를 획득하도록 제어하는 커맨드가 수신되면 이미지를 획득할 수 있다. 이미지는 복수의 픽셀을 포함할 수 있다. 픽셀(pixel) 각각에는 독립적인 픽셀 데이터가 맵핑될 수 있다. 즉, 이미지 센서(100)는 복수의 픽셀 각각에 대한 픽셀 데이터를 획득함으로써 복수의 픽셀을 포함하는 이미지를 획득할 수 있다. 픽셀 데이터는 위치, 색상 채널, 픽셀 값, 노출 값 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
픽셀의 위치는 복수의 픽셀들 중에서 해당 픽셀이 배열된 위치를 나타낼 수 있다.
픽셀의 색상 채널은 해당 픽셀에 대한 빛의 색상을 나타낼 수 있다. 예를 들어, 색상 채널은 레드 채널, 그린 채널 및 블루 채널 중 하나를 포함할 수 있다. 그린 채널은 픽셀의 위치에 따라 서로 구분되는 제1 그린 채널 및 제2 그린 채널을 포함할 수 있다. 예를 들어, 제1 그린 채널의 픽셀은 블루 채널의 픽셀과 동일한 로우에 있는 픽셀이며, 제2 그린 채널의 픽셀은 레드 채널의 픽셀과 동일한 로우에 있는 픽셀일 수 있다. 다른 예를 들어, 제1 그린 채널의 픽셀은 블루 채널의 픽셀과 동일한 컬럼에 있는 픽셀이며, 제2 그린 채널의 픽셀은 레드 채널의 픽셀과 동일한 컬럼에 있는 픽셀일 수 있다.
픽셀의 픽셀 값은 해당 픽셀에 대한 빛의 밝기를 나타낼 수 있다. 예를 들어, 픽셀 값이 클수록 빛의 밝기가 더 밝은 것을 나타낼 수 있다. 픽셀의 노출 값은 해당 픽셀에 대해 빛을 감지하는 시간을 나타낼 수 있다.
이를 위해, 이미지 센서(100)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구현될 수 있다.
이미지 프로세서(200)는 이미지를 보정할 수 있다. 구체적으로, 이미지 프로세서(200)는 이미지 센서(100)를 통해 이미지가 획득되면, 이미지에 게인 맵을 적용한 보정 이미지(Correction Image, Cor_Img)를 생성할 수 있다. 예를 들어, 이미지 프로세서(200)는 게인 맵에 포함된 게인 값들을 픽셀들에 적용한 보정 이미지를 생성할 수 있다. 그리고, 이미지 프로세서(200)는 보정 이미지를 출력할 수 있다. 예를 들어, 이미지 프로세서(200)는 보정 이미지를 호스트(3000) 또는 호스트(3000)가 지시한 장치로 출력할 수 있다.
이를 위해, 이미지 센서(100)는 캘리브레이션 이미지(Calibration image, Car_Img)를 획득할 수 있다. 캘리브레이션 이미지는 이미지 센서(100)로부터 획득되는 이미지를 보정하는데 이용되는 게인 맵을 추출하기 위한 이미지이다. 예를 들어, 캘리브레이션 이미지는 이미지 센서(100)가 균일한 조도를 갖는 환경에서 흰색 배경을 촬영함으로써 획득한 이미지일 수 있다. 이미지 센서(100)의 구조 또는 빛의 파장 특성 등으로 인해, 이미지 센서(100)를 통해 획득된 이미지에는 픽셀의 위치 또는 색상 채널마다 픽셀 값이 균일하지 않는 등의 왜곡이 발생할 수 있다. 이미지 센서(100) 마다 상이한 왜곡이 발생할 수 있기 때문에, 이미지 센서(100) 별 개별적인 게인 맵이 필요할 수 있다. 캘리브레이션 이미지는 복수의 픽셀을 포함할 수 있다. 캘리브레이션 이미지는 이미지 센서(100)로부터 획득되는 이미지와 동일한 픽셀 구조일 수 있다.
게인 맵(gain map)은 복수의 게인 값들을 포함할 수 있다. 게인 값은 픽셀의 픽셀 값을 보정하기 위한 파라미터이며, 특정한 숫자의 값을 나타낼 수 있다. 게인 맵은 이미지 센서(100)가 획득하는 이미지 또는 캘리브레이션 이미지의 크기에 대응될 수 있다. 이미지 또는 캘리브레이션 이미지의 크기는 컬럼 방향으로 배열된 픽셀들의 개수 및 로우 방향으로 배열된 픽셀들의 개수로 나타날 수 있다.
예를 들어, 이미지 또는 캘리브레이션 이미지에 포함되는 픽셀들이 M x N의 개수를 갖는 경우, 게인 맵에 포함되는 복수의 게인 값들은 M x N의 개수를 가질 수 있다. 여기서, M 및 N은 자연수이다. 즉, 게인 값의 개수는 픽셀들의 개수와 동일한 개수일 수 있다. 여기서, 게인 맵에 포함되는 복수의 게인 값들은 이미지에 포함되는 복수의 픽셀들과 일대일 대응 관계를 가질 수 있다. 각 게인 값은 각 픽셀의 위치에 대응될 수 있다.
게인 값들은 위치에 따라 할당되는 데이터의 비트 수가 달라질 수 있다. 데이터의 비트 수가 클수록 더 넓은 범위의 수 또는 값을 나타낼 수 있다는 것을 의미한다. 예를 들어, 작은 비트 수가 할당된 게인 값을 계산하여 저장하는 경우, 계산한 값 중에서 비트 수의 범위를 벗어나는 소수점 자리의 값은 버리고, 비트 수의 범위 이내의 소수점 자리의 값을 게인 값으로 메모리(300)에 저장할 수 있다.
본 발명의 일 실시 예에 따른 이미지 프로세서(200)는 캘리브레이션 이미지 및 복수의 블록 영역들을 이용하여 게인 맵에 포함되는 기준 게인 값들을 계산할 수 있다. 구체적으로, 이미지 프로세서(200)는 캘리브레이션 이미지에 포함된 복수의 픽셀들을 이용하여, 블록 영역들에 의해 정의된 꼭짓점들에 대한 기준 게인 값들을 계산할 수 있다. 이에 따라, 게인 맵에 포함되는 일부 게인 값들이 산출될 수 있다. 이미지 프로세서(200)는 기준 게인 값들을 메모리(300)에 저장할 수 있다.
게인 맵은 복수의 블록 영역들을 포함할 수 있다. 복수의 블록 영역들 각각은 직사각형 또는 정사각형의 형태의 영역일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 복수의 블록 영역들 각각은 다양한 형태를 갖는 영역으로 변형될 수 있다.
블록 영역은 픽셀들의 위치에 대응되는 게인 값들을 포함할 수 있다. 블록 영역은 기준 게인 값들을 포함할 수 있다. 기준 게인 값들은 게인 맵에 포함되는 복수의 게인 값들 중 일부에 해당하는 게인 값들이다. 기준 게인 값들 각각은 미리 설정된 위치의 픽셀에 대응될 수 있다. 미리 설정된 위치는 블록 영역의 꼭짓점들에 대응되는 위치일 수 있다. 예를 들어, 블록 영역은 (1, 1)부터 (4, 4)까지의 4 X 4의 영역으로 정의될 수 있다. 블록 영역은 (1, 1)부터 (4, 4)까지의 각 위치에 대응되는 게인 값을 포함할 수 있다. 이 경우, (1, 1), (4, 1), (1, 4), (4, 4)의 위치를 해당 블록 영역의 꼭짓점으로 정의할 수 있다. 블록 영역은 꼭짓점으로 정의된 (1, 1), (4, 1), (1, 4), (4, 4)의 각 위치에 대응되는 게인 값은 기준 게인 값일 수 있다.
본 발명의 일 실시 예에 따른 복수의 블록 영역들은 제1 블록 영역 및 제2 블록 영역을 포함할 수 있다. 여기서, 제2 블록 영역은 제1 블록 영역의 위치보다 상기 이미지의 중앙으로부터의 거리가 더 가깝고 상기 제1 블록 영역의 사이즈보다 큰 것일 수 있다.
그리고, 이미지 프로세서(200)는 기준 게인 값들을 이용하여 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산할 수 있다. 여기서, 계산되는 게인 값들은 복수의 블록 영역들 각각에 포함되는 기준 게인 값들을 제외한 나머지 게인 값들을 말하며, 이하에서는 설명의 편의를 위해 나머지 게인 값들 각각을 게인 값이라 지칭하도록 한다. 이에 따라, 게인 맵에 포함되는 전체 게인 값들이 산출될 수 있다. 이미지 프로세서(200)는 게인 맵에 포함되는 게인 값들을 메모리(300)에 저장할 수 있다.
메모리(300)는 게인 맵에 포함되는 기준 게인 값들을 저장할 수 있다. 본 발명의 일 실시 예로서, 메모리(300)는 게인 맵에 포함되는 게인 값들을 저장할 수 있다..
메모리(300)는 비휘발성 메모리 소자로 구현될 수 있다. 예를 들어, 메모리(300)는 데이터의 읽기만 가능한 ROM(Read Only Memory), 1회만 쓰기가 가능한 OTP(one time programmable) 메모리, 저장된 데이터를 지우고 쓸 수 있는 EPROM(Erasable and Programmable ROM), 낸드 플래시 메모리(NAND Flash Memory), 노어(NOR) 플래시 메모리 등과 같은 다양한 비휘발성 메모리 소자로 구성될 수 있다.
본 발명의 일 실시 예에 따르면 이미지의 보정에 이용되는 데이터의 연산량 및 용량을 감소시킬 수 있는 이미지 센싱 장치 및 그 동작 방법을 제공할 수 있다. 이하에서는 첨부된 도면을 참조하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 2를 참조하면, 이미지 센서(100)는 광학 렌즈(LS), 픽셀 어레이(110), 로우 디코더(120), 타이밍 생성기(130), 신호 변환기(140) 및 출력 버퍼(150)를 포함할 수 있다.
광학 렌즈(LS)는 피사체(Object)로부터 반사되어 도달한 빛을 굴절시킬 수 있다. 광학 렌즈(LS)를 통해 굴절된 빛은 픽셀 어레이(110)로 진행될 수 있다. 광학 렌즈(LS)는 빛의 진행 경로에 배열되는 하나의 렌즈 또는 복수의 렌즈들의 집합체 중 하나일 수 있다. 또한, 광학 렌즈(LS)는 픽셀 어레이(110)의 각 픽셀의 상부에 각각 배치되는 마이크로 렌즈들의 집합체를 포함할 수 있다. 피사체(Object)는 이미지 센서(100)의 외부에 존재하는 사물, 동물, 사람, 배경 등 다양한 요소 중 적어도 하나를 포함할 수 있다.
픽셀 어레이(110)는 컬러 필터 어레이 및 광전변환층을 포함할 수 있다. 컬러 필터 어레이는 광전변환층의 상부에 배치될 수 있다. 광전변환층은 컬러 필터 어레이 하부에 배치될 수 있다. 여기서, 상부 및 하부는 빛의 진행 방향을 기준으로 정한 것이며, 빛은 컬러 필터 어레이에서 광전변환층의 방향으로 진행될 수 있다.
컬러 필터 어레이는 복수의 컬러 필터를 포함할 수 있다. 예를 들어, 복수의 컬러 필터 각각은 레드 컬러 필터, 그린 컬러 필터 및 블루 컬러 필터 중 하나일 수 있다. 레드 컬러 필터는 들어온 빛을 필터링하여 레드 색상을 나타내는 파장을 갖는 빛을 투과시킬 수 있다. 그린 컬러 필터는 들어온 빛을 필터링하여 그린 색상을 나타내는 파장을 갖는 빛을 투과시킬 수 있다. 블루 컬러 필터는 들어온 빛을 필터링하여 블루 색상을 나타내는 파장을 갖는 빛을 투과시킬 수 있다. 다만, 이는 일 실시 예일 뿐, 특정한 색상의 빛을 투과시키는 컬러 필터의 종류는 다양하게 변형될 수 있다.
광전변환층은 복수의 센싱 회로를 포함할 수 있다. 센싱 회로는 포토다이오드 및 커패시터를 포함할 수 있다. 포토다이오드는 광전효과를 통해 들어온 빛에 대해 전류를 발생시킬 수 있다. 커패시터는 포토다이오드에서 발생된 전류에 따라 전하를 축적할 수 있다. 여기서, 축적된 전하의 양은 밝기를 나타내는 픽셀 값에 대응될 수 있다.
로우 디코더(120)는 타이밍 생성기(130)로부터 출력된 어드레스와 제어 신호들에 응답하여 어드레스에 대응되는 로우에 위치한 셀을 선택할 수 있다. 픽셀 어레이(110)는 선택된 셀에서 축적된 전하량에 대응되는 신호를 출력하여 신호 변환기(140)로 제공할 수 있다.
신호 변환기(140)는 픽셀 어레이(110)로부터 출력된 신호들 각각에 기초해 복수의 픽셀 각각에 대한 픽셀 데이터를 획득할 수 있다. 여기서, 픽셀 데이터는 픽셀 값 및 색상을 포함할 수 있다. 하나의 픽셀에 대한 예를 들면, 신호 변환기(140)는 광전변환층 내의 커패시터에 축적된 전하의 양에 대응되는 픽셀 값 및 컬러 필터에 대응되는 색상을 획득할 수 있다.
출력 버퍼(150)는 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)를 출력할 수 있다. 구체적으로, 출력 버퍼(150)는 신호 변환기(140)로부터 출력된 디지털 신호들을 저장하는 다수의 버퍼들로 구현될 수 있다. 출력 버퍼(150)는 신호 변환기(140)로부터 제공되는 각각의 컬럼 단위의 픽셀 데이터를 래치(latch)하여 출력할 수 있다. 출력 버퍼(150)는 신호 변환기(140)에서 출력되는 픽셀 데이터를 임시 저장하고, 타이밍 생성기(130)의 제어에 따라 픽셀 데이터를 순차적으로 출력할 수 있다.
도 3a는 본 발명의 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 3a를 참조하면, 본 발명의 일 실시 예에 따른 픽셀 어레이(110)는 도 3a와 같은 셀 구조를 갖는 픽셀 어레이(310)로 구현될 수 있다. 픽셀 어레이(310)는 복수의 셀을 포함할 수 있다. 복수의 셀들은 컬럼 방향과 로우 방향으로 배열될 수 있다. 복수의 셀들 각각은 배열된 위치에 대한 정보를 포함할 수 있다. 예를 들어, 셀(CE_xy)은 컬럼 방향으로 x번째, 로우 방향으로 y번째 배열된 위치를 갖는 셀인 것을 나타낼 수 있다. 여기서, x, y 각각은 자연수이다.
복수의 셀들 각각은 빛을 굴절시키는 마이크로 렌즈(ML), 특정한 색상의 빛을 투과시키는 컬러 필터(CF) 및 빛의 세기를 감지하는 센싱 회로(PD)를 포함할 수 있다. 복수의 셀들은 컬러 필터(CF)의 종류에 따라 구분될 수 있다. 예를 들어, 레드 컬러 필터를 포함하는 셀은 레드 채널(R1~R4)의 셀, 그린 컬러 필터를 포함하는 셀은 그린 채널(Gr1~Gr4, Gb1~Gb4)의 셀, 블루 컬러 필터를 포함하는 셀은 블루 채널(B1~B4)의 셀이라 지칭할 수 있다.
픽셀 어레이(310)는 복수의 셀 그룹들을 포함할 수 있다. 복수의 셀 그룹들은 컬럼 방향 및 로우 방향으로 배열될 수 있다. 복수의 셀 그룹들 각각은 배열된 위치에 대한 정보를 포함할 수 있다. 예를 들어, 셀(CG_XY)은 컬럼 방향으로 X번째, 로우 방향으로 Y번째 배열된 위치를 갖는 셀 그룹인 것을 나타낼 수 있다. 여기서, X, Y 각각은 자연수이다.
셀 그룹 각각은 미리 설정된 배열 패턴으로 배치되는 복수의 셀들을 포함할 수 있다. 즉, 셀 그룹은 복수의 셀들의 배열 패턴이 반복되는 단위 영역을 나타낼 수 있다. 예를 들어, 미리 설정된 배열 패턴은 2 x 2의 제1 그린 채널(Gb1~Gb4)의 셀, 2 x 2의 블루 채널(B1~B4)의 셀, 2 x 2의 레드 채널(R1~R4)의 셀, 2 x 2의 제2 그린 채널(Gr1~Gr4)의 셀이 4 x 4 배열에 배치되는 쿼드 베이어 패턴(quad bayer pattern)일 수 있다.
한편 상술한 실시 예는 일 실시 예일 뿐이며, 미리 설정된 배열 패턴은 1 x 1의 그린 채널의 셀, 1 x 1의 블루 채널의 셀, 1 x 1의 레드 채널의 셀, 1 x 1의 그린 채널의 셀이 2 x 2 배열에 배치되는 베이어 패턴(bayer pattern) 등 다양한 패턴으로 변형될 수 있다.
도 3b은 본 발명의 실시예에 따른 이미지 센서를 통해 획득되는 이미지를 설명하기 위한 도면이다.
도 3b를 참조하면, 본 발명의 일 실시 예에 따른 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)는 도 3b와 같은 픽셀 구조를 갖는 이미지(320)일 수 있다.
이미지(320)는 픽셀 어레이(310)를 포함하는 이미지 센서(100)를 통해 획득될 수 있다.
이미지(320)는 복수의 픽셀들을 포함할 수 있다. 이미지(320)에 포함되는 복수의 픽셀들은 이미지 센서(100)의 픽셀 어레이(310)에 포함된 복수의 셀들과 대응될 수 있다.
복수의 픽셀들 각각은 배열된 위치에 대한 정보를 포함할 수 있다. 예를 들어, 픽셀(PX_xy)은 컬럼 방향으로 x번째, 로우 방향으로 y번째 배열된 위치를 갖는 픽셀인 것을 나타낼 수 있다. 여기서, x, y 각각은 자연수이다. 픽셀(PX_xy)은 서로 동일한 위치를 갖는 셀(CE_xy)과 대응될 수 있다. 픽셀(PX_xy)은 셀(CE_xy)에서 획득된 픽셀 값 등의 픽셀 데이터를 포함할 수 있다.
이미지(320)는 복수의 픽셀 그룹들을 포함할 수 있다. 복수의 픽셀 그룹들은 컬럼 방향 및 로우 방향으로 배열될 수 있다. 복수의 픽셀 그룹들 각각은 배열된 위치에 대한 정보를 포함할 수 있다. 예를 들어, 픽셀(PG_XY)은 컬럼 방향으로 X번째, 로우 방향으로 Y번째 배열된 위치를 갖는 셀 그룹인 것을 나타낼 수 있다. 여기서, X, Y 각각은 자연수이다.
픽셀 그룹 각각은 미리 설정된 배열 패턴으로 배치되는 복수의 픽셀들을 포함할 수 있다. 즉, 픽셀 그룹은 복수의 픽셀들의 배열 패턴이 반복되는 단위 영역을 나타낼 수 있다. 예를 들어, 미리 설정된 배열 패턴은 2 x 2의 제1 그린 채널(Gb1~Gb4)의 픽셀, 2 x 2의 블루 채널(B1~B4)의 픽셀, 2 x 2의 레드 채널(R1~R4)의 픽셀, 2 x 2의 제2 그린 채널(Gr1~Gr4)의 픽셀이 4 x 4 배열에 배치되는 쿼드 베이어 패턴(quad bayer pattern)일 수 있다.
이미지(320)에 포함되는 픽셀들은 색상 채널 또는 채널로 구별될 수 있다. 예를 들어, 이미지(320)에 포함되는 픽셀들은 색상 채널에 따라 제1 그린 채널(Gb1~Gb4)의 픽셀, 블루 채널(B1~B4)의 픽셀, 레드 채널(R1~R4)의 픽셀, 제2 그린 채널(Gr1~Gr4)의 픽셀로 구별될 수 있다. 또한, 이미지(320)에 포함되는 픽셀들은 채널에 따라 제1 내지 제4 채널(Gb1~Gb4)의 픽셀, 제5 내지 제8 채널(Gr1~Gr4)의 픽셀, 제9 내지 제12 채널(R1~R4)의 픽셀, 제13 내지 제16 채널(B1~B4)의 픽셀로 구별될 수 있다.
한편 상술한 실시 예는 일 실시 예일 뿐이며, 미리 설정된 배열 패턴은 1 x 1의 그린 채널의 픽셀, 1 x 1의 블루 채널의 픽셀, 1 x 1의 레드 채널의 픽셀, 1 x 1의 그린 채널의 픽셀이 2 x 2 배열에 배치되는 베이어 패턴(bayer pattern) 등 다양한 패턴으로 변형될 수 있다.
도 4는 본 발명의 실시예에 따른 이미지 프로세서를 설명하기 위한 도면이다.
도 4를 참조하면, 이미지 프로세서(200)는 이미지 캘리브레이터(210) 및 이미지 코렉터(220)를 포함할 수 있다.
이미지 캘리브레이터(210)는 이미지 센서(100)를 통해 획득된 캘리브레이션 이미지(Cal_Img)를 이용하여 기준 게인 값들(ref_Gain)을 계산할 수 있다.
구체적으로, 이미지 캘리브레이터(210)는 이미지 센서(100)를 통해 획득된 캘리브레이션 이미지(Cal_Img)에 포함되는 복수의 픽셀들 중에서 블록 영역들의 꼭짓점들에 대응되는 픽셀들을 선택할 수 있다. 이하에서는 선택된 픽셀들 중 하나의 선택된 픽셀에 대한 기준 게인 값(ref_Gain)을 계산하는 예에 대해 설명하도록 한다.
이미지 캘리브레이터(210)는 선택된 픽셀을 포함하는 관심 영역에 포함되는 픽셀들 중에서 선택된 픽셀과 동일한 색상 채널을 갖는 픽셀들의 평균 픽셀 값을 계산할 수 있다. 여기서 동일한 색상 채널은 제1 그린 채널, 제2 그린 채널, 레드 채널 및 블루 채널 중 하나일 수 있다. 다른 실시 예를 들어, 평균 픽셀 값 대신 픽셀들의 픽셀 값들에 대한 중앙 값(median value)이 이용될 수도 있다.
관심 영역은 블록 영역의 꼭짓점에 대응되는 픽셀의 위치를 기준으로 미리 설정된 사이즈로 확장된 영역일 수 있다. 일 실시 예에서, 관심 영역들은 서로 동일한 사이즈를 가질 수 있다. 다른 실시 예에서, 관심 영역들은 기준이 되는 픽셀의 위치에 따라 서로 다른 사이즈를 가질 수도 있다.
예를 들어, 선택된 픽셀과 동일한 색상 채널이 제1 그린 채널인 경우를 가정할 수 있다.
일 실시 예를 들어, 평균 픽셀 값은 관심 영역에 포함되는 픽셀들 중에서 제1 그린 채널을 갖는 픽셀들의 픽셀 값들에 대한 평균 값일 수 있다. 다른 실시 예를 들어 평균 픽셀 값은 관심 영역에 포함되는 픽셀들 중에서 제1 그린 채널을 갖는 픽셀들의 픽셀 값들 및 제2 그린 채널을 갖는 픽셀들의 픽셀 값들에 대한 평균 값일 수 있다. 선택된 픽셀과 동일한 색상 채널이 제2 그린 채널인 경우에도, 이와 유사한 방식으로 평균 값이 계산될 수 있다.
이미지 캘리브레이터(210)는 선택된 픽셀의 픽셀 값 및 계산된 평균 픽셀 값을 이용하여 선택된 픽셀과 대응되는 기준 게인 값(ref_Gain)을 계산할 수 있다. 예를 들어, 기준 게인 값(ref_Gain)은 선택된 픽셀의 픽셀 값 및 계산된 평균 픽셀 값의 비율일 수 있다.
이미지 캘리브레이터(210)는 선택된 픽셀들 중 나머지 픽셀들 각각에 대해, 이와 같은 방식으로 기준 게인 값들(ref_Gain)을 계산할 수 있다. 그리고, 이미지 캘리브레이터(210)는 계산된 기준 게인 값들(ref_Gain)을 메모리(300)에 저장할 수 있다.
이미지 캘리브레이터(210)는 기준 게인 값들(ref_Gain)을 이용하여 게인 값들(Gain)을 계산할 수 있다.
구체적으로, 이미지 캘리브레이터(210)는 복수의 블록 영역들 중 하나의 블록 영역에서 선택된 지점과 하나의 블록 영역의 꼭짓점들과의 거리 및 하나의 블록 영역의 꼭짓점들에 대응되는 기준 게인 값들(ref_Gain)에 기초하여, 선택된 지점에 대응되는 게인 값(Gain)을 계산할 수 있다. 여기서, 꼭짓점과 선택된 지점 사이의 거리는 꼭짓점에 대응되는 픽셀 및 선택된 지점에 대응되는 픽셀 사이의 거리일 수 있다. 픽셀들 사이의 거리는 해당 픽셀들 사이에 존재하는 픽셀의 개수에 대응될 수 있다.
일 실시 예에서, 하나의 블록 영역의 꼭짓점들은 하나의 블록 영역의 제1 꼭짓점, 제2 꼭짓점, 제3 꼭짓점 및 제4 꼭짓점을 포함할 수 있다.
이 경우, 이미지 캘리브레이터(210)는 선택된 지점과 제1 꼭짓점 사이의 거리, 선택된 지점과 제2 꼭짓점 사이의 거리, 선택된 지점과 제3 꼭짓점 사이의 거리, 선택된 지점과 제4 꼭짓점 사이의 거리, 제1 꼭짓점에 대응되는 기준 게인 값, 제2 꼭짓점에 대응되는 기준 게인 값, 제3 꼭짓점에 대응되는 기준 게인 값 및 제4 꼭짓점에 대응되는 기준 게인 값에 기초하여, 선택된 지점에 대응되는 게인 값(Gain)을 계산할 수 있다.
일 실시 예에서, 복수의 블록 영역들은 제1 블록 영역 및 제2 블록 영역을 포함할 수 있다. 여기서, 제2 블록은 제1 블록 영역 보다 이미지의 중앙으로부터의 거리가 더 가깝고 제1 블록의 사이즈보다 큰 사이즈를 가질 수 있다. 이는 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)의 중앙 부분일수록 왜곡의 정도가 덜하고 영역별 왜곡의 정도가 균일한데 반해, 가장 자리 부분일수록 왜곡의 정도가 심하며 영역별 왜곡의 정도가 불균일한 현상을 이용한 것이다. 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)의 중앙 부분일수록 상대적으로 큰 사이즈의 블록 영역을 설정하고, 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)의 가장 자리 부분일수록 상대적으로 작은 사이즈의 블록 영역을 설정하게 되면, 중앙 부분에 가까운 블록 영역에 포함되는 기준 게인 값(ref_Gain)을 계산하는 빈도를 줄일 수 있다. 게인 값(Gain)을 계산하는 빈도가 증가하지만, 게인 값(Gain)은 기준 게인 값(ref_Gain)에 비해 상대적으로 적은 연산량이 요구되는 알고리즘을 이용하여 계산하면 전체 연산량을 줄일 수 있다.
일 실시 예에서, 제1 블록 영역에 포함되는 게인 값들은 제2 블록 영역에 포함되는 게인 값들보다 더 큰 비트 수가 할당될 수 있다. 여기서, 제2 블록은 제1 블록 영역 보다 이미지의 중앙으로부터의 거리가 더 가깝고 제1 블록의 사이즈보다 큰 사이즈를 가질 수 있다. 게인 값들은 위치 또는 영역에 따라 할당되는 데이터의 비트 수가 달라질 수 있다. 데이터의 비트 수가 클수록 더 넓은 범위의 수 또는 값을 나타낼 수 있다는 것을 의미한다. 예를 들어, 작은 비트 수가 할당된 게인 값을 계산하여 저장하는 경우, 계산한 값 중에서 비트 수의 범위를 벗어나는 소수점 자리의 값은 버리고, 비트 수의 범위 이내의 소수점 자리의 값을 게인 값으로 메모리(300)에 저장할 수 있다.
이미지 코렉터(220)는 이미지 센서(100)를 통해 이미지(Img)가 획득되면, 메모리(300)에 저장된 기준 게인 값들(ref_Gain) 및 게인 값들(Gain)을 이미지에 포함되는 복수의 픽셀들에 적용한 보정 이미지(Cor_Img)를 생성할 수 있다. 여기서, 기준 게인 값들(ref_Gain) 및 게인 값들(Gain)은 게인 맵에 포함될 수 있다. 기준 게인 값들(ref_Gain) 및 게인 값들(Gain)은 이미지에 포함되는 복수의 픽셀들과 대응될 수 있다.
이미지 코렉터(220)는 보정 이미지(Cor_Img)를 출력할 수 있다. 이미지 코렉터(220)는 보정 이미지(Cor_Img)를 호스트(3000) 또는 호스트(3000)가 지시한 장치로 출력할 수 있다. 예를 들어, 이미지 코렉터(220)는 호스트(3000)로부터 수신된 제어 커맨드에 따라, 프로세서, 디스플레이 또는 스토리지 등으로 보정 이미지(Cor_Img)를 출력할 수 있다.
일 실시 예에서, 이미지 코렉터(220)는 메모리(300)로부터 출력된 기준 게인 값들(ref_Gain) 및 이미지 캘리브레이터(210) 또는 휘발성 메모리로부터 출력된 게인 값들(Gain)을 이용해 보정 이미지(Cor_Img)를 생성할 수 있다. 즉, 게인 값들(Gain)은 메모리(300)에 저장되지 않을 수 있다.
이를 위해, 이미지 캘리브레이터(210)는 기설정된 이벤트가 발생할 때마다, 메모리(300)에 저장된 기준 게인 값들(ref_Gain)을 이용하여 게인 값들(Gain)을 계산할 수 있다. 여기서, 기설정된 이벤트는 이미지 센서(100)가 턴 온 되는 이벤트를 포함할 수 있다. 이미지 캘리브레이터(210)는 계산된 게인 값들(Gain)을 이미지 코렉터(220)로 전달할 수 있다. 또는 이미지 캘리브레이터(210)는 계산된 게인 값들(Gain)을 휘발성 메모리에 저장할 수 있다. 휘발성 메모리는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM) 등으로 구현될 수 있다.
다른 일 실시 예에서, 이미지 코렉터(220)는 메모리(300)로부터 출력된 기준 게인 값들(ref_Gain) 및 게인 값들(Gain)을 이용해 보정 이미지(Cor_Img)를 생성할 수 있다. 즉, 게인 값들(Gain)은 기준 게인 값들(ref_Gain)과 함께 메모리(300)에 저장될 수 있다.
도 5는 본 발명의 실시예에 따른 캘리브레이션 이미지를 설명하기 위한 도면이다.
도 5를 참조하여, 이미지 센서(100)는 이미지(500)를 획득할 수 있다. 예를 들어, 이미지(500)는 이미지 센서(100)가 균일한 조도를 갖는 환경에서 흰색 배경을 촬영함으로써 획득한 캘리브레이션 이미지(Cal_Img)일 수 있다. 이미지(500)는 보정이 수행되기 전의 상태를 나타낼 수 있다. 이미지(500)의 각 부분의 음영은 픽셀의 밝기 또는 픽셀의 픽셀 값을 나타낼 수 있다. 이미지(500)의 중앙(C)에서 거리가 멀어지는 가장 자리 부분으로 갈수록 음영 차이가 커지는 것을 알 수 있다. 이미지(500)의 중앙(C)에서 가장 자리 부분으로 갈수록 왜곡의 정도가 보다 커지고, 왜곡의 정도가 보다 불균일 한 것을 알 수 있다.
본 발명의 실시 예에 따르면 이러한 왜곡을 보정하기 위해, 복수의 블록 영역들(Blk1, Blk2)을 설정할 수 있다. 복수의 블록 영역들(Blk1, Blk2) 각각은 이미지(500)의 중앙(C)과의 거리에 따라 그 사이즈가 달라질 수 있다.
일 실시 예에서, 복수의 블록 영역들(Blk1, Blk2) 각각은 이미지(500)의 중앙(C)과의 거리가 클수록 사이즈가 작아질 수 있다. 여기서, 이미지(500)의 중앙(C)은 컬럼 방향의 길이 및 로우 방향의 길이가 절반이 되는 지점일 수 있다. 예를 들어, 제1 블록 영역(Blk1)과 이미지(500)의 중앙(C) 사이의 거리는 제1 블록 영역(Blk1)의 중앙(c1) 및 이미지(500)의 중앙(C) 사이의 거리(d1)로 정의될 수 있다. 이와 동일한 방식으로 제2 블록 영역(Blk2)과 이미지(500)의 중앙(C) 사이의 거리는 제2 블록 영역(Blk2)의 중앙(c2) 및 이미지(500)의 중앙(C) 사이의 거리(d2)로 정의될 수 있다.
한편, 상술한 실시 예는 일 실시 예일 뿐이며, 블록 영역의 사이즈를 결정하는 기준이 되는 기준 위치는 이미지(500)의 중앙(C) 뿐만 아니라 이미지(500)의 꼭짓점 등 다양한 위치로 변형될 수 있다. 또한, 블록 영역의 사이즈를 결정하는 기준은 컬럼 방향의 거리 비율 및 로우 방향의 거리 비율 일 수 있다. 예를 들어, 제1 블록 영역(Blk1)을 기준으로 설명하면, 컬럼 방향의 거리 비율은 제1 블록 영역(Blk1)의 중앙(c1) 및 이미지(500)의 중앙(C) 사이의 컬럼 방향에 대한 거리(b1)를 이미지(500)의 컬럼 방향에 대한 길이로 나눈 제1 비율일 수 있다. 로우 방향의 거리 비율은 제2 블록 영역(Blk2)의 중앙(c1) 및 이미지(500)의 중앙(C) 사이의 로우 방향에 대한 거리(a1)를 이미지(500)의 로우 방향에 대한 길이로 나눈 제2 비율일 수 있다. 그리고, 제1 비율 및 제2 비율 각각이 미리 설정된 값보다 큰 경우 해당 블록 영역의 사이즈를 제1 사이즈로 설정하고, 제1 비율 및 제2 비율 각각이 미리 설정된 값보다 작은 경우 해당 블록 영역의 사이즈를 제1 사이즈보다 큰 제2 사이즈로 설정할 수 있다.
도 6은 본 발명의 실시예에 따른 게인 맵을 설명하기 위한 도면이다.
도 6을 참조하면, 게인 맵(600)은 이미지 센서(100)로부터 획득되는 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)의 사이즈에 대응될 수 있다.
게인 맵(600)은 복수의 블록 영역들(Blk1, Blk2, Blk3)을 포함할 수 있다. 일 실시 예에서, 복수의 블록 영역(Blk1, Blk2, Blk3) 각각은 정사각형 또는 직사각형 형태의 영역일 수 있다. 여기서, 각 블록 영역(Blk1, Blk2, Blk3)은 논리적으로 정의된 영역이며, 각 블록 영역(Blk1, Blk2, Blk3)은 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)의 일 영역에 대응될 수 있다.
복수의 블록 영역들(Blk1, Blk2, Blk3)은 제1 블록 영역(Blk1), 제2 블록 영역(Blk2), 제3 블록 영역(Blk3)을 포함할 수 있다. 제1 블록 영역(Blk1), 제2 블록 영역(Blk2), 제3 블록 영역(Blk3)은 이미지(Img) 또는 캘리브레이션 이미지(Cal_Img)에 대응되도록 배열될 수 있다. 제1 블록 영역(Blk1), 제2 블록 영역(Blk2), 제3 블록 영역(Blk3) 각각은 다른 사이즈를 갖는 블록 영역일 수 있다. 제1 블록 영역(Blk1), 제2 블록 영역(Blk2), 제3 블록 영역(Blk3) 각각은 사이즈에 따라 배열되는 위치가 달라질 수 있다. 또는 제1 블록 영역(Blk1), 제2 블록 영역(Blk2), 제3 블록 영역(Blk3) 각각은 배열되는 위치에 따라 그 사이즈가 달라질 수 있다.
예를 들어, 상대적으로 가장 큰 사이즈를 갖는 제3 블록 영역(Blk3)은 중앙과의 거리가 상대적으로 가장 작아지는 위치에 배열될 수 있다. 상대적으로 중간 사이즈를 갖는 제2 블록 영역(Blk2)은 중앙과의 거리가 중간이 되는 위치에 배열될 수 있다. 상대적으로 가장 작은 사이즈를 갖는 제1 블록 영역(Blk1)은 중앙과의 거리가 상대적으로 가장 큰 위치에 배열될 수 있다.
이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에 포함되는 픽셀들의 픽셀 값 및 블록 영역들(Blk1, Blk2, Blk3)을 이용하여 기준 게인 값들(ref_Gain)을 계산할 수 있다.
구체적으로, 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에 포함된 복수의 픽셀들 중에서 미리 설정된 위치의 픽셀들을 선택할 수 있다. 여기서 미리 설정된 위치의 픽셀들은 블록 영역들(Blk1, Blk2, Blk3)의 꼭짓점들에 대응되는 픽셀들일 수 있다. 미리 설정된 위치의 픽셀들을 컬럼 방향 및 로우 방향으로 선으로 연결하여 블록 영역들(Blk1, Blk2, Blk3)을 정의할 수 있다. 하나의 꼭짓점(ref_PG_XY)은 서로 동일한 위치 (X, Y)를 나타내는 하나의 픽셀 그룹(PG_XY)에 대응될 수 있다. 하나의 픽셀 그룹(PG_XY)은 서로 다른 색상 채널을 갖는 픽셀들을 포함할 수 있다. 한편, 하나의 꼭짓점(ref_PG_XY)은 적어도 하나의 블록 영역(Blk2, Blk3)의 꼭짓점일 수 있다.
이미지 프로세서(200)는 블록 영역들(Blk1, Blk2, Blk3)의 꼭짓점들 각각에 대응되는 관심 영역들(ROI)을 선택할 수 있다. 관심 영역(RIO)은 하나의 꼭짓점(ref_PG_XY)을 기준 점으로 하는 미리 설정된 사이즈의 영역일 수 있다. 여기서, 기준 점은 중심 점일 수 있다. 미리 설정된 사이즈는 하나의 고정된 사이즈일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 미리 설정된 사이즈는 꼭짓점(ref_PG_XY)의 위치에 따라 가변되는 사이즈일 수 있다. 관심 영역(RIO)은 해당 영역 내에 위치한 픽셀들을 포함할 수 있다. 보다 구체적인 실시 예에 대해 도 7을 참조하여 설명하도록 한다.
도 7은 본 발명의 실시예에 따른 어느 하나의 블록 영역을 설명하기 위한 도면이다.
도 7을 참조하면, 이미지 프로세서(200)는 어느 하나의 블록 영역(BLKi)의 꼭짓점들(Ref_PG1~Ref_PG4) 각각에 대응되는 관심 영역들(ROI1~ROI4)을 선택할 수 있다.
예를 들어, 블록 영역(BLKi)은 정사각형 또는 직사각형의 형태를 가질 수 있다. 블록 영역(BLKi)의 컬럼 방향의 길이는 W이고, 로우 방향의 길이는 H일 수 있다. 여기서, W 및 H는 자연수이며, 서로 동일한 값이거나 다른 값일 수 있다. 블록 영역(BLKi)의 꼭짓점들(Ref_PG1~Ref_PG4)은 제1 꼭짓점(Ref_PG1), 제2 꼭짓점(Ref_PG2), 제3 꼭짓점(Ref_PG3), 제4 꼭짓점(Ref_PG4)을 포함할 수 있다. 제1 꼭짓점(Ref_PG1), 제2 꼭짓점(Ref_PG2), 제3 꼭짓점(Ref_PG3), 제4 꼭짓점(Ref_PG4)들은 컬럼 방향의 거리가 W이거나, 또는 로우 방향의 거리가 H인 위치일 수 있다.
이 경우, 이미지 프로세서(200)는 제1 꼭짓점(Ref_PG1)의 위치를 중심 점으로 하는 미리 설정된 사이즈를 갖는 제1 관심 영역(ROI1)을 선택하고, 제2 꼭짓점(Ref_PG2)의 위치를 중심 점으로 하는 미리 설정된 사이즈를 갖는 제2 관심 영역(ROI2)을 선택하고, 제3 꼭짓점(Ref_PG3)의 위치를 중심 점으로 하는 미리 설정된 사이즈를 갖는 제3 관심 영역(ROI3)을 선택하고, 제4 꼭짓점(Ref_PG4)의 위치를 중심 점으로 하는 미리 설정된 사이즈를 갖는 제4 관심 영역(ROI4)을 선택할 수 있다.
이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 복수의 관심 영역(ROI1~ROI4) 각각에 대응되는 영역에 포함되는 픽셀들의 픽셀 값들을 이용하여, 복수의 꼭짓점(Ref_PG1~Ref_PG4)에 대응되는 기준 게인 값들(ref_Gain)을 산출할 수 있다.
예를 들어, 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 제1 관심 영역(ROI1)에 대응되는 영역에 포함되는 픽셀들의 픽셀 값들을 이용하여, 블록 영역(BLKi)의 제1 꼭짓점(Ref_PG1)에 대응되는 기준 게인 값을 산출할 수 있다. 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 제2 관심 영역(ROI2)에 대응되는 영역에 포함되는 픽셀들의 픽셀 값들을 이용하여, 블록 영역(BLKi)의 제2 꼭짓점(Ref_PG2)에 대응되는 기준 게인 값을 산출할 수 있다. 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 제3 관심 영역(ROI3)에 대응되는 영역에 포함되는 픽셀들의 픽셀 값들을 이용하여, 블록 영역(BLKi)의 제3 꼭짓점(Ref_PG3)에 대응되는 기준 게인 값을 산출할 수 있다. 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 제4 관심 영역(ROI4)에 대응되는 영역에 포함되는 픽셀들의 픽셀 값들을 이용하여, 블록 영역(BLKi)의 제4 꼭짓점(Ref_PG4)에 대응되는 기준 게인 값을 산출할 수 있다.
이미지 프로세서(200)는 복수의 꼭짓점들(Ref_PG1~Ref_PG4)에 대응되는 기준 게인 값들(ref_Gain)을 이용하여, 블록 영역(BLKi)에 포함되는 나머지 게인 값들(Gain)을 계산할 수 있다. 이하에서는 기준 게인 값들을 계산하는 구체적인 실시 예에 대해 도 8a 내지 도 8d를 참조하여 설명하도록 한다.
도 8a 내지 8d는 본 발명의 실시예에 따른 기준 게인 값을 계산하는 방법을 설명하기 위한 도면이다.
도 8a을 참조하면, 이미지 프로세서(200)는 도 8a의 (1-1) 내지 (3)의 수학식을 통해 기준 게인 값(ref_Gain_xy)을 계산할 수 있다.
도 8a의 (1-1) 내지 (3)의 수학식에서 픽셀 값(ref_PV_xy)은 선택된 픽셀의 픽셀 값을 나타낸다. 선택된 픽셀은 꼭짓점(ref_PG_XY)의 배열 위치와 동일한 배열 위치를 갖는 픽셀 그룹(PG_XY)에 포함된 픽셀들 중 선택된 어느 하나의 픽셀을 나타낸다.
선택된 픽셀이 제1 그린 채널(Gb1~Gb4)의 픽셀 중 하나인 경우에 대해 설명하도록 한다.
일 실시 예에서, 도 8a의 (1-1)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 그린 채널(Gb1~Gb4, Gr1~Gr4)에 대한 평균 픽셀 값(ROI_AvgPV_G)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 여기서, 그린 채널(Gb1~Gb4, Gr1~Gr4)에 대한 평균 픽셀 값(ROI_AvgPV_G)은 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서 제1 그린 채널(Gb1~Gb4)의 픽셀들의 픽셀 값 및 제2 그린 채널(Gr1~Gr4)의 픽셀들의 픽셀 값에 대한 평균 값일 수 있다.
다른 실시 예에서, 도 8a의 (1-2)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 제1 그린 채널(Gb1~Gb4)에 대한 평균 픽셀 값(ROI_AvgPV_Gb)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 여기서, 제1 그린 채널(Gb1~Gb4)에 대한 평균 픽셀 값(ROI_AvgPV_Gb)은 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서 제1 그린 채널(Gb1~Gb4)의 픽셀들의 픽셀 값에 대한 평균 값일 수 있다.
선택된 픽셀이 제2 그린 채널(Gr1~Gr4)의 픽셀 중 하나인 경우에 대해 설명하도록 한다.
일 실시 예에서, 도 8a의 (1-1)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 그린 채널(Gb1~Gb4, Gr1~Gr4)에 대한 평균 픽셀 값(ROI_AvgPV_G)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다.
다른 실시 예에서, 도 8a의 (1-3)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 제2 그린 채널(Gr1~Gr4)에 대한 평균 픽셀 값(ROI_AvgPV_Gr)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 여기서, 제2 그린 채널(Gr1~Gr4)에 대한 평균 픽셀 값(ROI_AvgPV_Gr)은 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서 제2 그린 채널(Gr1~Gr4)의 픽셀들의 픽셀 값에 대한 평균 값일 수 있다.
선택된 픽셀이 레드 채널(R1~R4)의 픽셀 중 하나인 경우에 대해 설명하도록 한다. 이 경우, 도 8a의 (2)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 레드 채널(R1~R4)에 대한 평균 픽셀 값(ROI_AvgPV_R)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 레드 채널(R1~R4)에 대한 평균 픽셀 값(ROI_AvgPV_R)은 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서 레드 채널(R1~R4)의 픽셀들의 픽셀 값에 대한 평균 값일 수 있다.
선택된 픽셀이 블루 채널(B1~B4)의 픽셀 중 하나인 경우에 대해 설명하도록 한다. 이 경우, 도 8a의 (3)의 수학식과 같이, 이미지 프로세서(200)는 선택된 픽셀의 픽셀 값(ref_PV_xy) 및 블루 채널(B1~B4)에 대한 평균 픽셀 값(ROI_AvgPV_B)을 이용하여 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 블루 채널(B1~B4)에 대한 평균 픽셀 값(ROI_AvgPV_B)은 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서 블루 채널(B1~B4)의 픽셀들의 픽셀 값에 대한 평균 값일 수 있다.
이하에서는 도 8b 및 도 8c를 참조하여 하나의 기준 게인 값을 계산하는 방법을 설명하도록 한다.
도 8b 및 도 8c를 참조하면, 이미지 프로세서(200)는 캘리브레이션 이미지(810, 820)에서 블록 영역(Blki)의 꼭짓점(ref_PG_XY)의 배열 위치와 동일한 배열 위치를 갖는 픽셀 그룹(PG_XY)에 포함되는 픽셀들 중에서 하나의 픽셀을 선택할 수 있다. 여기서, (x, y)에 위치한 제1 채널(Gb1)의 픽셀(ref_PX_xy)이 선택된 것을 가정하도록 한다.
이미지 프로세서(200)는 캘리브레이션 이미지(810, 820)에서 픽셀 그룹(PG_XY)을 중심 영역으로 미리 설정된 사이즈로 확장한 관심 영역(ROI)을 선택할 수 있다.
일 실시 예에서, 도 8b와 같이, 이미지 프로세서(200)는 이미지(810)의 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서, 선택된 픽셀(ref_PX_xy)과 동일한 색상 채널인 제1 그린 채널(Gb1~Gb4)을 갖는 픽셀들(ROI_Avg_Gb)을 선택할 수 있다. 이미지 프로세서(200)는 선택된 픽셀들(ROI_Avg_Gb)의 픽셀 값들에 대한 평균인 평균 픽셀 값(ROI_AvgPV_Gb)을 계산할 수 있다. 도 8a의 (1-2)의 수학식과 같이, 이미지 프로세서(200)는 (x, y)의 위치에서 선택된 픽셀(ref_PX_xy)의 픽셀 값(ref_PV_xy) 및 평균 픽셀 값(ROI_AvgPV_Gb)을 이용하여 (x, y)의 위치에 대한 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 이와 같은 방식으로 다른 위치에 대한 기준 게인 값들이 계산될 수 있다.
일 실시 예에서, 도 8c와 같이, 이미지 프로세서(200)는 이미지(820)의 관심 영역(ROI)에 포함된 복수의 픽셀들 중에서, 선택된 픽셀(ref_PX_xy)과 동일한 종류의 색상 채널인 제1 그린 채널(Gb1~Gb4) 및 제2 그린 채널(Gr1~Gr4)을 갖는 픽셀들(ROI_Avg_G)을 선택할 수 있다. 이미지 프로세서(200)는 선택된 픽셀들(ROI_Avg_G)의 픽셀 값들에 대한 평균인 평균 픽셀 값(ROI_AvgPV_G)을 계산할 수 있다. 도 8a의 (1-1)의 수학식과 같이, 이미지 프로세서(200)는 (x, y)의 위치에서 선택된 픽셀(ref_PX_xy)의 픽셀 값(ref_PV_xy) 및 평균 픽셀 값(ROI_AvgPV_G)을 이용하여 (x, y)의 위치에 대한 기준 게인 값(ref_Gain_xy)을 계산할 수 있다. 이와 같은 방식으로 다른 위치에 대한 기준 게인 값들이 계산될 수 있다.
한편, 다시 도 6을 참조하면 복수의 블록들(Blk1, Blk2, Blk3) 중에서 중앙으로부터의 거리가 가장 먼 가장자리 영역(630)에는 가장 작은 사이즈의 제1 블록(Blk1)이 배열될 수 있다. 본 발명의 일 실시 예에 따르면, 가장자리 영역(630)에 배열된 제1 블록(Blk1)의 경우, 미러링 방식을 통해 제1 블록(Blk1)의 기준 게인 값을 계산할 수 있다. 이에 대해서는 도 8d를 참조하여 설명하도록 한다.
도 8d를 참조하면, 가장자리 영역(830)에는 가장 사이즈가 작은 제1 블록(Blk1)이 배열되며, 제1 블록(Blk1)의 복수의 꼭짓점들(850, 860)은 중앙으로부터의 거리가 가까운 제1 꼭짓점(850) 및 중앙으로부터의 거리가 먼 제2 꼭짓점(860)을 포함할 수 있다. 제1 꼭짓점(850) 및 제2 꼭짓점(860)은 전체 블록 영역들의 전체 꼭짓점들 중에서 가장 인접한 꼭짓점들일 수 있다. 즉, 제2 꼭짓점(860)은 전체 꼭짓점들 중에서 중앙으로부터 가장 바깥쪽에 위치한 꼭짓점일 수 있다.
이미지 프로세서(200)는 중앙으로부터의 거리가 가까운 제1 꼭짓점(850)에 대응되는 제1 기준 게인 값들을 계산할 수 있다. 구체적으로, 이미지 프로세서(200)는 캘리브레이션 이미지(Cal_Img)에서 제1 꼭짓점(850)의 위치 (X, Y)에 대응되는 픽셀 그룹(ref_PG_XY)을 선택하고, 선택된 픽셀 그룹(ref_PG_XY)을 기준으로 관심 영역(840)을 선택할 수 있다. 이미지 프로세서(200)는 픽셀 그룹(ref_PG_XY)에 포함된 픽셀들(ref_PX_xy)의 픽셀 값들(ref_PV_xy) 및 관심 영역(840)에 포함된 픽셀들을 이용해 위치 (X, Y)에 대응되는 제1 기준 게인 값들을 계산할 수 있다.
그리고, 이미지 프로세서(200)는 제1 꼭짓점(850)에 대응되는 제1 기준 게인 값들을 제2 꼭짓점(860)에 대응되는 제2 기준 게인 값들로 복사할 수 있다. 즉, 제2 기준 게인 값들 각각은 제1 기준 게인 값들과 동일한 값으로 복사될 수 있다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 게인 값을 계산하는 방법을 설명하기 위한 도면이다
도 9a 및 도 9b를 참조하면, 하나의 블록 영역(Blki)은 복수의 꼭짓점들(ref_PX1~ref_pX4)에 의해 정의될 수 있다. 하나의 블록 영역(Blki)은 내부에 특정한 위치를 갖는 지점들을 포함할 수 있다. 하나의 지점은 동일한 위치를 갖는 하나의 픽셀과 대응될 수 있다.
이미지 프로세서(200)는 하나의 블록 영역(Blki)을 정의하는 복수의 꼭짓점들(ref_PX1~ref_pX4)에 대응되는 기준 게인 값들을 이용하여, 하나의 블록 영역(Blki)에 포함되는 복수의 지점들 각각에 대한 게인 값을 계산할 수 있다. 이 경우, 이미지 프로세서(200)는 동일한 채널의 복수의 꼭짓점들(ref_PX1~ref_pX4)에 대응되는 기준 게인 값들을 통해 동일한 채널의 게인 값을 계산할 수 있다. 여기서, 하나의 블록 영역(Blki)에 포함되는 복수의 지점들 중 어느 하나의 지점(P_xy)에 대한 게인 값(Gain_P_xy)을 계산하는 방법을 설명하도록 한다. 여기서, 채널은 제1 채널(Gb1)인 것으로 가정하도록 한다.
이미지 프로세서(200)는 하나의 블록 영역(Blki)을 정의하는 복수의 꼭짓점들(ref_PX1~ref_pX4)들 간의 컬럼 방향의 거리(W) 및 로우 방향의 거리(H)를 획득할 수 있다. 예를 들어, 이미지 프로세서(200)는 복수의 꼭짓점들(ref_PX1~ref_pX4) 간의 위치 차이를 통해 컬럼 방향의 거리(W) 및 로우 방향의 거리(H)를 획득할 수 있다.
이미지 프로세서(200)는 하나의 블록 영역(Blki)을 정의하는 복수의 꼭짓점들(ref_PX1~ref_pX4) 각각 및 선택된 하나의 지점(P_xy) 간의 컬럼 방향의 거리(x1, x2) 및 로우 방향의 거리(y1, y2)를 획득할 수 있다. 예를 들어, 이미지 프로세서(200)는 복수의 꼭짓점들(ref_PX1~ref_pX4) 각각 및 선택된 하나의 지점(P_xy) 간의 위치 차이를 통해 컬럼 방향의 거리(x1, x2) 및 로우 방향의 거리(y1, y2)를 획득할 수 있다.
이미지 프로세서(200)는 도 9a에 기재된 수학식을 통해, 복수의 꼭짓점들(ref_PX1~ref_pX4) 각각에 대응되는 기준 게인 값들, 컬럼 방향의 거리(x1, x2, W) 및 로우 방향의 거리(y1, y2, H)를 이용하여 하나의 지점(P_xy)에 대한 게인 값(Gain_P_xy)을 계산할 수 있다.
도 10은 본 발명의 실시예에 따른 보정 이미지를 설명하기 위한 도면이다.
도 10을 참조하면, 이미지 프로세서(200)는 이미지 센서(100)를 통해 획득된 이미지(Img)에 게인 맵(Gain map)을 적용하여 보정 이미지(Cor_Img)를 생성할 수 있다.
구체적으로, 이미지 프로세서(200)는 이미지(Img)에 포함된 복수의 픽셀 중에서 선택된 (x, y) 위치의 픽셀의 픽셀 값(I_xy)과 게인 맵(Gain map)에 포함된 복수의 기준 게인 값 및 복수의 게인 값들 중에서 선택된 (x, y) 위치의 게인 값(Gain_xy)을 곱할 수 있다. 이 경우, 이미지 프로세서(200)는 각각의 위치에 대해서 픽셀 값(I_xy) 및 게인 값(Gain_xy)을 곱한 결과 값(O_xy)을 픽셀 값으로 하는 보정 이미지(Cor_Img)를 생성할 수 있다.
즉, 보정 이미지(Cor_Img)에 포함되는 복수의 픽셀들의 픽셀 값들은 이미지(Img)에 포함된 복수의 픽셀들의 픽셀 값들 및 게인 맵(Gain map)에 포함된 복수의 기준 게인 값 및 복수의 게인 값들을 서로 대응되는 위치끼리 곱한 결과 값일 수 있다.
도 11은 본 발명의 실시예에 따른 이미지 센싱 장치의 동작 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 일 실시 예에 따른 이미지 센싱 장치(1000)의 동작 방법은 이미지 센서(100)를 통해 캘리브레이션 이미지(Cal_Img)를 획득할 수 있다(S1110).
캘리브레이션 이미지(Cal_Img)에서 복수의 블록 영역들(Blk1, Blk2, Blk3) 각각의 꼭짓점들에 대한 기준 게인 값을 계산할 수 있다(S1120). 즉, 캘리브레이션 이미지(Cal_Img)의 크기에 대응되는 게인 맵(Gain map)에 포함된 복수의 블록 영역들(Blk1, Blk2, Blk3)에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 계산할 수 있다. 일 실시 예에서, 복수의 블록 영역들(Blk1, Blk2, Blk3) 각각은 직사각형 또는 정사각형의 형태의 영역일 수 있다.
여기서, 복수의 블록 영역들(Blk1, Blk2, Blk3)은, 제1 블록 영역(Blk1) 및 제1 블록 영역(Blk1)의 위치 보다 캘리브레이션 이미지(Cal_Img)의 중앙으로부터의 거리가 더 가깝고, 제1 블록 영역(Blk1) 보다 더 큰 사이즈를 갖는 제2 블록 영역(Blk2)을 포함할 수 있다.
일 실시 예에서, 기준 게인 값들을 계산하는 단계는, 이미지 센서(100)를 통해 획득된 캘리브레이션 이미지(Cal_Img)에 포함된 복수의 픽셀들 중에서, 복수의 블록 영역들(Blk1, Blk2, Blk3)의 꼭짓점들에 대응되는 픽셀들을 선택하는 단계, 선택된 픽셀들 중 하나의 선택된 픽셀을 포함하는 관심 영역(ROI)에 포함되는 픽셀들 중에서 선택된 색상 채널을 갖는 픽셀들의 평균 픽셀 값을 계산하는 단계 및 선택된 픽셀의 픽셀 값 및 평균 픽셀 값을 이용하여 기준 게인 값들 중에서 하나의 기준 게인 값을 계산하는 단계를 포함할 수 있다.
일 실시 예에서, 동일한 색상 채널은 제1 그린 채널, 제2 그린 채널, 레드 채널 및 블루 채널 중에서 하나의 색상 채널일 수 있다.
일 실시 예에서, 동일한 색상 채널은 제1 그린 채널 및 제2 그린 채널 중에서 하나의 색상 채널일 수 있다. 이 경우, 평균 픽셀 값은 관심 영역에 포함되는 픽셀들 중에서 제1 그린 채널을 갖는 픽셀들의 픽셀 값들 및 제2 그린 채널을 갖는 픽셀들의 픽셀 값들에 대한 평균 값을 포함할 수 있다.
그리고, 기준 게인 값들을 이용하여 복수의 블록 영역들(Blk1, Blk2, Blk3) 각각에 포함되는 지점들에 대한 게인 값들을 계산할 수 있다(S1130).
일 실시 예에서, 게인 값들을 계산하는 단계는 복수의 블록 영역들(Blk1, Blk2, Blk3) 중 하나의 블록 영역(Blki)에서 선택된 지점과 하나의 블록 영역(Blki)의 꼭짓점들과의 거리 및 하나의 블록 영역(Blki)의 꼭짓점들에 대응되는 기준 게인 값들에 기초하여, 선택된 지점에 대응되는 게인 값을 계산하는 단계를 포함할 수 있다.
여기에서, 하나의 블록 영역(Blki)의 꼭짓점들은 하나의 블록 영역(Blki)의 제1 꼭짓점, 제2 꼭짓점, 제3 꼭짓점 및 제4 꼭짓점을 포함할 수 있다. 이 경우, 선택된 지점에 대응되는 게인 값을 계산하는 단계는 선택된 지점과 제1 꼭짓점 사이의 거리, 선택된 지점과 제2 꼭짓점 사이의 거리, 선택된 지점과 제3 꼭짓점 사이의 거리, 선택된 지점과 제4 꼭짓점 사이의 거리, 제1 꼭짓점에 대응되는 기준 게인 값, 제2 꼭짓점에 대응되는 기준 게인 값, 제3 꼭짓점에 대응되는 기준 게인 값 및 제4 꼭짓점에 대응되는 기준 게인 값에 기초하여, 선택된 지점에 대응되는 게인 값을 계산할 수 있다.
그리고, 기준 게인 값들 및 게인 값들을 메모리(300)에 저장할 수 있다(S1140).
일 실시 예에서, 제1 블록 영역(Blk1)에 포함되는 게인 값들은 제2 블록 영역(Blk2)에 포함되는 게인 값들보다 더 큰 비트 수가 할당될 수 있다.
도 12은 본 발명의 실시예에 따른 이미지 센싱 장치의 동작 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 이미지 센싱 장치(1000)의 동작 방법은 이미지 센서(100)를 통해 이미지(Img)를 획득할 수 있다(S1210). 이미지 센싱 장치(1000)는 호스트(3000)로부터 촬영 커맨드가 수신되면 이미지 센서(100)를 통해 이미지(Img)를 획득할 수 있다.
그리고, 메모리(300)에 저장된 기준 게인 값들 및 게인 값들을 복수의 픽셀들에 적용한 보정 이미지(Cor_Img)를 생성할 수 있다(S1220). 메모리(300)에 저장된 기준 게인 값들 및 게인 값들은 게인 맵에 포함될 수 있다. 게인 맵은 캘리브레이션 이미지(Cal_Img) 또는 이미지(Img)의 사이즈에 대응될 수 있다. 게인 맵에 포함되는 기준 게인 값들 및 게인 값들은 복수의 픽셀들에 대응될 수 있다.
그리고, 보정 이미지(Cor_Img)를 출력할 수 있다(S1230). 이미지 센싱 장치(1000)는 호스트(3000)로 보정 이미지(Cor_Img)를 출력할 수 있다. 또는 이미지 센싱 장치(1000)는 호스트(3000)가 지시하는 장치로 보정 이미지(Cor_Img)를 출력할 수 있다. 예를 들어, 보정 이미지(Cor_Img)는 스토리지 장치, 프로세서, 디스플레이 등과 같은 이미지 센싱 장치(1000)의 외부 장치로 출력될 수 있다.
도 13은 본 발명의 실시예에 따른 이미지 센싱 장치를 포함하는 컴퓨팅 시스템을 설명하기 도면이다.
도 13을 참조하면, 컴퓨팅 시스템(2000)은　이미지　센서(2010), 프로세서(2020), 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함할 수 있다. 도 11에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060) 등과 통신하거나, 또는 외부 장치와 통신할 수 있는 포트(port)를 더 포함할 수 있다.
이미지 센서(2010)는 이미지 또는 캘리브레이션 이미지를 획득할 수 있다. 이미지 센서(2010)는 게인 맵을 저장할 수 있다. 이미지 센서(2010)는 획득된 이미지에 게인 맵을 적용한 보정 이미지(Cor_Img)를 생성할 수 있다. 이미지　센서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 또는 이와 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다. 여기서, 이미지 센서(2010)는 상술한 이미지 센싱 장치(1000)에 대한 설명이 적용될 수 있다.
이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다. 실시예에 따라서,　이미지　센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
프로세서(2020)는　컴퓨팅 시스템(2000)의 전반적인 동작을 제어할 수 있다. 프로세서(2020)는 보정 이미지(Cor_Img)를 표시하도록 디스플레이 장치(2060)를 제어할 수 있다. 프로세서(2020)는 보정 이미지(Cor_Img)를 저장 장치(2030)에 저장할 수 있다. 여기서, 프로세서(2020)는　상술한 호스트(3000)에 대한 설명이 적용될 수 있다.
프로세서(2020)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 중앙 처리 장치(Central Processing Unit, CPU), 어플리케이션 처리 장치(Application Processing Unit, APU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등 중에서 적어도 하나를 포함할 수 있다.
프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
저장 장치(2030)는 보정 이미지(Cor_Img) 등의 데이터를 저장할 수 있다. 여기서, 저장 장치(2030)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우 뿐만 아니라 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive, SSD), 하드 디스크 드라이브(Hard Disk Drive, HDD), 광디스크 등의 모든 형태의 비휘발성 메모리 장치 중 적어도 하나로 구성될 수 있다.
메모리 장치(2040)는 보정 이미지(Cor_Img) 등의 데이터를 저장할 수 있다. 여기서, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우에만 보존될 수 있다. 또는, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동되거나 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(2050)는 입력 장치 및 출력 장치를 포함할 수 있다. 입력 장치는 상호작용을 통해 사용자의 명령을 입력할 수 있는 장치이며, 예를 들어 입력 장치는 키보드, 키패드, 마우스, 마이크 등으로 구현될 수 있다. 출력 장치는 데이터를 출력할 수 있는 장치이며, 예를 들어 출력 장치는 프린터, 스피커 등으로 구현될 수 있다.
디스플레이 장치(2060)는 보정 이미지 등의 데이터를 시각적으로 출력하는 장치이다. 이를 위해, 디스플레이 장치(2060)는 별도의 백라이트 유닛(예: LED(light emitting diode) 등)을 광원으로 이용하고 액정(Liquid Crystal)의 분자 배열을 제어함으로써 백라이트 유닛에서 방출된 빛이 액정을 통해 투과되는 정도(빛의 밝기 또는 빛의 세기)를 조절하는 LCD(Liquid Crystal Display), 별도의 백라이트 유닛 또는 액정 없이 자발광 소자(예: 크기가 100-200um인 mini LED, 크기가 100um이하인 micro LED, OLED(Organic LED), QLED(Quantum dot LED) 등)를 광원으로 이용하는 디스플레이 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.
디스플레이 장치(2060)는 복수의 픽셀들을 포함할 수 있다. 디스플레이 장치(2060)의 복수의 픽셀들은 보정 이미지(Cor_Img)의 복수의 픽셀들과 서로 대응되는 위치 관계를 가질 수 있다. 디스플레이 장치(2060)의 복수의 픽셀들은 보정 이미지(Cor_Img)의 복수의 픽셀들 각각의 픽셀 값에 대응되는 휘도로 빛을 방출함으로써 이미지를 표시할 수 있다. 디스플레이 장치(2060)는 복수의 픽셀에 대응되는 복수의 구동 회로를 포함할 수 있다. 여기서, 여기서, 구동 회로는 a-Si(amorphous silicon) TFT(thin film transistor), LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있다.
일 실시 예에서, 디스플레이 장치(2060)는 디스플레이 장치(2060)의 형상이 휘고 다시 복원될 수 있는 특성을 갖는 플렉서블 디스플레이(flexible display)로 구현될 수 있다. 일 실시 예에서, 디스플레이 장치(2060)는 빛을 투과시키는 특성을 갖는 투명 디스플레이로 구현될 수 있다. 일 실시 예에서, 디스플레이 장치(2060)는 사용자가 터치한 위치를 식별하는 터치 센서와 결합되어 터치 디스플레이로 구현될 수도 있다.
1000: 이미지 센싱 장치
100: 이미지 센서
200: 이미지 프로세서
300: 메모리

Claims (18)

  1. 복수의 픽셀들을 포함하는 이미지를 획득하는 이미지 센서;
    상기 이미지의 크기에 대응되는 게인 맵에 포함된 복수의 블록 영역들에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 저장하는 메모리; 및
    상기 기준 게인 값들을 이용하여 상기 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산하고, 상기 기준 게인 값들 및 상기 게인 값들을 상기 복수의 픽셀들에 적용한 보정 이미지를 출력하는 이미지 프로세서;를 포함하며,
    상기 복수의 블록 영역들은,
    제1 블록 영역 및 상기 제1 블록 영역의 위치 보다 상기 이미지의 중앙으로부터의 거리가 더 가깝고, 상기 제1 블록 영역 보다 더 큰 사이즈를 갖는 제2 블록 영역을 포함하는 이미지 센싱 장치.
  2. 제1항에 있어서,
    상기 제1 블록 영역에 포함되는 게인 값들은,
    상기 제2 블록 영역에 포함되는 게인 값들보다 더 큰 비트 수가 할당되는 것을 특징으로 하는 이미지 센싱 장치.
  3. 제1항에 있어서,
    상기 이미지 프로세서는,
    상기 이미지 센서를 통해 획득된 캘리브레이션 이미지에 포함된 복수의 픽셀들 중에서, 상기 복수의 블록 영역들의 꼭짓점들에 대응되는 픽셀들을 선택하고,
    상기 선택된 픽셀들 중 하나의 선택된 픽셀을 포함하는 관심 영역에 포함되는 픽셀들 중에서 상기 선택된 픽셀과 동일한 색상 채널을 갖는 픽셀들의 평균 픽셀 값을 계산하며,
    상기 선택된 픽셀의 픽셀 값 및 상기 평균 픽셀 값을 이용하여 상기 기준 게인 값들 중에서 하나의 기준 게인 값을 계산하는 이미지 캘리브레이터;를 포함하는 이미지 센싱 장치.
  4. 제3항에 있어서,
    상기 동일한 색상 채널은,
    제1 그린 채널, 제2 그린 채널, 레드 채널 및 블루 채널 중에서 하나의 색상 채널인 이미지 센싱 장치.
  5. 제3항에 있어서,
    상기 동일한 색상 채널은,
    제1 그린 채널 및 제2 그린 채널 중에서 하나의 색상 채널이며,
    상기 평균 픽셀 값은,
    상기 관심 영역에 포함되는 픽셀들 중에서 상기 제1 그린 채널을 갖는 픽셀들의 픽셀 값들 및 상기 제2 그린 채널을 갖는 픽셀들의 픽셀 값들에 대한 평균 값을 포함하는 이미지 센싱 장치.
  6. 제1항에 있어서,
    상기 이미지 프로세서는,
    상기 복수의 블록 영역들 중 하나의 블록 영역에서 선택된 지점과 상기 하나의 블록 영역의 꼭짓점들과의 거리 및 상기 하나의 블록 영역의 꼭짓점들에 대응되는 기준 게인 값들에 기초하여, 상기 선택된 지점에 대응되는 게인 값을 계산하는 이미지 캘리브레이터;를 포함하는 이미지 센싱 장치.
  7. 제6항에 있어서,
    상기 하나의 블록 영역의 꼭짓점들은,
    상기 하나의 블록 영역의 제1 꼭짓점, 제2 꼭짓점, 제3 꼭짓점 및 제4 꼭짓점을 포함하며,
    상기 이미지 캘리브레이터는,
    상기 선택된 지점과 상기 제1 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제2 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제3 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제4 꼭짓점 사이의 거리, 상기 제1 꼭짓점에 대응되는 기준 게인 값, 상기 제2 꼭짓점에 대응되는 기준 게인 값, 상기 제3 꼭짓점에 대응되는 기준 게인 값 및 상기 제4 꼭짓점에 대응되는 기준 게인 값에 기초하여, 상기 선택된 지점에 대응되는 게인 값을 계산하는 것을 특징으로 하는 이미지 센싱 장치.
  8. 제1항에 있어서,
    상기 이미지 프로세서는,
    상기 기준 게인 값들 및 상기 기준 게인 값들을 이용해 계산된 상기 게인 값들을 상기 메모리에 저장하는 것을 특징으로 하는 이미지 센싱 장치.
  9. 제8항에 있어서,
    상기 이미지 프로세서는,
    상기 이미지 센서를 통해 상기 이미지가 획득되면, 상기 메모리에 저장된 상기 기준 게인 값들 및 상기 게인 값들을 상기 이미지에 포함되는 상기 복수의 픽셀들에 적용한 상기 보정 이미지를 생성하는 이미지 코렉터;를 포함하는 것을 특징으로 하는 이미지 센싱 장치.
  10. 제1항에 있어서,
    상기 복수의 블록 영역들 각각은,
    직사각형 또는 정사각형의 형태의 영역인 것을 특징으로 하는 이미지 센싱 장치.
  11. 이미지 센서를 통해 캘리브레이션 이미지가 획득되면, 상기 캘리브레이션 이미지의 크기에 대응되는 게인 맵에 포함된 복수의 블록 영역들에 의해 정의되는 꼭짓점들에 대한 기준 게인 값들을 계산하는 단계;
    상기 기준 게인 값들을 이용하여 상기 복수의 블록 영역들 각각에 포함되는 게인 값들을 계산하는 단계;
    상기 기준 게인 값들 및 상기 게인 값들을 메모리에 저장하는 단계; 및
    상기 이미지 센서를 통해 이미지가 획득되면, 상기 메모리에 저장된 상기 기준 게인 값들 및 상기 게인 값들을 상기 복수의 픽셀들에 적용한 보정 이미지를 출력하는 단계;를 포함하며,
    상기 복수의 블록 영역들은,
    제1 블록 영역 및 상기 제1 블록 영역의 위치 보다 상기 캘리브레이션 이미지의 중앙으로부터의 거리가 더 가깝고, 상기 제1 블록 영역 보다 더 큰 사이즈를 갖는 제2 블록 영역을 포함하는 이미지 센싱 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 제1 블록 영역에 포함되는 게인 값들은,
    상기 제2 블록 영역에 포함되는 게인 값들보다 더 큰 비트 수가 할당되는 것을 특징으로 하는 이미지 센싱 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 기준 게인 값들을 계산하는 단계는,
    상기 이미지 센서를 통해 획득된 캘리브레이션 이미지에 포함된 복수의 픽셀들 중에서, 상기 복수의 블록 영역들의 꼭짓점들에 대응되는 픽셀들을 선택하는 단계;
    상기 선택된 픽셀들 중 하나의 선택된 픽셀을 포함하는 관심 영역에 포함되는 픽셀들 중에서 상기 선택된 색상 채널을 갖는 픽셀들의 평균 픽셀 값을 계산하는 단계; 및
    상기 선택된 픽셀의 픽셀 값 및 상기 평균 픽셀 값을 이용하여 상기 기준 게인 값들 중에서 하나의 기준 게인 값을 계산하는 단계;를 포함하는 이미지 센싱 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 동일한 색상 채널은,
    제1 그린 채널, 제2 그린 채널, 레드 채널 및 블루 채널 중에서 하나의 색상 채널인 이미지 센싱 장치의 동작 방법.
  15. 제13항에 있어서,
    상기 동일한 색상 채널은,
    제1 그린 채널 및 제2 그린 채널 중에서 하나의 색상 채널이며,
    상기 평균 픽셀 값은,
    상기 관심 영역에 포함되는 픽셀들 중에서 상기 제1 그린 채널을 갖는 픽셀들의 픽셀 값들 및 상기 제2 그린 채널을 갖는 픽셀들의 픽셀 값들에 대한 평균 값을 포함하는 이미지 센싱 장치의 동작 방법.
  16. 제11항에 있어서,
    상기 게인 값들을 계산하는 단계는,
    상기 복수의 블록 영역들 중 하나의 블록 영역에서 선택된 지점과 상기 하나의 블록 영역의 꼭짓점들과의 거리 및 상기 하나의 블록 영역의 꼭짓점들에 대응되는 기준 게인 값들에 기초하여, 상기 선택된 지점에 대응되는 게인 값을 계산하는 단계;를 포함하는 이미지 센싱 장치의 동작 방법.
  17. 제16항에 있어서,
    상기 하나의 블록 영역의 꼭짓점들은,
    상기 하나의 블록 영역의 제1 꼭짓점, 제2 꼭짓점, 제3 꼭짓점 및 제4 꼭짓점을 포함하며,
    상기 선택된 지점에 대응되는 게인 값을 계산하는 단계는,
    상기 선택된 지점과 상기 제1 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제2 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제3 꼭짓점 사이의 거리, 상기 선택된 지점과 상기 제4 꼭짓점 사이의 거리, 상기 제1 꼭짓점에 대응되는 기준 게인 값, 상기 제2 꼭짓점에 대응되는 기준 게인 값, 상기 제3 꼭짓점에 대응되는 기준 게인 값 및 상기 제4 꼭짓점에 대응되는 기준 게인 값에 기초하여, 상기 선택된 지점에 대응되는 게인 값을 계산하는 것을 포함하는 이미지 센싱 장치의 동작 방법.
  18. 제11항에 있어서,
    상기 복수의 블록 영역들 각각은,
    직사각형 또는 정사각형의 형태의 영역인 것을 특징으로 하는 이미지 센싱 장치의 동작 방법.
KR1020210059457A 2021-05-07 2021-05-07 이미지 센싱 장치 및 그 동작 방법 KR20220152019A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210059457A KR20220152019A (ko) 2021-05-07 2021-05-07 이미지 센싱 장치 및 그 동작 방법
US17/521,506 US11736812B2 (en) 2021-05-07 2021-11-08 Image sensing device for correcting image using block areas and method of operating the same
CN202210047660.XA CN115314648A (zh) 2021-05-07 2022-01-17 图像感测装置及其操作方法
JP2022045385A JP2022173066A (ja) 2021-05-07 2022-03-22 イメージセンシング装置及びその動作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210059457A KR20220152019A (ko) 2021-05-07 2021-05-07 이미지 센싱 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220152019A true KR20220152019A (ko) 2022-11-15

Family

ID=83854664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210059457A KR20220152019A (ko) 2021-05-07 2021-05-07 이미지 센싱 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US11736812B2 (ko)
JP (1) JP2022173066A (ko)
KR (1) KR20220152019A (ko)
CN (1) CN115314648A (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP4115467B2 (ja) * 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
JP4542058B2 (ja) * 2006-03-24 2010-09-08 富士フイルム株式会社 撮像装置および撮像方法
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4656331B2 (ja) * 2006-12-27 2011-03-23 富士フイルム株式会社 撮像装置および撮像方法
KR101310230B1 (ko) * 2007-01-17 2013-09-24 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP4894712B2 (ja) * 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
KR101362765B1 (ko) * 2007-11-07 2014-02-13 삼성전자주식회사 촬영 장치 및 그 제어 방법
US8325890B2 (en) * 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
JP5885416B2 (ja) * 2011-07-14 2016-03-15 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5681155B2 (ja) * 2012-09-26 2015-03-04 株式会社 日立産業制御ソリューションズ 画像処理装置
KR102273656B1 (ko) 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
US9927539B2 (en) 2015-02-20 2018-03-27 General Electric Company Systems and methods for improving imaging by sub-pixel calibration

Also Published As

Publication number Publication date
CN115314648A (zh) 2022-11-08
US11736812B2 (en) 2023-08-22
US20220360722A1 (en) 2022-11-10
JP2022173066A (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
KR101150665B1 (ko) 이미지 보정 시스템 및 방법
US9485483B2 (en) Image sensor and image sensor system including the same
US20240127413A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
US11669935B2 (en) Image processing device and operating method thereof
US20230377111A1 (en) Image processing apparatus including neural network processor and method of operation
US11843868B2 (en) Electronic apparatus based on multiple exposure image and operating method thereof
KR20220152019A (ko) 이미지 센싱 장치 및 그 동작 방법
CN115209120B (zh) 图像感测装置及其操作方法及图像处理装置
US12022244B2 (en) Electronic apparatus and operating method of the electronic apparatus
KR20220146197A (ko) 이미지 센서 모듈 및 이의 동작 방법
KR20230041195A (ko) 전자 장치 및 그 동작 방법
US20240129641A1 (en) Image processing device and image correcting method
KR20230011198A (ko) 전자 장치 및 그 동작 방법
US20240193801A1 (en) Image processing system and image processing method
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
US20230353884A1 (en) Image processing system and image processing method
US20240163578A1 (en) Image signal processor, image sensor, and operating method of the image sensor
US20240185398A1 (en) Image processing system and image processing method
KR20230032359A (ko) 전자 장치 및 그 동작 방법
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
KR20240079752A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20210150965A (ko) 이미지 센서, 전자 장치 및 이미지 센서 동작 방법
CN115409747A (zh) 电子装置和用于驱动电子装置的方法
KR20230050617A (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치