KR20190008057A - Image signal processor, image processing system and binning method of image sensor - Google Patents

Image signal processor, image processing system and binning method of image sensor Download PDF

Info

Publication number
KR20190008057A
KR20190008057A KR1020170142870A KR20170142870A KR20190008057A KR 20190008057 A KR20190008057 A KR 20190008057A KR 1020170142870 A KR1020170142870 A KR 1020170142870A KR 20170142870 A KR20170142870 A KR 20170142870A KR 20190008057 A KR20190008057 A KR 20190008057A
Authority
KR
South Korea
Prior art keywords
disparity
image data
pixels
data
photoelectric conversion
Prior art date
Application number
KR1020170142870A
Other languages
Korean (ko)
Other versions
KR102441363B1 (en
Inventor
강희
송용준
민동기
유종민
이지홍
강석재
김택선
임준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/984,692 priority Critical patent/US11463677B2/en
Priority to CN201810775028.0A priority patent/CN109257586B/en
Publication of KR20190008057A publication Critical patent/KR20190008057A/en
Application granted granted Critical
Publication of KR102441363B1 publication Critical patent/KR102441363B1/en
Priority to US17/954,471 priority patent/US11956411B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/20—Measuring for diagnostic purposes; Identification of persons for measuring urological functions restricted to the evaluation of the urinary system
    • A61B5/202—Assessing bladder functions, e.g. incontinence assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A61B5/0402—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6808—Diapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029—Humidity sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

An image signal processor includes a register and a disparity calibration engine. The register comprises a plurality of pixels. The plurality of pixels individually responds to a pattern image located at a first distance from an image sensor having at least a first photoelectric conversion element and a second photoelectric conversion element and stores disparity data acquired from the pattern image data generated by the image sensor. The disparity calibration engine corrects the disparity distortion of image data generated by photographing an object using the image sensor based on the disparity data, and generates resultant image data. It is possible to increase the quality of an image signal.

Description

이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법{IMAGE SIGNAL PROCESSOR, IMAGE PROCESSING SYSTEM AND BINNING METHOD OF IMAGE SENSOR}TECHNICAL FIELD [0001] The present invention relates to an image signal processor, an image processing system, and a method for binning an image sensor,

본 발명은 이미지 센서에 관한 것으로, 보다 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법에 관한 것이다. The present invention relates to an image sensor, and more particularly to a method of image signal processor, image processing system and method for binning an image sensor.

이미지 센서는 피사체에 의해 반사된 광을 감지하여 전기적 신호로 변환하는 반도체 소자로서 디지털 카메라, 휴대폰 등과 같은 전자 기기에 광범위하게 사용되고 있다. 일반적으로, 이미지 센서는 CCD(Charged Coupled Device) 이미지 센서와 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분되는데, 최근에는 제조비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한 CMOS 이미지 센서가 상대적으로 보다 주목을 받고 있다. 최근에는 멀티-포토다이오드 구조를 갖는 이미지 센서들이 사용되고 있다. An image sensor is a semiconductor device that detects light reflected by a subject and converts the light into an electrical signal, and is widely used in electronic devices such as digital cameras and mobile phones. 2. Description of the Related Art Generally, an image sensor is classified into a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor. In recent years, the image sensor has been inexpensive to manufacture, consumes less power, CMOS image sensors are getting more and more attention. In recent years, image sensors having a multi-photodiode structure have been used.

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 품질을 향상시킬 수 있는 이미지 신호 프로세서를 제공하는데 있다. It is an object of the present invention to provide an image signal processor capable of improving the quality of an image signal output from an image sensor in which one pixel includes two photoelectric conversion elements.

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 품질을 향상시킬 수 있는 이미지 처리 시스템을 제공하는데 있다.It is an object of the present invention to provide an image processing system capable of improving the quality of an image signal output from an image sensor in which one pixel includes two photoelectric conversion elements.

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서의 비닝 방법을 제공하는데 있다.It is an object of the present invention to provide a method of binning an image sensor in which one pixel includes two photoelectric conversion elements.

상기 본 발명의 일 목적을 달성하기 위한 본 발명의 실시예들에 따른 이미지 신호 프로세서는 레지스터 및 디스패리티 교정 엔진을 포함한다. 상기 레지스터는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 구비하는 이미지 센서로부터 제1 거리에 위치한 패턴 이미지에 응답하여 상기 이미지 센서가 생성한 패턴 이미지 데이터로부터 획득한 디스패리티 데이터를 저장한다. 상기 디스패리티 교정 엔진은 상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성한 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성한다.According to an aspect of the present invention, there is provided an image signal processor including a register and a disparity correction engine. Wherein the register comprises a plurality of pixels, each of the plurality of pixels comprising at least a first photoelectric conversion element and a second photoelectric conversion element, the first photoelectric conversion element and the second photoelectric conversion element being in response to a pattern image located at a first distance from the image sensor, And stores disparity data acquired from the pattern image data. The disparity correction engine corrects disparity distortion of image data generated by picking up an object using the image sensor based on the disparity data, and generates resultant image data.

상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 이미지 처리 시스템은 이미지 센서, 디스패리티 처리 모듈 및 이미지 신호 프로세서를 포함한다. 상기 이미지 센서는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비한다. 상기 디스패리티 처리 모듈은 이미지 센서로부터 제1 거리에 위치한 패턴 이미지를 상기 이미지 센서를 이용하여 촬상하여 생성된 패턴 이미지 데이터를 수신하고, 상기 패턴 이미지 데이터에 기초하여 디스패리티 데이터를 제공한다. 상기 이미지 신호 프로세서는 상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성된 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성한다.According to an aspect of the present invention, there is provided an image processing system including an image sensor, a disparity processing module, and an image signal processor. The image sensor has a plurality of pixels, and the plurality of pixels each include a pixel array including at least a first photoelectric conversion element and a second photoelectric conversion element. The disparity processing module receives pattern image data generated by capturing a pattern image located at a first distance from the image sensor using the image sensor, and provides disparity data based on the pattern image data. The image signal processor corrects disparity distortion of the generated image data by capturing an object using the image sensor based on the disparity data, and generates resultant image data.

상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비하는 이미지 센서의 비닝(binning) 방법에서는, 상기 픽셀 어레이에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향의 픽셀의 수, 2m은 제2 방향의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들 상기 비닝 윈도우들 각각의 일부 또는 전부의 픽셀들에 상응하는 아날로그 신호에 기초하여 비닝 아날로그 신호를 생성한다. According to an aspect of the present invention, there is provided a liquid crystal display device including a plurality of pixels arranged in a predetermined pattern according to embodiments of the present invention, the plurality of pixels each including at least a first photoelectric conversion element and a second photoelectric conversion element In a binning method of an image sensor having a pixel array, pixels (2n) * (2m) (n is a natural number and m is a natural number greater than n) And the number of pixels in the second direction is sequentially selected from among the binning windows in the first direction and the number of pixels in the second direction, Generates a binning analog signal based on an analog signal corresponding to pixels of part or all of each of the binning windows.

본 발명에 실시예들에 따르면, 하나의 픽셀의 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 디스패리티 왜곡을 교정할 수 있고, 무빙 평균을 사용하여 상기 이미지 신호를 비닝함으로써 행 방향의 해상도를 높일 수 있다. According to embodiments of the present invention, it is possible to correct disparity distortion of an image signal output from an image sensor including two photoelectric conversion elements of one pixel, and to binarize the image signal using moving average The resolution of the direction can be increased.

도 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 픽셀을 설명하기 위한 도면이다.
도 4는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.
도 5a 내지 도 5d는 도 1의 이미지 센서로부터 출력된 제1 이미지 데이터와 제2 이미지 데이터의 차이를 설명하기 위한 개념도이다.
도 6a는 이미지 센서와 패턴 이미지의 배치를 나타내고, 도 6b는 패턴 이미지를 나타내고, 도 6c는 패턴 이미지 데이터의 디스패리티를 나타낸다.
도 7은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.
도 8은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.
도 9a는 도 1의 디스패리티 처리 모듈에서 패턴 이미지 데이터가 복수의 블록들로 분할되는 것을 나타낸다.
도 9b는 도 1의 디스패리티 처리 모듈에서 출력되는 디스패리티 데이터를 나타낸다.
도 10은 본 발명의 실시예들에 따른 도 1의 이미지 신호 프로세서에 포함되는 디스패리티 교정 엔진을 나타내는 블록도이다.
도 11a는 도 10에서 디스패리티 데이터를 나타내고, 도 11b는 디스패리티 맵을 나타내고, 도 11c는 게인 맵을 나타낸다.
도 12는 본 발명의 실시예들에 따른 이미지 처리 시스템의 동작 방법을 나타낸다.
도 13은 본 발명의 실시예들에 따른 도 12의 동작 방법에서, 이미지 데이터의 디스패리티 왜곡을 교정하는 단계를 보다 상세히 나타내는 흐름도이다.
도 14는 본 발명의 실시예들에 따른 도 1의 이미지 센서의 비닝 블록에서 수행되는 비닝 동작을 나타낸다.
도 15는 도 1의 이미지 센서에서 비닝 블록 및 ADC 블록을 나타내는 회로도이다.
도 16 및 도 17은 각각 도 1의 이미지 센서에서 픽셀 어레이의 예들을 나타낸다.
도 18은 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.
도 19는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.
도 20a 및 도 20b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.
도 21a 및 도 21b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.
도 22는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating an example of an image processing system according to embodiments of the present invention.
Figure 2 is a block diagram illustrating a pixel array in the image processing system of Figure 1 in accordance with embodiments of the present invention.
FIG. 3 is a view for explaining one pixel shown in FIG. 2 according to embodiments of the present invention.
Fig. 4 shows a cross-sectional view of pixels including photoelectric conversion elements cut in the II-II 'direction in the pixel array of Fig. 2;
5A to 5D are conceptual diagrams for explaining the difference between the first image data and the second image data output from the image sensor of FIG.
FIG. 6A shows the arrangement of the image sensor and the pattern image, FIG. 6B shows the pattern image, and FIG. 6C shows the disparity of the pattern image data.
FIG. 7 is a block diagram illustrating the configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.
FIG. 8 is a block diagram illustrating the configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.
9A shows that the pattern image data is divided into a plurality of blocks in the disparity processing module of FIG.
9B shows disparity data output from the disparity processing module of FIG.
FIG. 10 is a block diagram illustrating a disparity correction engine included in the image signal processor of FIG. 1 according to embodiments of the present invention.
FIG. 11A shows disparity data in FIG. 10, FIG. 11B shows a disparity map, and FIG. 11C shows a gain map.
12 shows a method of operation of an image processing system according to embodiments of the present invention.
Figure 13 is a flow diagram illustrating in greater detail the step of correcting disparity distortion of image data in the method of operation of Figure 12 according to embodiments of the present invention.
14 shows a binning operation performed in the binning block of the image sensor of FIG. 1 according to the embodiments of the present invention.
15 is a circuit diagram showing a binning block and an ADC block in the image sensor of Fig.
Figures 16 and 17 show examples of pixel arrays in the image sensor of Figure 1, respectively.
18 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.
19 is a flowchart illustrating a method of binning an image sensor according to embodiments of the present invention.
20A and 20B are views for explaining the effects of the embodiments of the present invention.
21A and 21B are diagrams for explaining the effects of the embodiments of the present invention.
22 is a block diagram illustrating an electronic system according to embodiments of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다. 1 is a block diagram illustrating an example of an image processing system according to embodiments of the present invention.

도 1을 참조하면, 이미지 처리 시스템(10)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.Referring to Figure 1, the image processing system 10 may be embodied in a portable electronic device. The portable electronic device may be a laptop computer, a mobile phone, a smart phone, a tablet PC, a personal digital assistant (PDA), an enterprise digital assistant (EDA), a digital still camera, A digital video camera, a portable multimedia player (PMP), a mobile internet device (MID), a wearable computer, an internet of things (IoT) everything (IoE)) devices.

이미지 처리 시스템(10)은 광학 렌즈(103), 이미지 센서(100), 디지털 신호 프로세서(digital signal processor(DSP); 200) 및 디스플레이(250)를 포함할 수 있다. 이미지 처리 시스템(10)은 또한 디스패리티(disparity) 처리 모듈(300)을 더 포함할 수 있다.The image processing system 10 may include an optical lens 103, an image sensor 100, a digital signal processor (DSP) 200 and a display 250. The image processing system 10 may further include a disparity processing module 300.

이미지 센서(100)는 광학 렌즈(103)를 통하여 입사된 피사체(101, OB)에 대한 이미지 데이터(또는 이미지 신호, IDTA)를 생성할 수 있다. 이미지 데이터(IDTA)는 복수의 광전 변환 소자들로부터 출력된 픽셀 신호들에 상응하는 데이터일 수 있다. 즉 이미지 데이터(IDTA)는 복수의 광전 변환 소자들로부터 출력된 디스패리티 정보를 포함하는 데이터일 수 있다. 예컨대, 상기 광전 변환 소자들 각각은 포토다이오드, 포토트랜지스터, 포토게이트 또는 핀드 포토다이오드로 구현될 수 있다.The image sensor 100 may generate image data (or an image signal, IDTA) for the object 101, OB incident through the optical lens 103. [ The image data IDTA may be data corresponding to the pixel signals output from the plurality of photoelectric conversion elements. That is, the image data IDTA may be data including disparity information output from the plurality of photoelectric conversion elements. For example, each of the photoelectric conversion elements may be implemented as a photodiode, a phototransistor, a photogate, or a pinned photodiode.

이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그-디지털 변환기 블록(analog-todigital converter(ADC) block; 125), 비닝 블록(130), 타이밍 생성기(140), 제어 레지스터 블록(150), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)를 포함할 수 있다. 아날로그-디지털 변환기 블록(125) 및 비닝 블록(130)은 아날로그-디지털 변환 회로를 구성할 수 있다.The image sensor 100 includes a pixel array 110, a row driver 120, an analog-to-digital converter (ADC) block 125, a binning block 130, a timing generator 140, A block 150, a binning controller 155, a ramp signal generator 160, and a buffer 170. The analog-to-digital converter block 125 and the binning block 130 may constitute an analog-to-digital conversion circuit.

픽셀 어레이(110)는 2차원적으로 배열된 복수의 픽셀들을 포함할 수 있다. CMOS 이미지 센서(110)의 픽셀들은 CMOS 제조 공정을 이용하여 제조될 수 있다. 복수의 픽셀들 각각은 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함할 수 있다. The pixel array 110 may comprise a plurality of pixels arranged two-dimensionally. The pixels of the CMOS image sensor 110 may be fabricated using a CMOS fabrication process. Each of the plurality of pixels may include at least a first photoelectric conversion element and a second photoelectric conversion element.

픽셀 어레이(110)에 포함된 픽셀들 각각은 포토다이오드를 포함할 수 있다. 상기 포토다이오드들 각각은 광전 변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토트랜지스터(phototransistor), 포토게이트 (photogate), 또는 핀드 포토다이오드(pinned-photodiode)로 대체될 수 있다. 픽셀 어레이(110)는 매트릭스(matrix) 형태로 배열된 픽셀들 포함할 수 있다. 픽셀들 각각은 픽셀 신호를 컬럼 라인으로 전송할 수 있다.Each of the pixels included in the pixel array 110 may comprise a photodiode. Each of the photodiodes may be replaced with a phototransistor, a photogate, or a pinned-photodiode. The pixel array 110 may include pixels arranged in a matrix form. Each of the pixels may transmit a pixel signal to a column line.

로우 드라이버(120)는, 타이밍 생성기(140)의 제어에 따라, 픽셀들 각각의 동작을 제어하기 위한 제어 신호들을 픽셀 어레이(110)로 드라이빙할 수 있다. 로우 드라이버(120)는 제어 신호들을 생성할 수 있는 제어 신호 생성기의 기능을 수행할 수 있다.The row driver 120 may drive control signals to the pixel array 110 to control the operation of each of the pixels under the control of the timing generator 140. [ The row driver 120 may perform the function of a control signal generator capable of generating control signals.

타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, 로우 드라이버(120), ADC 블록(125) 및 램프 신호 생성기(160)의 동작을 제어할 수 있다. 실시 예에 따라, 타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, ADC 블록(125)의 동작을 제어할 수 있다.The timing generator 130 may control the operation of the row driver 120, the ADC block 125 and the ramp signal generator 160 under the control of the control register block 150. [ According to the embodiment, the timing generator 130 may control the operation of the ADC block 125 under the control of the control register block 150. [

비닝 블록(130)은 픽셀 어레이(110)에서 포함된 각 픽셀로부터 출력된 픽셀 신호를 비닝(binning)하고, 비닝된 픽셀 신호를 출력할 수 있다. The binning block 130 may bin the pixel signals output from the respective pixels included in the pixel array 110 and output the binned pixel signals.

ADC 블록(125)은 컬럼별 ADC와 컬럼별 메모리를 포함할 수 있다. 실시 예에 따라, 상기 ADC는 상관 이중 샘플링(correlated double sampling(CDS))을 수행할 수 있다. 실시 예에 따라, ADC 블록(125)은 복수의 ADC들을 포함할 수 있다. ADC들 각각은 서브 픽셀마다 구현된 광전 변환 소자들에 의해 공유될 수 있다. ADC 블록(125)은 비닝 블록(130)으로부터 출력된 비닝된 픽셀 신호에 상응하는 디지털 이미지 신호를 생성할 수 있다.The ADC block 125 may include column-by-column ADCs and column-by-column memory. According to an embodiment, the ADC may perform correlated double sampling (CDS). According to an embodiment, the ADC block 125 may comprise a plurality of ADCs. Each of the ADCs can be shared by photoelectric conversion elements implemented per subpixel. The ADC block 125 may generate a digital image signal corresponding to the binned pixel signal output from the binning block 130.

제어 레지스터 블록(150)은, DSP(200)의 제어에 따라, 타이밍 생성기(130), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)의 작동을 제어할 수 있다. 비닝 제어기(155)는, 제어 레지스터 블록(150)의 제어에 따라, 비닝 블록 (130)을 제어할 수 있다. The control register block 150 can control the operation of the timing generator 130, the binning controller 155, the ramp signal generator 160 and the buffer 170 under the control of the DSP 200. [ The binning controller 155 may control the binning block 130 under the control of the control register block 150.

버퍼(170)는 ADC 블록(125)으로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDTA)를 DSP(200)로 전송할 수 있다. The buffer 170 may transmit the image data IDTA corresponding to the plurality of digital image signals output from the ADC block 125 to the DSP 200. [

DSP(200)는 이미지 신호 프로세서(image signal processor(ISP); 300), 센서 컨트롤러(220), 인터페이스(230) 및 스토리지(240)를 포함할 수 있다. The DSP 200 may include an image signal processor (ISP) 300, a sensor controller 220, an interface 230 and a storage 240.

ISP(300)는 제어 레지스터 블록(150)을 제어하는 센서 컨트롤러(220) 및 인터페이스(230)를 제어할 수 있다. 실시 예에 따라, 이미지 센서(100)와 DSP(200)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다.The ISP 300 may control the sensor controller 220 and the interface 230 that control the control register block 150. In accordance with an embodiment, the image sensor 100 and the DSP 200 may be implemented in a single package, e.g., a multi-chip package (MCP).

비록 도 1에서는 이미지 센서(100)와 ISP(300)가 분리된 형태로 도시되어 있으나, ISP(210)는 CMOS 이미지 센서(300)의 일부로서 구현될 수 있다.Although the image sensor 100 and the ISP 300 are shown separately in FIG. 1, the ISP 210 may be implemented as a part of the CMOS image sensor 300.

ISP(300)는 버퍼(170)로부터 전송된 이미지 데이터(IDTA)를 처리하고, 처리된 이미지 데이터를 인터페이스(230)로 전송할 수 있다. 예를 들어, ISP(300)는 픽셀들부터 출력된 픽셀 신호들에 상응하는 이미지 데이터(IDTA)를 보간(interpolation)하고, 보간된 이미지 신호를 생성할 수 있다. 예를 들어, ISP(300)는 스토리지(240에 저장된 디스패리티 데이터(또는 디스패리티 교정 데이터, CLDTA)에 기초하여 이미지 신호(IDTA)의 디스패리티 왜곡(distortion)을 교정하여 결과 이미지 신호를 생성할 수 있다. The ISP 300 may process the image data IDTA transmitted from the buffer 170 and transmit the processed image data to the interface 230. [ For example, the ISP 300 may interpolate the image data IDTA corresponding to the pixel signals output from the pixels, and generate the interpolated image signal. For example, the ISP 300 may correct the disparity distortion of the image signal IDTA based on the disparity data (or disparity correction data, CLDTA) stored in the storage 240 to generate a resulting image signal .

센서 컨트롤러(220)는 ISP(300)의 제어에 따라, 제어 레지스터 블록(150)을 제어하기 위한 다양한 제어 신호들을 생성할 수 있다. 인터페이스(230)는 ISP(210)에서 처리된 이미지 데이터, 예컨대 보간된 이미지 데이터 또는 디스패리티 왜곡이 교정된 이미지 데이터를 디스플레이(240)로 전송할 수 있다.The sensor controller 220 may generate various control signals for controlling the control register block 150 under the control of the ISP 300. [ The interface 230 may transmit image data processed by the ISP 210, such as interpolated image data or image data whose disparity distortion has been corrected, to the display 240.

디스플레이(240)는 인터페이스(230)로부터 출력된 보간된 이미지 신호를 디스플레이할 수 있다. 디스플레이(240)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블 디스플레이로 구현될 수 있다.The display 240 may display the interpolated image signal output from the interface 230. The display 240 may be implemented as a TFT-LCD (thin film transistor-liquid crystal display), an LED (light emitting diode) display, an OLED (organic LED) display, an AMOLED .

디스패리티 처리 모듈(300)은 상기 이미지 센서(100)로부터 제1 거리에 위치한 패턴 이미지에 응답하여 이미지 센서(100)로부터 출력되는 패턴 이미지 데이터(PDTA)의 디스패리티를 산출하고, 산출된 디스패리티를 디스패리티 데이터(CLDTA)로서 DSP(200)의 스토리지(240)에 저장할 수 있다. 스토리지(240)는 EEPROM, 낸드 플래시 또는 저항성 메모리와 같은 비휘발성 메모리로 구현될 수 있다. The disparity processing module 300 calculates the disparity of the pattern image data PDTA output from the image sensor 100 in response to the pattern image located at the first distance from the image sensor 100, May be stored in the storage 240 of the DSP 200 as disparity data (CLDTA). The storage 240 may be implemented as non-volatile memory such as EEPROM, NAND flash, or resistive memory.

도 1에서 디스패리티 처리 모듈(300)은 ISP(400)와 분리된 형태로 도시되어 있으나, 실시예에 따라서, 디스패리티 처리 모듈(300)은 ISP(400)의 일부로서 구현될 수 있다. 1, the disparity processing module 300 is shown as being separate from the ISP 400. However, the disparity processing module 300 may be implemented as a part of the ISP 400 according to an embodiment.

도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.Figure 2 is a block diagram illustrating a pixel array in the image processing system of Figure 1 in accordance with embodiments of the present invention.

도 2는 도 1의 픽셀 어레이의 컬러 필터 어레이를 예시적으로 나타낸다.Figure 2 illustrates an exemplary color filter array of the pixel array of Figure 1;

도 2에서는 간결한 설명을 위하여, 8*8(*는 본 명세서에서 곱하기임) 구조의 픽셀 어레이가 예시적으로 설명된다. 하지만 본 발명의 범위가 이에 한정되는 것은 아니며, 픽셀 어레이(110)의 배열 또는 컬러 필터 어레이의 배열은 다양하게 변형될 수 있다.For the sake of brevity in FIG. 2, a pixel array of 8 * 8 (* is herein multiplied) structure is illustratively illustrated. However, the scope of the present invention is not limited thereto, and the arrangement of the pixel array 110 or the arrangement of the color filter array may be variously modified.

도 2를 참조하면, 픽셀 어레이(110)는 복수의 픽셀들(PX11~PX22)을 포함한다. Referring to FIG. 2, the pixel array 110 includes a plurality of pixels PX11 to PX22.

예를 들어, 픽셀(PX11)은 제1 컬러 필터(예시적으로, 제1 그린(Gb) 컬러 필터)를 포함할 수 있다. 픽셀(PX11)은 제1 컬러(예시적으로 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다. 픽셀(PX12)은 제2 컬러 필터(예시적으로, 블루(B) 컬러 필터)를 포함할 수 있다. 픽셀(PX12)은 제2 컬러(예시적으로, 청색)의 빛에 반응하여 전기 신호를 생성할 수 있다.For example, the pixel PX11 may include a first color filter (illustratively, a first green (Gb) color filter). Pixel PX11 may generate an electrical signal in response to light of a first color (illustratively green). Pixel PX12 may include a second color filter (illustratively, a blue (B) color filter). Pixel PX12 may generate an electrical signal in response to light of a second color (illustratively, blue).

픽셀(PX21)은 제3 컬러 필터(예시적으로, 레드(R) 컬러 필터)를 포함할 수 있다. 픽셀(PX21)은 적색의 빛에 반응하여 전기 신호를 생성할 수 있다. 픽셀(PX22)은 제4 컬러 필터(예시적으로, 제2 그린(Gr) 컬러 필터)를 포함할 수 있다. 픽셀(PX22)은 제4 컬러(예시적으로, 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다.Pixel PX21 may comprise a third color filter (illustratively, a red (R) color filter). The pixel PX21 can generate an electric signal in response to the red light. The pixel PX22 may include a fourth color filter (illustratively, a second green (Gr) color filter). The pixel PX22 may generate an electrical signal in response to light of a fourth color (illustratively, green).

예시적인 실시예에 있어서, 4개의 픽셀들(PX11~PX22)은 Bayer 패턴을 구성할 수 있다. 도 2를 참조하여 Bayer 패턴이 예시적으로 설명되었으나, 본 발명은 이에 한정되지 아니하고, RGBE 패턴, CYGM 패턴, CYYM 패턴 등과 같이 다양한 컬러 필터 어레이 패턴이 적용될 수 있다.In the exemplary embodiment, the four pixels PX11 through PX22 may constitute a Bayer pattern. Although the Bayer pattern has been exemplarily described with reference to FIG. 2, the present invention is not limited thereto, and various color filter array patterns such as RGBE pattern, CYGM pattern, CYYM pattern, and the like can be applied.

도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 픽셀을 설명하기 위한 도면이다.FIG. 3 is a view for explaining one pixel shown in FIG. 2 according to embodiments of the present invention.

도 3을 참조하여, 5TR 구조의 픽셀이 설명되나, 본 발명의 범위가 이에 한정되는 것은 아니며, 픽셀은 다양한 픽셀 구조로 변형될 수 있다.Referring to FIG. 3, a pixel of the 5TR structure is described, but the scope of the present invention is not limited thereto, and the pixel may be modified into various pixel structures.

도 2 및 도 3을 참조하면, 픽셀(PX11)은 2개의 포토다이오드들(PD1과 PD2), 2개의 전송 트랜지스터들(TX1과 TX2), 리셋 트랜지스터 (reset transistor; RX), 소스 팔로워(source follower; SF), 및 선택 트랜지스터 (selection transistor; SX)를 포함한다.2 and 3, the pixel PX11 includes two photodiodes PD1 and PD2, two transfer transistors TX1 and TX2, a reset transistor RX, a source follower (SF), and a selection transistor (SX).

제1 전송 트랜지스터(TX1)의 일단은 제1 포토 다이오드(PD1(LP))과 접속되고, 타단은 플로팅 디퓨전 영역(floating diffusion region; FD)에 접속되고, 제어 전극은 제어 신호(TG1)를 수신한다. 제2 전송 트랜지스터(TX2)의 일단은 제2 포토 다이오드(PD2(RP))와 접속되고, 타단은 플로팅 디퓨전 영역(FD)에 접속되고, 제어 전극은 제어 신호(TG2)를 수신한다.One end of the first transfer transistor TX1 is connected to the first photodiode PD1 (LP), the other end thereof is connected to a floating diffusion region FD, and the control electrode receives the control signal TG1 do. One end of the second transfer transistor TX2 is connected to the second photodiode PD2 (RP), the other end thereof is connected to the floating diffusion region FD, and the control electrode receives the control signal TG2.

리셋 트래지스터(RX)의 일단은 전원 전압(VDD)을 수신하고, 타단은 플로팅 디퓨전 영역(FD)과 접속되고, 제어 전극은 제어 신호(RS)를 수신한다. 소스 팔로워(SF)의 일단은 전원 전압(VDD)을 수신하고, 타단은 선택 트랜지스터(SX)의 일단과 접속되고, 제어 전극은 플로팅 디퓨전 영역(FD)와 접속된다. 선택 트랜지스터(SX)의 타단은 컬럼 라인(CL)과 연결되고, 제어 전극은 제어 신호(SEL)를 수신한다. One end of the reset transistor RX receives the power supply voltage VDD, the other end thereof is connected to the floating diffusion region FD, and the control electrode receives the control signal RS. One end of the source follower SF receives the power supply voltage VDD and the other end is connected to one end of the selection transistor SX and the control electrode is connected to the floating diffusion region FD. The other end of the selection transistor SX is connected to the column line CL, and the control electrode receives the control signal SEL.

각 트랜지스터(TX1, TX2, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1, TG2, RS, 및 SEL)는 로우 드라이버(120)로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인(CL)으로 공급된다.Each control signal TG1, TG2, RS, and SEL capable of controlling each of the transistors TX1, TX2, RX, and SX can be output from the row driver 120. [ The output signal of the selection transistor SX is supplied to the column line CL.

도 3에서는 설명의 편의를 위해 플로팅 디퓨전 영역(FD)이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 픽셀들이 하나의 플로팅 디퓨전 영역(FD)에 각 포토다이오드(PD1과 PD2)에 의해 공유되지 않을 수도 있다.In FIG. 3, pixels for sharing the floating diffusion region FD are shown for the sake of convenience of explanation. However, according to the designer's intention, the pixels are connected to each of the photodiodes PD1 and PD2 in one floating diffusion region FD It may not be shared by the user.

도 4는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.Fig. 4 shows a cross-sectional view of pixels including photoelectric conversion elements cut in the II-II 'direction in the pixel array of Fig. 2;

도 2 및 도 4를 참조하면, 제1 픽셀(PX11)은 제1 및 제2 포토다이오드들 (PD1, PD2), 각 포토다이오드(PD1~PD2)의 위에 배치된 제1 컬러 필터들(CF1), 제1 컬러 필터(CF1)의 위에 배치된 제1 마이크로렌즈(ML1) 및 제1 마이크로 렌즈 (ML1)의 위에 배치된 마이크로렌즈(113a)를 포함할 수 있다. 제1 컬러 필터(CF1)는 그린 컬러 필터일 수 있다. 실시예에 따라, 제1 마이크로렌즈(ML1)는 제1 픽셀(PX11)에 포함되지 않을 수 있다. 2 and 4, the first pixel PX11 includes first and second photodiodes PD1 and PD2, first color filters CF1 disposed on the respective photodiodes PD1 to PD2, A first microlens ML1 disposed on the first color filter CF1 and a microlens 113a disposed on the first microlens ML1. The first color filter CF1 may be a green color filter. According to the embodiment, the first microlens ML1 may not be included in the first pixel PX11.

제2 픽셀(PX12)은 제1 및 제2 포토 다이오드들(PD1, PD2), 포토 다이오드들(PD1, PD2) 위에 배치된 제2 컬러 필터(CF2), 제2 컬러 필터(CF2)의 위에 배치된 제2 마이크로렌즈(ML2) 및 제2 마이크로렌즈 (ML2)의 위에 배치된 마이크로렌즈(113b)를 포함할 수 있다. 제2 컬러 필터(CF2)는 블루 컬러 필터일 수 있다. 실시예에 따라, 제2 마이크로렌즈 (ML2)는 제2 픽셀(PX12)에 포함되지 않을 수 있다.The second pixel PX12 is disposed over the first and second photodiodes PD1 and PD2, the second color filter CF2 disposed on the photodiodes PD1 and PD2, and the second color filter CF2. And a microlens 113b disposed on the second microlens ML2 and the second microlens ML2. The second color filter CF2 may be a blue color filter. According to the embodiment, the second microlens ML2 may not be included in the second pixel PX12.

제1 분리 물질(isolation material; ISM1)은 제1 픽셀(PX11)과 제2 픽셀(PX12)의 사이에 구현될 수 있다. 또한, 제2 분리 물질들(ISM2)은 각 픽셀(PX11 또는 PX12)에 구현된 2개의 포토다이오드들(PD1, PD2) 사이에 구현될 수 있다. 제1 분리 물질(ISM1)과 제2 분리 물질(ISM2) 각각은 DTI(deep trench isolation)로 형성될 수 있다.A first isolation material (ISM1) may be implemented between the first pixel PX11 and the second pixel PX12. Further, the second isolation materials ISM2 may be implemented between two photodiodes PD1 and PD2 implemented in each pixel PX11 or PX12. Each of the first isolation material ISM1 and the second isolation material ISM2 may be formed of deep trench isolation (DTI).

도 5a 내지 도 5d는 도 1의 이미지 센서로부터 출력된 제1 이미지 데이터와 제2 이미지 데이터의 차이를 설명하기 위한 개념도이다.5A to 5D are conceptual diagrams for explaining the difference between the first image data and the second image data output from the image sensor of FIG.

도 5a는 이미지 센서(100)에 대한 출사동(exit pupil) 모양을 나타낸다. 여기서, 출사동이란 일반적으로는 빛이 빠져나가는 구멍을 의미하며, 본 명세서에서는 이미지 센서(100) 측에서 카메라 렌즈(PL)를 바라볼 때 수광부의 모양을 의미한다.5A shows an exit pupil shape for the image sensor 100. FIG. In this specification, the image sensor 100 refers to the shape of the light receiving part when the camera lens PL is viewed from the side.

도 5a 및 도 5b를 참조하면, 픽셀의 중심축(CA)과 카메라 렌즈(photographic lens(PL))의 광축(OA)이 같은 경우, 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 좌측 끝까지의 거리(R1)와 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 우측 끝까지의 거리(R2)는 서로 같다. 따라서, 제1 광전 변환 소자(LP)로 입사되는 빛의 양과 제2 광전 변환 소자(RP)로 입사되는 빛의 양이 동일하므로, 중심 출사동(EPC) 모양이 만들어진다. 예컨대, 카메라 렌즈(PL)는 도 1의 광학 렌즈(103)를 의미할 수 있다.5A and 5B, when the center axis CA of the pixel is the same as the optical axis OA of the camera lens PL, The distance R1 to the left end and the distance R2 from the center axis CA of the pixel to the right end of the camera lens PL are equal to each other. Therefore, the amount of light incident on the first photoelectric conversion element LP and the amount of light incident on the second photoelectric conversion element RP are equal to each other, so that a shape of the central emergent copper (EPC) is created. For example, the camera lens PL may refer to the optical lens 103 in Fig.

도 5a 및 도 5c를 참조하면, 픽셀의 중심축(CA)이 카메라 렌즈(PL)의 광축 (OA)으로부터 좌측으로 치우쳐져 있는 경우, 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 좌측 끝까지의 거리(R3)보다 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 우측 끝까지의 거리(R4)가 더 길다. 따라서 제1 광전 변환 소자(LP)로 입사되는 빛의 양이 제2 광전 변환 소자(RP)로 입사되는 빛의 양보다 많으므로, 좌측 출사동(EPL) 모양이 만들어진다.5A and 5C, when the center axis CA of the pixel is biased to the left from the optical axis OA of the camera lens PL, The distance R4 from the center axis CA of the pixel to the right end of the camera lens PL is longer than the distance R3 to the left end. Therefore, since the amount of light incident on the first photoelectric conversion element LP is larger than the amount of light incident on the second photoelectric conversion element RP, the shape of the left outgoing wave EPL is formed.

픽셀 어레이(110)에 포함된 복수의 픽셀들 각각에 대해, 각 픽셀의 위치에 따라 제1 이미지 데이터(왼쪽 이미지 데이터)를 생성하는데 이용되는 제1 광전 변환 소자(LP)로 입사되는 빛의 양과 제2 이미지 데이터(오른쪽 이미지 데이터)를 생성하는데 이용되는 제2 광전 변환 소자(RP)로 입사되는 빛의 양이 달라지므로, 출사동 모양은 이미지 센서(100)에 포함된 픽셀의 위치에 따라 서로 달라질 수 있다.For each of the plurality of pixels included in the pixel array 110, the amount of light incident on the first photoelectric conversion element LP used to generate the first image data (left image data) according to the position of each pixel, Since the amount of light incident on the second photoelectric conversion element RP used to generate the second image data (right image data) varies, the outgoing copper shape is different depending on the position of the pixels included in the image sensor 100 It can be different.

도 5a, 도 5c 및 도 5d를 참조하면, 좌측 출사동(EPL)은 제1 광전 변환 소자(LP)에 관련되는 제1 부분(EPL_LP)과 제2 광전 변환 소자(RP)에 관련되는 제2 부분(EPL_RP)으로 구분될 수 있다. 디스패리티의 왜곡이 발생하는 이유는 제1 부분(EPL_LP)의 중심 위치(CP1)와 제2 부분(EPL_RP)의 중심 위치(CP2) 사이의 거리(d2)가 픽셀 어레이(110)에 포함된 복수의 픽셀들 각각마다 달라지기 때문이다. 5A, 5B and 5C, the left exit pupil EPL includes a first part EPL_LP related to the first photoelectric conversion element LP and a second part EPL_LP related to the second photoelectric conversion element RP. (EPL_RP). The reason for the distortion of the disparity is that a distance d2 between the center position CP1 of the first portion EPL_LP and the center position CP2 of the second portion EPL_RP is smaller than a distance d2 Since each of the pixels in FIG.

도 6a는 이미지 센서와 패턴 이미지의 배치를 나타내고, 도 6b는 패턴 이미지를 나타내고, 도 6c는 패턴 이미지 데이터의 디스패리티를 나타낸다.FIG. 6A shows the arrangement of the image sensor and the pattern image, FIG. 6B shows the pattern image, and FIG. 6C shows the disparity of the pattern image data.

도 6a를 참조하면, 이미지 센서(100)는 광학 렌즈(100)로부터 제1 거리(d1)에 위치한 패턴 이미지(PIMG)를 촬상하여, 즉 패턴 이미지(PIMG)에 응답하여 패턴 이미지 데이터(PDTA)를 생성하고, 디스패리티 처리 모듈(300)에 패턴 이미지 데이터(PDTA)를 출력한다. 디스패리티 처리 모듈(300)은 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 제1 패턴 이미지 데이터와 제2 광전 변환 소자(RP)와 관련된 제2 패턴 이미지 데이터의 픽셀 값들(깊이 값들)의 차이 나타내는 디스패리티 데이터(또는 디스패리티 교정 데이터, CBDTA)를 스토리지(240에 저장할 수 있다. 6A, the image sensor 100 senses a pattern image PIMG located at a first distance d1 from the optical lens 100, that is, pattern image data PDTA in response to a pattern image PIMG. And outputs the pattern image data (PDTA) to the disparity processing module 300. The disparity processing module 300 calculates the pixel value of the first pattern image data related to the first photoelectric conversion element LP and the pixel values of the second pattern image data related to the second photoelectric conversion element RP in the pattern image data PDTA (Or disparity correction data, CBDTA) indicating the difference between the depth values and the depth values.

도 6b를 참조하면, 패턴 이미지(PIMG)는 다아이몬드 패턴이 제1 방향(D1)과 제2 방향(D2)으로 반복적으로 배치된 이미지일 수 있다.Referring to FIG. 6B, the pattern image PIMG may be an image in which the diamond pattern is repeatedly arranged in the first direction D1 and the second direction D2.

도 6c를 참조하면, 패턴 이미지 데이터(PDTA)의 픽셀별 위치에 따라 제1 패턴 이미지 데이터와 제2 패턴 이미지 데이터의 깊이 값의 차이가 발생하여 디스패리티의 왜곡이 발생함을 알 수 있다. 이미지 센서(100)의 픽셀들의 위치에 따라 출사동의 모양이 달라지므로 도 6c와 같이 디스패리티의 왜곡이 발생할 수 있다. 이상적으로는, 패턴 이미지 데이터(PDTA)는 이미지 센서(100)로부터 일정한 거리의 패턴 이미지(PIMG)에 응답하여 생성된 것이므로, 패턴 이미지 데이터(PDTA)의 디스패리티는 픽셀별 위치에 관계없이 일정해야 한다. Referring to FIG. 6C, it can be seen that a disparity is generated due to a difference between the depth values of the first pattern image data and the second pattern image data according to the position of each pixel of the pattern image data PDTA. Dispersal distortion may occur as shown in FIG. 6C because the shape of the output motions varies depending on the positions of the pixels of the image sensor 100. Ideally, since the pattern image data PDTA is generated in response to the pattern image PIMG at a certain distance from the image sensor 100, the disparity of the pattern image data PDTA must be constant regardless of the position of each pixel do.

도 7은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.FIG. 7 is a block diagram illustrating the configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.

도 7을 참조하면, 디스패리티 처리 모듈(300a)은 이미지 분리 엔진(310) 및 디스패리티 산출 엔진(320)을 포함할 수 있다. Referring to FIG. 7, the disparity processing module 300a may include an image separation engine 310 and a disparity calculation engine 320. FIG.

이미지 분리 엔진(310)은 패턴 이미지 데이터(PDTA)를 수신하고, 패턴 이미지 데이터(PDTA)를 광전 변환 소자 별로 분리하여 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)를 생성할 수 있다. 제1 패턴 이미지 데이터(PDTAL)는 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 데이터의 집합이고, 제2 패턴 이미지 데이터(PDTAR)는 패턴 이미지 데이터(PDTA)에서 제2 광전 변환 소자(RP)와 관련된 데이터의 집합일 수 있다. The image separation engine 310 receives the pattern image data PDTA and separates the pattern image data PDTA by the photoelectric conversion elements to generate the first pattern image data PDTAL and the second pattern image data PDTAR . The first pattern image data PDTAL is a set of data related to the first photoelectric conversion element LP in the pattern image data PDTA and the second pattern image data PDTAR is a set of data related to the second photoelectric conversion element PDAT in the pattern image data PDTA. And may be a set of data associated with the conversion element RP.

디스패리티 산출 엔진(320)은 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)를 복수의 블록들로 분할하고, 상기 복수의 블록들 중 상응하는 블록들의 픽셀값들의 차이를 산출하고, 상기 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성할 수 있다. 디스패리티 산출 엔진(320)은 복수의 블록들 각각의 픽셀들의 픽셀값들을 산술 평균하거나 상기 픽셀값들의 중간값을 선택하여 획득한 각 블록의 대푯값의 차이를 블록별로 산출하여 상기 디스패리티 데이터(CLDTA)를 생성할 수 있다.The disparity calculation engine 320 divides the first pattern image data PDTAL and the second pattern image data PDTAR into a plurality of blocks and calculates a difference between pixel values of corresponding blocks among the plurality of blocks And generate disparity data (CLDTA) indicating a difference between the pixel values. The disparity calculation engine 320 calculates arithmetic average of pixel values of pixels of each of a plurality of blocks or a difference of a representative value of each block obtained by selecting an intermediate value of the pixel values and calculates the disparity data CLDTA Can be generated.

실시예에 있어서, 디스패리티 산출 엔진(320)은 블록별로 제1 패턴 이미지 데이터(PDTAL)에 대한 제1 픽셀 값(깊이 값) 그래프를 생성하고, 제2 패턴 이미지 데이터(PDTAR)에 대한 제2 픽셀 값 그래프를 생성하고, 제1 픽셀 값 그래프를 고정시키고, 제2 픽셀 값 그래프를 이동시키면서, 제1 픽셀값 그래프와 제2 픽셀 값 그래프의 차이가 최소가 되도록 하는 이동 값을 해당 블록의 디스패리티로 생성할 수 있다. The disparity calculation engine 320 may generate a first pixel value (depth value) graph for the first pattern image data PDTAL on a block-by-block basis and a second pixel value A movement value that minimizes the difference between the first pixel value graph and the second pixel value graph while moving the second pixel value graph while fixing the first pixel value graph, It can be created with parity.

도 8은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.FIG. 8 is a block diagram illustrating the configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.

도 8을 참조하면, 디스패리티 처리 모듈(300b)은 이미지 분할 엔진(330), 이미지 분리 엔진(340) 및 디스패리티 산출 엔진(350)을 포함할 수 있다. Referring to FIG. 8, the disparity processing module 300b may include an image segmentation engine 330, an image separation engine 340, and a disparity calculation engine 350. FIG.

이미지 분할 엔진(330)은 패턴 이미지 데이터(PDTA)를 수신하고, 패턴 이미지 데이터(PDTA)를 복수의 서브 패턴 이미지 데이터(PDTA_SUB)로 분할할 수 있다. 이미지 분리 엔진(340)은 복수의 서브 패턴 이미지 데이터(PDTA_SUB) 각각을 광전 변환 소자 별로 분리하여 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR)를 생성할 수 있다. 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL)는 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 데이터의 집합이고, 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR)는 패턴 이미지 데이터(PDTA)에서 제2 광전 변환 소자(RP)와 관련된 데이터의 집합일 수 있다. The image segmentation engine 330 may receive the pattern image data PDTA and may divide the pattern image data PDTA into a plurality of sub pattern image data PDTA_SUB. The image separation engine 340 generates a plurality of first sub pattern image data PDTA_SUBL and a plurality of second sub pattern image data PDTA_SUBR by separating each of the plurality of sub pattern image data PDTA_SUBs by photoelectric conversion elements . The plurality of first sub pattern image data PDTA_SUBL is a set of data related to the first photoelectric conversion element LP in the pattern image data PDTA and the plurality of second sub pattern image data PDTA_SUBR is a pattern image data PDTA) may be a set of data related to the second photoelectric conversion element RP.

디스패리티 산출 엔진(350)은 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR) 중에서 상응하는 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR) 각각의 픽셀값들의 차이를 산출하고, 상기 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성할 수 있다. The disparity calculation engine 350 calculates the disparity of the corresponding first sub pattern image data PDTA_SUBL and the plurality of second sub pattern image data PDTA_SUBR among the plurality of first sub pattern image data PDTA_SUBL and the plurality of second sub pattern image data PDTA_SUBR, The difference between pixel values of each of the image data PDTA_SUBR may be calculated and the disparity data CLDTA representing the difference of the pixel values may be generated.

실시예에 따라서, 디스패리티 산출 엔진(350)은 제1 서브 패턴 이미지 데이터(PDTA_SUBL)의 제1 픽셀 값 그래프를 생성하고, 제2 서브 패턴 이미지 데이터(PDTA_SUBR)에 대한 제2 픽셀 값 그래프를 생성하고, 제1 픽셀 값 그래프를 고정시키고, 제2 픽셀 값 그래프를 이동시키면서, 제1 픽셀값 그래프와 제2 픽셀 값 그래프의 차이가 최소가 되도록 하는 이동 값을 해당 서브 패턴 이미지 데이터의 디스패리티로 생성할 수 있다.According to the embodiment, the disparity calculation engine 350 generates a first pixel value graph of the first sub pattern image data PDTA_SUBL and a second pixel value graph of the second sub pattern image data PDTA_SUBR A movement value that minimizes a difference between the first pixel value graph and the second pixel value graph while moving the second pixel value graph is fixed to the disparity of the corresponding subpath image data Can be generated.

도 9a는 도 1의 디스패리티 처리 모듈에서 패턴 이미지 데이터가 복수의 블록들로 분할되는 것을 나타낸다. 9A shows that the pattern image data is divided into a plurality of blocks in the disparity processing module of FIG.

도 9a를 참조하면, 패턴 이미지 데이터(PDTA)가 s(제1 방향(D1)의 픽셀들의 수)*t(제2 방향(D2)의 픽셀들의 수)의 픽셀들을 포함하는 경우, 하나의 블록(BLK)이 M*M의 픽셀들을 포함하도록 설정되면, 블록(BLK)들의 수는 s*t의 픽셀들을 커버하기 위하여 p(p는 s/M 이상의 자연수)*q(q는 t/M 이상의 자연수) 개가 될 수 있다.9A, when the pattern image data PDTA includes pixels of s (the number of pixels in the first direction D1) * t (the number of pixels in the second direction D2) (P is a natural number equal to or greater than s / M) to cover the pixels of s * t, the number of BLKs is set to contain pixels of M * Natural number).

도 9b는 도 1의 디스패리티 처리 모듈에서 출력되는 디스패리티 데이터를 나타낸다.9B shows disparity data output from the disparity processing module of FIG.

도 9b를 참조하면, 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)의 블록별 디스패리티가 제3 방향(D3)으로 높이에 의하여 표시될 수 있다. 도 9b에서 제1 방향(D1)의 좌표와 제2 방향(D2)의 좌표는 패턴 이미지 데이터(PDTA)를 구성하는 복수의 블록들의 위치를 나타낼 수 있다. Referring to FIG. 9B, the disparities of the first pattern image data PDTAL and the second pattern image data PDTAR may be displayed in height in the third direction D3. In FIG. 9B, the coordinates in the first direction D1 and the coordinates in the second direction D2 may indicate positions of a plurality of blocks constituting the pattern image data PDTA.

도 10은 본 발명의 실시예들에 따른 도 1의 이미지 신호 프로세서에 포함되는 디스패리티 교정 엔진을 나타내는 블록도이다.FIG. 10 is a block diagram illustrating a disparity correction engine included in the image signal processor of FIG. 1 according to embodiments of the present invention.

도 10을 참조하면, 디스패리티 교정 엔진(405)은 제어 엔진(310), 디스패리티 맵 생성 엔진(420), 게인 맵 생성 엔진(430), 결과 이미지 생성 엔진(440) 및 레지스터(450)를 포함할 수 있다.10, the disparity correction engine 405 includes a control engine 310, a disparity map generation engine 420, a gain map generation engine 430, a result image generation engine 440, and a register 450 .

디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 적어도 크기 및 이미지 데이터(IDTA)에 포함되는 픽셀들 각각의 위치 정보와 관련된 입력 정보(IDINF) 및 디스패리티 데이터(CLDTA)를 수신하고, 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성할 수 있다. 디스패리리 맵 셍성 엔진(420)은 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성함에 있어, 디스패리티 데이터(CLDTA)에 대하여 이미지 데이터(IDTA)의 픽셀들 각각의 위치 정보를 기초로 양선형(bilinear) 인터폴레이션을 수행하여 디스패리티 맵(DM)을 생성할 수 있다. The disparity map generation engine 420 receives at least the size of the image data IDTA and the input information IDINF and disparity data CLDTA related to the position information of each of the pixels included in the image data IDTA, Interpolation may be performed on the disparity data CLDTA so as to correspond to the size of the image data IDTA to generate a disparity map DM corresponding to the size of the image data IDTA. In generating the disparity map DM corresponding to the size of the image data IDTA, the disparity map availability engine 420 determines whether or not the position of each of the pixels of the image data IDTA with respect to the disparity data CLDTA And perform a bilinear interpolation based on the information to generate a disparity map (DM).

게인 맵 생성 엔진(430)은 디스패리티 맵(DM)을 수신하고, 디스패리티 맵(DM)을 기초로 이미지 데이터(IDTA)에 적용될 게인 맵(GM)을 생성할 수 있다. 게인 맵 생성 엔진(430)은 게인 맵(GM)을 생성함에 있어, 디스패리티 맵(DM)의 디스패리티들 중 최대값과 픽셀들 각각의 디스패리티의 차이를 해당 픽셀의 게인으로 생성할 수 있다. The gain map generation engine 430 may receive the disparity map DM and generate a gain map GM to be applied to the image data IDTA based on the disparity map DM. The gain map generation engine 430 may generate the difference between the maximum value of the disparities of the disparity map DM and the disparity of each pixel in the gain of the corresponding pixel in generating the gain map GM .

결과 이미지 생성 엔진(440)은 이미지 데이터(IDTA)와 게인 맵(GM)을 수신하고, 이미지 데이터(IDTA)의 픽셀들 각각에 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. 따라서 결과 이미지 데이터(RIDTA)에서는 디스패리티의 왜곡이 주로 발생하는 부분(이미지 데이터의 주변 부분)에서 디스패리티의 왜곡이 교정될 수 있다. 여기서, 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정한다는 것은 이미지 데이터(IDTA)의 픽셀들 각각에서 제1 광전 변환 소자와 관련된 제1 이미지 데이터와 제2 광전 변환 소자와 관련된 제2 이미지 데이터가 서로 일치되도록 하는 이동 값을 보정하는 것을 의미할 수 있다.The result image generation engine 440 receives the image data IDTA and the gain map GM and generates image data IDTA by referring to the gain per pixel of the gain map GM for each of the pixels of the image data IDTA. To generate the resulting image data RIDTA. Therefore, in the resultant image data RIDTA, the distortion of the disparity can be corrected in a portion where distortion of the disparity mainly occurs (peripheral portion of the image data). Here, correcting the pixel value of each of the pixels of the image data (IDTA) means that the first image data associated with the first photoelectric conversion element and the second image associated with the second photoelectric conversion element in each of the pixels of the image data (IDTA) It may mean correcting the movement value that causes the data to coincide with each other.

레지스터(450)는 스토리지(240)에 저장된 디스패리티 데이터(CLDTA)를 저장하고 제어 엔진(410)의 제어에 따라 저장된 디스패리티 데이터(CLDTA)를 디스패리티 맵 생성 엔진(420)에 제공할 수 있다. 실시예에 따라서, 레지스터(450)는 디스패리티 교정 엔진(405)에 포함되지 않을 수 있고, 이 경우에 디스패리티 데이터(CLDTA)는 스토리지(240)로부터 디스패리티 맵 생성 엔진(420)에 제공될 수 있다. The register 450 may store the disparity data CLDTA stored in the storage 240 and provide the disparity data CLDTA stored in the disparity map generation engine 420 under the control of the control engine 410 . The register 450 may not be included in the disparity correction engine 405 and in this case the disparity data CLDTA may be provided from the storage 240 to the disparity map generation engine 420 .

제어 엔진(410)은 디스패리티 맵 생성 엔진(420), 게인 맵 생성 엔진(430), 결과 이미지 생성 엔진(440) 및 레지스터(450)를 제어할 수 있다.The control engine 410 may control the disparity map generation engine 420, the gain map generation engine 430, the result image generation engine 440, and the register 450.

도 11a는 도 10에서 디스패리티 데이터를 나타내고, 도 11b는 디스패리티 맵을 나타내고, 도 11c는 게인 맵을 나타낸다.FIG. 11A shows disparity data in FIG. 10, FIG. 11B shows a disparity map, and FIG. 11C shows a gain map.

도 11a를 참조하면, 디스패리티 데이터(CLDTA)는 제1 방향(D1)으로 p 개의 블록들(BLK)을 포함하고, 제2 방향(D2)으로 q 개의 블록들(BLK)을 포함할 수 있다. p*q 개의 블록들(BLK) 각각은 해당하는 디스패리티 값을 가질 수 있다. 상기 디스패리티 값은 해당 블록에서 제1 패턴 이미지 데이터와 제2 패턴 이미지 데이터 각각의 픽셀값들의 대표값의 차이를 나타낼 수 있다.Referring to FIG. 11A, the disparity data CLDTA may include p blocks BLK in a first direction D1 and q blocks BLK in a second direction D2 . Each of p * q blocks BLK may have a corresponding disparity value. The disparity value may represent a difference between representative values of pixel values of the first pattern image data and the second pattern image data in the corresponding block.

도 10 및 도 11b를 참조하면, 디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 디스패리티 맵(DM)을 생성할 수 있다. 디스패리티 맵(DM)은 제1 방향(D1)으로 u(u는 p보다 큰 자연수) 개의 디스패리티 값들을 포함하고, 제2 방향(D2)으로 v(v는 q보다 큰 자연수) 개의 디스패리티 값들을 포함할 수 있다.10 and 11B, the disparity map generation engine 420 may generate a disparity map (DM) by interpolating disparity data (CLDTA) to correspond to the size of the image data (IDTA) have. The disparity map DM includes u (u is a natural number greater than p) disparity values in a first direction D1 and v (v is a natural number greater than q) disparity values in a second direction D2 ≪ / RTI >

도 10 및 도 11c를 참조하면, 게인 맵 생성 엔진(430)은 디스패리티 맵(DM)의 디스패리티 값들 중 최대값과 각 픽셀에 해당하는 디스패리티 값들 각각의 차이를 기초로 하는 게인을 가지는 게인 맵(GM)을 생성할 수 있다. 게인 맵(GM)은 이미지 데이터(IDTA)의 픽셀들에 상응하도록 제1 방향(D1)으로 u 개의 게인들을 포함하고, 제2 방향(D2)으로 v 개의 게인들을 포함할 수 있다.Referring to FIGS. 10 and 11C, the gain map generation engine 430 generates a gain map having a gain based on a difference between a maximum value of the disparity values of the disparity map DM and disparity values corresponding to each pixel, A map GM can be generated. The gain map GM may include u gains in the first direction D1 and v gains in the second direction D2 to correspond to the pixels of the image data IDTA.

도 10에서 결과 이미지 생성 엔진(440)은 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. 따라서, 결과 이미지 데이터(RIDTA)에서는 디스패리티 왜곡이 감소될 수 있다.In FIG. 10, the resultant image generating engine 440 may generate the resulting image data RIDTA by correcting the pixel values of the pixels of the image data IDTA by referring to the gain per pixel of the gain map GM. Therefore, the disparity distortion can be reduced in the resultant image data RIDTA.

도 12는 본 발명의 실시예들에 따른 이미지 처리 시스템의 동작 방법을 나타낸다.12 shows a method of operation of an image processing system according to embodiments of the present invention.

도 1 내지 도 12를 참조하면, 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들은 각각 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)를 포함하는 이미지 처리 시스템(10)의 동작 방법에서는 이미지 센서(100)를 이용하여 상기 이미지 센서(100)로부터 제1 거리(d1)에 위치한 패턴 이미지(PIMG)를 촬상하여 생성된 패턴 이미지 데이터(PDTA)에 기초하여 디스패리티 처리 모듈(300)이 디스패리티 데이터(CLDTA)를 생성한다(S100). 디스패리티 처리 모듈(300)은 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 제1 패턴 이미지 데이터와 제2 광전 변환 소자(RP)와 관련된 제2 패턴 이미지 데이터의 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성하여 스토리지(240)에 저장할 수 있다.1 to 12, an image sensor 100 including a plurality of pixels, each of which includes a pixel array 110 including a first photoelectric conversion element and a second photoelectric conversion element, The pattern image data PDTA generated by picking up a pattern image PIMG located at the first distance d1 from the image sensor 100 using the image sensor 100, , The disparity processing module 300 generates the disparity data CLDTA (S100). The disparity processing module 300 determines the pixel values of the first pattern image data related to the first photoelectric conversion element LP and the pixel values of the second pattern image data associated with the second photoelectric conversion element RP in the pattern image data PDTA The disparity data (CLDTA) indicating the difference can be generated and stored in the storage 240.

이미지 센서(100)는 대상(101)을 촬상하여 이미지 데이터(IDTA)를 생성하고, 생성된 이미지 데이터(IDTA)를 이미지 신호 프로세서(400)에 제공한다(S200).The image sensor 100 images the object 101 to generate image data IDTA and provides the generated image data IDTA to the image signal processor 400 in operation S200.

이미지 신호 프로세서(400)는 디스패리티 데이터(CLDTA)를 기초로 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성하고(S300), 생성된 결과 이미지 데이터(RIDTA)를 인터페이스(230)를 통하여 디스플레이(250)에 제공할 수 있다.The image signal processor 400 corrects the disparity distortion of the image data IDTA based on the disparity data CLDTA to generate the resultant image data RIDTA S300 and outputs the generated resultant image data RIDTA May be provided to display 250 via interface 230.

도 13은 본 발명의 실시예들에 따른 도 12의 동작 방법에서, 이미지 데이터의 디스패리티 왜곡을 교정하는 단계를 보다 상세히 나타내는 흐름도이다.Figure 13 is a flow diagram illustrating in greater detail the step of correcting disparity distortion of image data in the method of operation of Figure 12 according to embodiments of the present invention.

도 1 내지 도 13을 참조하면, 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성하기 위하여, 디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 적어도 크기 및 이미지 데이터(IDTA)에 포함되는 픽셀들 각각의 위치 정보와 관련된 입력 정보(IDINF) 및 디스패리티 데이터(CLDTA)를 수신하고, 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성한다(S310).1 to 13, in order to correct the disparity distortion of the image data IDTA and generate the resultant image data RIDTA, the disparity map generation engine 420 calculates at least the size of the image data IDTA, (IDINF) and disparity data (CLDTA) associated with the position information of each of the pixels included in the image data IDTA and outputs the disparity data (CLDTA) corresponding to the size of the image data Interpolation is performed to generate a disparity map DM corresponding to the size of the image data IDTA (S310).

게인 맵 생성 엔진(430)은 디스패리티 맵(DM)을 수신하고, 디스패리티 맵(DM)을 기초로 이미지 데이터(IDTA)에 적용될 게인 맵(GM)을 생성할 수 있다(S320). 결과 이미지 생성 엔진(440)은 게인 맵(GM)을 기초로 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성한다(S330). 즉, 결과 이미지 생성 엔진(440)은 이미지 데이터(IDTA)와 게인 맵(GM)을 수신하고, 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. The gain map generation engine 430 may receive the disparity map DM and generate a gain map GM to be applied to the image data IDTA based on the disparity map DM S320. The result image generation engine 440 corrects the disparity distortion of the image data IDTA based on the gain map GM to generate the resultant image data RIDTA (S330). That is, the result image generation engine 440 receives the image data IDTA and the gain map GM, and refers to the gain for each pixel of the gain map GM to calculate the pixel value of each of the pixels of the image data IDTA And generate the resulting image data RIDTA.

도 14는 본 발명의 실시예들에 따른 도 1의 이미지 센서의 비닝 블록에서 수행되는 비닝 동작을 나타낸다.14 shows a binning operation performed in the binning block of the image sensor of FIG. 1 according to the embodiments of the present invention.

도 14는 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RGB Bayer 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다.Figure 14 shows a portion of the pixel array 110 when the pixel array 110 of the image sensor 100 of Figure 1 is configured in an RGB Bayer pattern.

도 1 및 도 14를 참조하면, 비닝 블록(130)은 비닝 모드(제2 동작 모드)에서 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들(BWIN1~BWIN4) 각각의 일부 또는 전부의 픽셀들로부터 생성되는 상기 아날로그 신호들(AS)에 대해 비닝을 수행하여 비닝 아날로그 신호(BAS)를 생성할 수 있다. 도 14에서 n은 1이고 m은 2라고 가정한다. 하지만 실시예들에 따라, m은 3 또는 4일수 있다.1 and 14, the binning block 130 includes (2n) * (2m) pixels (n is a natural number and m is a natural number greater than n) in the pixel array 110 in the binning mode A plurality of binning windows BWIN1 to BWIN4 including pixels (2n is the number of pixels in the first direction (D1) and 2m is the number of pixels in the second direction (D2)) are sequentially selected, Selecting one of the two binning windows to overlap m pixels in the second direction D2 and outputting the analog signals AS generated from pixels of part or all of each of the binning windows BWIN1 to BWIN4, To generate a binning analog signal BAS. In Fig. 14, it is assumed that n is 1 and m is 2. However, according to embodiments, m can be 3 or 4.

도 14에서 제1 비닝 윈도우(BWIN1)가 선택되는 경우, 제1 비닝 윈도우(BWIN1)에 포함되는 픽셀들 중 그린 컬러 필터에 상응하는 픽셀들을 선택하고, 상기 선택된 픽셀들의 아날로그 신호들을 비닝(평균)하여 제1 비닝 윈도우(BWIN1)의 녹색 컬러값을 산출할 수 있다. 또한 도 14에서 제1 비닝 윈도우(BWIN1)가 선택되는 경우, 제1 비닝 윈도우(BWIN1)에 포함되는 픽셀들 모두의 휘도값을 평균하여 제1 비닝 윈도우(BWIN1)의 휘도값을 산출할 수 있다. In FIG. 14, when the first binning window BWIN1 is selected, pixels corresponding to the green color filter among the pixels included in the first binning window BWIN1 are selected, and the binning (average) The green color value of the first binning window BWIN1 can be calculated. 14, when the first binning window BWIN1 is selected, the luminance values of all the pixels included in the first binning window BWIN1 are averaged to calculate the luminance value of the first binning window BWIN1 .

도 14에서 제2 비닝 윈도우(BWIN2)가 선택되는 경우, 제2 비닝 윈도우(BWIN2)는 제1 비닝 윈도우(BWIN1)와 픽셀들(ORP)을 중첩적으로 선택하게 된다. 따라서, 제1 방향(D1)의 공간 해상도가 유지되므로 비닝 수행후 이미지 데이터의 깊이 해상도가 증가될 수 있다. 제3 비닝 윈도우(BWIN3) 및 제4 비닝 윈도우(BWIN4) 각각에 대하여도 제2 제2 비닝 윈도우(BWIN2)에 대한 설명이 실질적으로 동일하게 적용될 수 있다. In FIG. 14, when the second binning window BWIN2 is selected, the second binning window BWIN2 selects the first binning window BWIN1 and the pixels ORP in an overlapping manner. Therefore, since the spatial resolution in the first direction D1 is maintained, the depth resolution of the image data after binning can be increased. The description of the second binning window BWIN2 may be applied to the third binning window BWIN3 and the fourth binning window BWIN4, respectively.

비닝 블록(130)은 논-비닝 모드(제1 동작 모드)에서는 픽셀 어레이(110)의 픽셀들 각각으로부터 입사광에 응답하여 출력되는 아날로그 신호(AS)를 ADC 블록(140)에 제공할 수 있다.The binning block 130 may provide an analog signal AS to the ADC block 140 in response to incident light from each of the pixels of the pixel array 110 in a non-binning mode (first mode of operation).

도 15는 도 1의 이미지 센서에서 비닝 블록 및 ADC 블록을 나타내는 회로도이다.15 is a circuit diagram showing a binning block and an ADC block in the image sensor of Fig.

도 15를 참조하면, 비닝 블록(130)은 복수의 평균화 회로들(131~13k, k는 2 이상의 자연수) 및 복수의 선택 회로들(SC1~SCj, j는 2 이상의 자연수)을 포함하고, ADC 블록(140)은 복수의 ADC들(141~14j)을 포함할 수 있다.15, the binning block 130 includes a plurality of averaging circuits 131 to 13k (k is a natural number of 2 or more) and a plurality of selection circuits (SC1 to SCj, j are natural numbers of 2 or more) The block 140 may include a plurality of ADCs 141 to 14j.

평균화 회로들(131~13k) 각각은 컬럼 라인들(CL1~CLj) 중 인접한 두 개의 컬럼 라인들 사이에 연결될 수 있다. 평균화 회로들(131~13k) 각각은 비닝 윈도우들 각각의 픽셀들의 일부 또는 전부에서 출력되는 아날로그 신호들을 평균하여 비닝 아날로그 신호(BAS)를 출력한다. 선택 회로들(SC1~SCj) 각각은 모드 신호(MS)에 응답하여 제1 동작 모드에서는 컬럼 라인들(CL1~CLj) 각각으로부터 출력되는 아날로그 신호(AS)를 ADC들(141~14j) 각각에 제공하고, 제2 동작 모드에서는 비닝 아날로그 신호(BAS)를 ADC들(141~14j) 각각에 제공한다.Each of the averaging circuits 131 to 13k may be connected between two adjacent column lines among the column lines CL1 to CLj. Each of the averaging circuits 131 to 13k outputs a binning analog signal BAS by averaging the analog signals output from some or all of the pixels of the binning windows. Each of the selection circuits SC1 to SCj responds to the mode signal MS and outputs an analog signal AS output from each of the column lines CL1 to CLj in the first operation mode to each of the ADCs 141 to 14j And provides a binning analog signal BAS to each of the ADCs 141 to 14j in the second operation mode.

ADC들(141~14j)은 각각 제1 동작 모드에서는 아날로그 신호(AS)에 대하여 아날로그-디지털 변환을 수행하여 픽셀 데이터(PDT)를 출력하고, 제2 동작 모드에서는 비닝 아날로그 신호(BAS)에 대하여 아날로그-디지털 변환을 수행하여 비닝 픽셀 데이터(PDT)를 출력할 수 있다. Each of the ADCs 141 to 14j performs analog-to-digital conversion on the analog signal AS to output pixel data PDT in the first operation mode and outputs pixel data PDT to the binning analog signal BAS in the second operation mode, And may perform analog-to-digital conversion to output binning pixel data PDT.

도 16 및 도 17은 각각 도 1의 이미지 센서에서 픽셀 어레이의 예들을 나타낸다.Figures 16 and 17 show examples of pixel arrays in the image sensor of Figure 1, respectively.

16은 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RWB Bayer 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다. 픽셀 어레이(110)가 RWB Bayer 패턴으로 구성되는 경우에도 도 14를 참조하여 설명한 무빙 평균을 적용할 수 있는 비닝 윈도우들을 채용하여 이미지 데이터의 깊이 해상도를 증가시킬 수 있다.16 represent a portion of the pixel array 110 when the pixel array 110 of the image sensor 100 of FIG. 1 is configured in an RWB Bayer pattern. Even in the case where the pixel array 110 is formed of the RWB Bayer pattern, the depth resolution of the image data can be increased by employing the binning windows capable of applying the moving average described with reference to FIG.

도 17은 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RGBW 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다. 픽셀 어레이(110)가 RGBW 패턴으로 구성되는 경우에도 도 14를 참조하여 설명한 무빙 평균을 적용할 수 있는 비닝 윈도우들을 채용하여 이미지 데이터의 깊이 해상도를 증가시킬 수 있다.FIG. 17 shows a portion of the pixel array 110 when the pixel array 110 of the image sensor 100 of FIG. 1 is composed of RGBW patterns. Even in the case where the pixel array 110 is constituted by the RGBW pattern, the depth resolution of the image data can be increased by employing the binning windows capable of applying the moving average described with reference to FIG.

도 18은 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.18 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.

도 1 내지 도 5d 및 도 14 내지 도 18을 참조하면, 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자(LP) 및 제2 광전 변환 소자(RP)를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)의 비닝 방법에서는, 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택한다(S410).Referring to FIGS. 1 to 5D and FIGS. 14 to 18, the photoelectric conversion device includes a plurality of pixels arranged in a predetermined pattern, each of the plurality of pixels includes at least a first photoelectric conversion element LP and a second photoelectric conversion element RP (2n) * (2m) (where n is a natural number and m is a natural number greater than n) in the pixel array 110 in the binning method of the image sensor 100 including the pixel array 110 including the pixel array 110. [ A plurality of binning windows BWIN1 to BWIN4 including the number of pixels in the first direction D1 and the number of pixels in the second direction D2 are sequentially selected, And selects m pixels in the second direction D2 in the binning windows (S410).

비닝 윈도우들(BWIN1~BWIN4) 각각에서 동일한 컬러를 갖는 픽셀들을 선택한다(S420). 선택된 픽셀들에 상응하는 아날로그 신호들을 평균하여 비닝 아날로그 신호를 생성한다(S430). And selects pixels having the same color in each of the binning windows BWIN1 to BWIN4 (S420). The analog signals corresponding to the selected pixels are averaged to generate a binning analog signal (S430).

도 19는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.19 is a flowchart illustrating a method of binning an image sensor according to embodiments of the present invention.

도 1 내지 도 5d, 도 14 내지 도 17 및 도 19를 참조하면, 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자(LP) 및 제2 광전 변환 소자(RP)를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)의 비닝 방법에서는, 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택한다(S510).1 to 5D, Figs. 14 to 17, and 19, each of the pixels includes a plurality of pixels arranged in a predetermined pattern, and each of the plurality of pixels includes at least a first photoelectric conversion element LP and a second photoelectric conversion (2n) * (2m) (n is a natural number and m is a natural number greater than n) in the pixel array 110 in the binning method of the image sensor 100 having the pixel array 110 including the elements RP. The plurality of binning windows BWIN1 to BWIN4 including the number of pixels (2n is the number of pixels in the first direction (D1) and 2m is the number of pixels in the second direction (D2)) are sequentially selected, (M) pixels in the second direction D2 are overlapped with each other in the binning windows (S510).

비닝 윈도우들(BWIN1~BWIN4) 각각에서 픽셀들의 휘도값들을 평균하여 비닝 아날로그 신호(BAS)를 출력한다(S520). 여기서 비닝 아날로그 신호(BAS)는 비닝 윈도우들(BWIN1~BWIN4) 각각의 휘도값일 수 있다. The luminance values of the pixels are averaged in each of the binning windows BWIN1 to BWIN4 to output a binning analog signal BAS (S520). Here, the binning analog signal BAS may be the luminance value of each of the binning windows BWIN1 to BWIN4.

도 20a 및 도 20b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.20A and 20B are views for explaining the effects of the embodiments of the present invention.

도 20a는 이미지 신호 프로세서에서 디스패리티의 왜곡에 대한 교정을 수행하지 않은 경우의 이미지 데이터를 나타내고, 도 20b는 이미지 신호 프로세서(400)에서 본 발명의 실시예들에 따라 디스패리티의 왜곡에 대한 교정을 수행한 경우의 이미지 데이터를 나타낸다. FIG. 20A shows image data in the case where correction of distortion of the disparity is not performed in the image signal processor, and FIG. 20B shows image data in the image signal processor 400, Is performed.

도 20a와 도 20b에서 알 수 있듯이, 디스패리티의 왜곡에 대한 교정을 수행한 경우에는 이미지 데이터의 주변 영역에서 디스패리이의 왜곡이 감소됨을 알 수 있다.As can be seen from FIGS. 20A and 20B, when the distortion of the disparity is corrected, the distortion of the disparity in the peripheral region of the image data is reduced.

도 21a 및 도 21b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다. 21A and 21B are diagrams for explaining the effects of the embodiments of the present invention.

도 21a는 이미지 센서에서 종래의 비닝을 수행한 경우 이미지 데이터의 깊이 맵을 나타내고, 도 21b는 이미지 센서(100)에서 본 발명의 실시예들에 따라 무빙 평균을 이용하는 비닝을 수행한 경우의 이미지 데이터의 깊이 맵을 나타낸다.FIG. 21A shows a depth map of image data when conventional binning is performed in the image sensor, FIG. 21B shows a depth map of image data when binning using moving average is performed in the image sensor 100 according to the embodiments of the present invention. The depth map of FIG.

도 21a와 도 21b에서 알 수 있듯이, 무빙 평균을 이용한 비닝을 수행한 경우에, 이미지 신호의 깊이 맵의 해상도가 증가함을 알 수 있다.As can be seen from FIGS. 21A and 21B, when the binning using the moving average is performed, the resolution of the depth map of the image signal increases.

도 22는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.22 is a block diagram illustrating an electronic system according to embodiments of the present invention.

도 22를 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 영상 촬상 장치(1040)를 포함하며, 통신부(1020), 저장 장치(1030), 사용자 인터페이스(1050) 및 전력 관리 장치(1060)를 더 포함할 수 있다.22, the electronic system 1000 includes a processor 1010 and a video imaging device 1040 and includes a communication unit 1020, a storage device 1030, a user interface 1050, and a power management device 1060, As shown in FIG.

프로세서(1010)는 전자 시스템(1000)의 전반적인 동작을 제어할 수 있다. 영상 촬상 장치(1040)는 프로세서(1010)에 의해 제어되며, 본 발명의 실시예들에 따른 이미지 처리 시스템일 수 있다. 영상 촬상 장치(1040)는 복수의 픽셀(PX)들을 구비하는 픽셀 어레이(1041)를 포함하고, 상기 픽셀(PX)들 각각은 제1 광전 변화 소자(LP) 및 제2 광전 변환 소자(RP)를 구비하는 픽셀 어레이(1041)를 포함할 수 있다. 따라서 영상 촬상 장치(1040)는 디스패리티 데이터에 기초하여 이미지 데이터의 디스패리티 왜곡을 교정할 수 있다. 또한 영상 촬상 장치(1040)는 무빙 평균을 이용하는 비닝을 수행하여 이미지 데이터의 깊이 맵에서 제1 방향(행 방향)의 해상도를 증가시킬 수 있따.The processor 1010 may control the overall operation of the electronic system 1000. The image capture device 1040 is controlled by the processor 1010 and may be an image processing system according to embodiments of the present invention. The image pickup device 1040 includes a pixel array 1041 having a plurality of pixels PX and each of the pixels PX includes a first photoelectric conversion element LP and a second photoelectric conversion element RP, And a pixel array 1041 having a plurality of pixels. Therefore, the image capturing apparatus 1040 can correct the disparity distortion of the image data based on the disparity data. Also, the image capturing apparatus 1040 can perform binning using the moving average to increase the resolution in the first direction (row direction) in the depth map of the image data.

통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 저장 장치(1030)는 전자 시스템(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 사용자 인터페이스(1050)는 키보드, 터치 스크린 등과 같은 입력 장치 및 디스플레이 등과 같은 출력 장치를 포함할 수 있다. 전력 관리 장치(1060)는 구동 전압을 제공할 수 있다.The communication unit 1020 can perform communication with an external device. Storage device 1030 may store data necessary for operation of electronic system 1000. The user interface 1050 may include an input device such as a keyboard, a touch screen, etc., and an output device such as a display. The power management apparatus 1060 may provide the driving voltage.

본 발명은 영상 촬상 장치 및 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 예를 들어, 본 발명은 휴대폰(mobile phone), 스마트 폰(smart phone), PDA(personal digital assistant), PMP(portable multimedia player), 디지털 카메라(digital camera), 휴대용 게임 콘솔(portable game console), 웨어러블(wearable) 시스템, IoT(internet of things) 시스템, 3차원 기하 재구성(3D geometry reconstruction) 시스템, 어레이 카메라(array camera) 시스템, VR(virtual reality) 시스템, AR(augmented reality) 시스템 등에 유용하게 적용될 수 있다.The present invention can be applied to a video imaging apparatus and various apparatuses and systems including the same. For example, the present invention may be applied to a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), a digital camera, a portable game console, (3D) geometry reconstruction system, an array camera system, a VR (virtual reality) system, an AR (augmented reality) system, etc. .

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. You will understand.

Claims (10)

복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 구비하는 이미지 센서로부터 제1 거리에 위치한 패턴 이미지에 응답하여 상기 이미지 센서가 생성한 패턴 이미지 데이터로부터 획득한 디스패리티 데이터를 저장하는 레지스터; 및
상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성한 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성하는 디스패리티 교정 엔진을 포함하는 이미지 신호 프로세서. Wherein the plurality of pixels are pattern image data generated by the image sensor in response to a pattern image located at a first distance from an image sensor having at least a first photoelectric conversion element and a second photoelectric conversion element, A register for storing disparity data acquired from the memory; And
And a disparity correction engine for correcting disparity distortion of image data generated by picking up an object using the image sensor based on the disparity data and generating resultant image data. 제1항에 있어서,
상기 디스패리티 데이터는 상기 패턴 이미지 데이터에서 상기 제1 광전 변환 소자들과 관련된 제1 패턴 이미지 데이터의 제1 픽셀 값들과 상기 패턴 이미지 데이터에서 상기 제2 광전 변환 소자들과 관련된 제2 패턴 이미지 데이터의 제2 픽셀 값들의 차이를 나타내고,
상기 제1 픽셀값들과 상기 제2 픽셀값들은 해당 픽셀들의 깊이값인 이미지 신호 프로세서. The method according to claim 1,
Wherein the disparity data includes first pixel values of first pattern image data associated with the first photoelectric conversion elements in the pattern image data and second pixel values of the second pattern image data associated with the second photoelectric conversion elements in the pattern image data. Represents the difference of the second pixel values,
Wherein the first pixel values and the second pixel values are depth values of corresponding pixels. 제1항에 있어서, 상기 디스패리티 교정 엔진은
상기 디스패리티 데이터 및 상기 이미지 데이터의 입력 정보에 기초하여 상기 이미지 데이터와 관련된 디스패리티 맵을 생성하는 디스패리티 맵 생성 엔진;
상기 디스패리티 맵을 기초로 상기 이미지 데이터에 적용될 게인 맵을 생성하는 게인 맵 생성 엔진; 및
상기 이미지 데이터에 상기 게인 맵을 적용하여 상기 결과 이미지 데이터를 생성하는 결과 이미지 생성 엔진을 포함하는 이미지 신호 프로세서. The apparatus of claim 1, wherein the disparity correction engine
A disparity map generation engine for generating a disparity map associated with the image data based on the disparity data and the input information of the image data;
A gain map generation engine for generating a gain map to be applied to the image data based on the disparity map; And
And a result image generation engine for applying the gain map to the image data to generate the resultant image data. 제3항에 있어서,
상기 디스패리티 맵 생성 엔진은 상기 이미지 데이터의 크기 정보에 기초하여 상기 디스패리티 데이터에 포함되는, 상기 패턴 이미지 데이터를 구성하는 복수의 블록들 각각과 관련된 디스패리티 값들을 보간하여 상기 디스패리티 맵을 생성하고,
상기 게인 맵 생성 엔진은 상기 디스패리티 값들 중 최대값에 기초하여 상기 최대값과 상기 디스패리티 값들 각각의 차이가 상쇄되도록 상기 게인 맵을 생성하는 이미지 신호 프로세서. The method of claim 3,
Wherein the disparity map generation engine generates disparity maps by interpolating disparity values associated with each of a plurality of blocks constituting the pattern image data included in the disparity data based on size information of the image data, and,
Wherein the gain map generation engine generates the gain map such that a difference between the maximum value and the disparity values is offset based on a maximum value of the disparity values. 제1항에 있어서,
상기 디스패리티 데이터는 상기 이미지 센서로부터 상기 패턴 이미지 데이터를 수신하여 상기 디스패리티 데이터를 생성하는 디스패리티 처리 모듈에서 생성되고,
상기 디스패리티 처리 모듈은,
상기 패턴 이미지 데이터에서 상기 제1 광전 변환 소자들과 관련된 제1 패턴 이미지 데이터와 상기 제2 광전 변환 소자들과 관련된 제2 패턴 이미지 데이터로 분리하는 이미지 분리 엔진; 및
상기 제1 패턴 이미지 데이터를 복수의 제1 블록들로 분할하고, 상기 제2 패턴 이미지 데이터를 복수의 제2 블록들로 분할하고, 상기 제1 블록들과 상기 제2 블록들 중 상응하는 블록들의 픽셀값들의 차이를 산출하여 상기 디스패리티 데이터를 제공하는 디스패리티 산출 엔진을 포함하는 이미지 신호 프로세서. The method according to claim 1,
Wherein the disparity data is generated in a disparity processing module that receives the pattern image data from the image sensor and generates the disparity data,
Wherein the disparity processing module comprises:
An image separation engine for separating, from the pattern image data, first pattern image data associated with the first photoelectric conversion elements and second pattern image data associated with the second photoelectric conversion elements; And
Dividing the first pattern image data into a plurality of first blocks, dividing the second pattern image data into a plurality of second blocks, and dividing the corresponding one of the first blocks and the second blocks And a disparity calculation engine for calculating the difference between pixel values and providing the disparity data. 제3항에 있어서,
상기 결과 이미지 생성 엔진은 상기 게인 맵의 픽셀 별 게인을 기초로 상기 이미지 데이터의 픽셀들 각각의 픽셀값을 보정하여 상기 결과 이미지를 제공하는 이미지 신호 프로세서.The method of claim 3,
Wherein the resultant image generation engine corrects pixel values of each of the pixels of the image data based on a pixel-specific gain of the gain map to provide the resultant image. 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비하는 이미지 센서;
이미지 센서로부터 제1 거리에 위치한 패턴 이미지를 상기 이미지 센서를 이용하여 촬상하여 생성된 패턴 이미지 데이터를 수신하고, 상기 패턴 이미지 데이터에 기초하여 디스패리티 데이터를 제공하는 디스패리티 처리 모듈; 및
상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성된 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성하는 이미지 신호 프로세서를 포함하는 이미지 처리 시스템. An image sensor having a plurality of pixels, each of the plurality of pixels including a pixel array including at least a first photoelectric conversion element and a second photoelectric conversion element;
A disparity processing module for receiving pattern image data generated by capturing a pattern image located at a first distance from the image sensor using the image sensor and providing disparity data based on the pattern image data; And
And an image signal processor for capturing an object using the image sensor based on the disparity data, and correcting disparity distortion of the generated image data to generate resultant image data. 제7항에 있어서,
상기 디스패리티 데이터는 상기 패턴 이미지 데이터에서 상기 제1 광전 변환 소자들과 관련된 제1 패턴 이미지 데이터의 제1 픽셀 값들과 상기 패턴 이미지 데이터에서 상기 제2 광전 변환 소자들과 관련된 제2 패턴 이미지 데이터의 제2 픽셀 값들의 차이를 나타내고,
상기 이미지 신호 프로세서는 상기 디스패리티 데이터에 기초하여 상기 결과 이미지 데이터를 생성하는 디스패리티 교정 엔진을 포함하고,
상기 디스패리티 교정 엔진은
상기 디스패리티 데이터 및 상기 이미지 데이터의 입력 정보에 기초하여 상기 이미지 데이터와 관련된 디스패리티 맵을 생성하는 디스패리티 맵 생성 엔진;
상기 디스패리티 맵을 기초로 상기 이미지 데이터에 적용될 게인 맵을 생성하는 게인 맵 생성 엔진; 및
상기 이미지 데이터에 상기 게인 맵을 적용하여 상기 결과 이미지 데이터를 생성하는 결과 이미지 생성 엔진을 포함하는 이미지 처리 시스템.8. The method of claim 7,
Wherein the disparity data includes first pixel values of first pattern image data associated with the first photoelectric conversion elements in the pattern image data and second pixel values of the second pattern image data associated with the second photoelectric conversion elements in the pattern image data. Represents the difference of the second pixel values,
Wherein the image signal processor includes a disparity calibration engine that generates the resultant image data based on the disparity data,
The disparity correction engine
A disparity map generation engine for generating a disparity map associated with the image data based on the disparity data and the input information of the image data;
A gain map generation engine for generating a gain map to be applied to the image data based on the disparity map; And
And a result image generation engine for applying the gain map to the image data to generate the resultant image data. 제7항에 있어서, 상기 이미지 센서는
제1 동작 모드에서 상기 복수의 픽셀들 각각으로부터 입사광에 응답하여 출력되는 아날로그 신호에 대해 아날로그-디지털 변환을 수행하여 픽셀 데이터를 생성하고, 제2 동작 모드에서 상기 픽셀 어레이에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향의 픽셀의 수, 2m은 제2 방향의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들 각각의 일부 또는 전부의 픽셀들로부터 생성되는 상기 아날로그 신호들에 대해 비닝 및 아날로그-디지털 변환을 수행하여 비닝 픽셀 데이터를 생성하는 아날로그-디지털 변환 회로; 및
상기 픽셀 어레이 및 상기 아날로그-디지털 변환 회로의 동작을 제어하는 타이밍 생성기를 포함하는 이미지 처리 시스템. 8. The apparatus of claim 7, wherein the image sensor
(2n) * (2m) < / RTI > in the pixel array in a second mode of operation, performing an analog-to-digital conversion on an analog signal output in response to incident light from each of the plurality of pixels in a first mode of operation, (2n is the number of pixels in the first direction, and 2m is the number of pixels in the second direction) (n is a natural number and m is a natural number greater than n) And binning and analog-to-digital conversion of the analog signals generated from pixels of all or a portion of each of the binning windows An analog-to-digital conversion circuit for generating binning pixel data; And
And a timing generator for controlling operations of the pixel array and the analog-to-digital conversion circuit. 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비하는 이미지 센서의 비닝(binning) 방법에 있어서,
상기 픽셀 어레이에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향의 픽셀의 수, 2m은 제2 방향의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향의 m 개의 픽셀들의 중복되도록 선택하는 단계; 및
상기 비닝 윈도우들 상기 비닝 윈도우들 각각의 일부 또는 전부의 픽셀들에 상응하는 아날로그 신호에 기초하여 비닝 아날로그 신호를 생성하는 단계를 포함하는 이미지 센서의 비닝 방법.
A binning method of an image sensor having a plurality of pixels arranged in a constant pattern, the plurality of pixels each including a pixel array including at least a first photoelectric conversion element and a second photoelectric conversion element,
(2n) * (2m) (where n is a natural number and m is a natural number greater than n) (2n is the number of pixels in the first direction and 2m is the number of pixels in the second direction) in the pixel array Sequentially selecting a plurality of binning windows, and selecting overlapping of m pixels in the second direction in two consecutive binning windows; And
And generating the binning analog signals based on the analog signals corresponding to the pixels of part or all of each of the binning windows.
KR1020170142870A 2017-07-13 2017-10-30 Image signal processor, image processing system and binning method of image sensor KR102441363B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/984,692 US11463677B2 (en) 2017-07-13 2018-05-21 Image signal processor, image processing system and method of binning pixels in an image sensor
CN201810775028.0A CN109257586B (en) 2017-07-13 2018-07-13 Image signal processor, image processing system and method for merging pixels
US17/954,471 US11956411B2 (en) 2017-07-13 2022-09-28 Image signal processor, image processing system and method of binning pixels in image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170089143 2017-07-13
KR1020170089143 2017-07-13

Publications (2)

Publication Number Publication Date
KR20190008057A true KR20190008057A (en) 2019-01-23
KR102441363B1 KR102441363B1 (en) 2022-09-07

Family

ID=65323934

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020170142870A KR102441363B1 (en) 2017-07-13 2017-10-30 Image signal processor, image processing system and binning method of image sensor
KR1020170150733A KR102470617B1 (en) 2017-07-13 2017-11-13 Bio-processor, bio-signal detecting system, and method for operating the same
KR1020180001861A KR20190008066A (en) 2017-07-13 2018-01-05 Optics-based fingerprint sensor, electric device including optics-based fingerprint sensor, and operation method of electric device

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020170150733A KR102470617B1 (en) 2017-07-13 2017-11-13 Bio-processor, bio-signal detecting system, and method for operating the same
KR1020180001861A KR20190008066A (en) 2017-07-13 2018-01-05 Optics-based fingerprint sensor, electric device including optics-based fingerprint sensor, and operation method of electric device

Country Status (1)

Country Link
KR (3) KR102441363B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233961B2 (en) 2019-02-08 2022-01-25 Samsung Electronics Co., Ltd. Image processing system for measuring depth and operating method of the same
US11758288B2 (en) 2020-10-21 2023-09-12 Samsung Electronics Co., Ltd. Device for improving image resolution in camera system having lens that permits distortion and operation method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210093401A (en) 2020-01-17 2021-07-28 삼성디스플레이 주식회사 Display device and portable terminal
KR20220017015A (en) 2020-08-03 2022-02-11 삼성디스플레이 주식회사 Fingerprint sensor and display device including the same
KR20220031402A (en) 2020-09-04 2022-03-11 삼성전자주식회사 Electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133747A1 (en) * 2010-11-29 2012-05-31 Sony Corporation Image processing apparatus, display apparatus, image processing method and image processing program
KR20130030780A (en) * 2010-05-28 2013-03-27 퀄컴 인코포레이티드 Three-dimensional image processing
US20150028102A1 (en) * 2011-06-20 2015-01-29 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
KR20170018838A (en) * 2014-06-16 2017-02-20 퀄컴 인코포레이티드 Simplified shifting merge candidate and merge list derivation in 3d-hevc
KR20170047915A (en) * 2015-10-26 2017-05-08 삼성전자주식회사 Method for operating image signal processor and method for operating image processing system including the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638947B2 (en) * 2013-12-16 2020-05-05 Medtronic Minimed, Inc. Use of electrochemical impedance spectroscopy (EIS) in intelligent diagnostics
US10045738B2 (en) * 2014-11-25 2018-08-14 Medtronic Bakken Research Center B.V. Tissue resistance measurement
KR20160094219A (en) * 2015-01-30 2016-08-09 삼성전자주식회사 Apparatus and method for measuring body composition
KR102420853B1 (en) * 2015-12-21 2022-07-15 삼성전자주식회사 Bio-processor for measuring each of biological signals and wearable device having the same
US10278602B2 (en) * 2016-06-22 2019-05-07 General Electric Company System and method for rapid ECG acquisition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130030780A (en) * 2010-05-28 2013-03-27 퀄컴 인코포레이티드 Three-dimensional image processing
US20120133747A1 (en) * 2010-11-29 2012-05-31 Sony Corporation Image processing apparatus, display apparatus, image processing method and image processing program
US20150028102A1 (en) * 2011-06-20 2015-01-29 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
KR20170018838A (en) * 2014-06-16 2017-02-20 퀄컴 인코포레이티드 Simplified shifting merge candidate and merge list derivation in 3d-hevc
KR20170047915A (en) * 2015-10-26 2017-05-08 삼성전자주식회사 Method for operating image signal processor and method for operating image processing system including the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233961B2 (en) 2019-02-08 2022-01-25 Samsung Electronics Co., Ltd. Image processing system for measuring depth and operating method of the same
US11758288B2 (en) 2020-10-21 2023-09-12 Samsung Electronics Co., Ltd. Device for improving image resolution in camera system having lens that permits distortion and operation method thereof

Also Published As

Publication number Publication date
KR20190008059A (en) 2019-01-23
KR20190008066A (en) 2019-01-23
KR102441363B1 (en) 2022-09-07
KR102470617B1 (en) 2022-11-28

Similar Documents

Publication Publication Date Title
CN109257586B (en) Image signal processor, image processing system and method for merging pixels
KR102441363B1 (en) Image signal processor, image processing system and binning method of image sensor
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US10225495B2 (en) Crosstalk processing module, method of processing crosstalk and image processing system
US9117711B2 (en) Solid-state image sensor employing color filters and electronic apparatus
WO2021223590A1 (en) Image sensor, control method, camera assembly, and mobile terminal
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
US9826139B2 (en) Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus
KR102624107B1 (en) Image Sensor for generating Depth Data by a path difference of light generated through Micro Lens covering a plurality of sub-pixels and Electronic Device including the image sensor
CN105049754A (en) Image processing device and mobile computing device having the same
KR102632474B1 (en) Pixel array included in image sensor and image sensor including the same
US11181671B2 (en) Image sensor and electronic camera
JP2022049671A (en) Image processing device, image processing method and image processing system for color correction
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
WO2018062561A1 (en) Image-capturing element and camera
US11997405B2 (en) Electronic device integrating phase difference detection and imaging and method for controlling the same
US11696041B2 (en) Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus
US20230300481A1 (en) Image sensing device and image processing method of the same
KR20240080099A (en) An image processing unit that compensates for an image, an image signal processing unit, and an image correction method captured by an image sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant