WO2020111369A1 - 이미지 센서 및 그 제어 방법 - Google Patents

이미지 센서 및 그 제어 방법 Download PDF

Info

Publication number
WO2020111369A1
WO2020111369A1 PCT/KR2018/016000 KR2018016000W WO2020111369A1 WO 2020111369 A1 WO2020111369 A1 WO 2020111369A1 KR 2018016000 W KR2018016000 W KR 2018016000W WO 2020111369 A1 WO2020111369 A1 WO 2020111369A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel data
data
binning
image sensor
pixel
Prior art date
Application number
PCT/KR2018/016000
Other languages
English (en)
French (fr)
Inventor
류철규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020111369A1 publication Critical patent/WO2020111369A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to an image sensor and a control method therefor, and to an image sensor and a control method for improving the brightness of an original image using sensor binning.
  • the image sensor is a semiconductor that converts photons into electrons and displays them on a display or stores them in a storage device.
  • It is a light-receiving element that converts a light-receiving signal into an electrical signal, and converts the converted electrical signal into an analog signal to process the image signal It is composed of ASIC part, and is classified into CCD, CMOS, and CIS (Contact Image Sensor).
  • CMOS image sensor In more detail, it is a CCD image sensor that moves electrons generated by light to the output unit using a gate pulse as it is, and converts electrons generated by light into voltages within each pixel and outputs them through various CMOS switches.
  • This is a CMOS image sensor.
  • the field of application of these image sensors is not only for household products such as digital cameras and mobile phones, but also for endoscopes used in hospitals and satellite telescopes orbiting the earth.
  • binning is applied to original image data to generate binning data with improved brightness, and image sensor to generate image data with enhanced brightness by fusing original image data and binning data, and a control method thereof It aims at providing.
  • the binning data when the binning data is generated by adding the first line data and the second line data by adding more memory as a component, it is possible to provide a space for storing the first line data. It is an object to provide an image sensor and a control method therefor.
  • an image sensor converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns;
  • a row selector configured to receive a row address and generate a selection signal for selecting at least two rows from the plurality of rows;
  • An image combining unit that generates binning data by applying binning to the pixel data;
  • An analog-to-digital converter for converting the pixel data selected by the row selector and the generated binning data into digital video signals and outputting them;
  • a control unit that fuses the outputted pixel data and the output binning data to generate new pixel data.
  • binning is applied to the original image data to generate binning data with improved brightness, and the original image data and binning data are fused to generate image data with enhanced brightness.
  • the file size of is the same, the brightness is improved and the size of the sensor can be kept the same, thus improving user convenience.
  • the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
  • FIG. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
  • FIG. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
  • FIG. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
  • the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
  • the pixel unit 110 converts the optical signal of the subject into an electrical signal, and outputs pixel data (original image) arranged in a matrix of a plurality of rows and columns.
  • the pixel unit 110 is arranged in a Bayer pattern consisting of a first line in which red pixels and green pixels are alternately arranged, and a second line in which blue pixels and green pixels are alternately arranged.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows.
  • the image synthesizing unit 130 generates binning data by applying binning to pixel data (original image data).
  • the analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
  • the control unit 150 generates new pixel data by fusing the output pixel data and the output binning data.
  • the amplifier unit 160 amplifies pixel data.
  • the memory 170 stores pixel data.
  • the memory 170 is a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), a multimedia card micro type ), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read (EPMROM) It may include a storage medium of at least one type of -only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk and optical disk.
  • FIG. 2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
  • the pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns (S210).
  • the pixel data corresponds to the original image data.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows (S220).
  • the image synthesis unit 130 applies binning to the pixel data to generate binning data (S230).
  • the analog-to-digital converter 140 converts the pixel data and the binning data selected by the row selector 120 into digital image signals and outputs them (S240).
  • the controller 150 fuses the output pixel data and the output binning data to generate new pixel data (S250).
  • FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
  • outputs of the image sensor 100 are pixel data 10 and binning data 20.
  • the image synthesis unit 130 generates binning data 20 by applying binning to the pixel data 10.
  • the pixel data 10 means original image data.
  • the exposure is the same as the pixel data 10
  • the brightness is the binning data 20 different from the pixel data.
  • the original image and the binning image are the same.
  • the binning image may be four times brighter than the original image.
  • the size of the original image may be 20 megapixels
  • the size of the binning image may be 5 megapixels.
  • the image synthesizing unit 130 may perform noise reduction of pixel data with a filter.
  • the original image is a dark image using 1/4 exposure compared to the binning image created. That is, the original image has more noise components compared to the binning image. This noise component is a factor that degrades the resolution when the controller 150 fuses.
  • the image synthesizing unit 130 performs noise reduction of pixel data with a filter.
  • the filter includes a Median Filter.
  • the median filter refers to a filter that obtains an intermediate value of a pixel density in an area around a certain pixel and processes it with a desired pixel density.
  • FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 transmits the pixel data 10 and binning data 20 to the control unit 150.
  • the control unit 150 may be a fusion chip.
  • the control unit 150 is installed spaced apart from the image sensor 100 by a predetermined distance.
  • the control unit 150 may be installed inside the application processor 200.
  • the image sensor 100, the control unit 150, and the application processor 200 are connected to Miffy.
  • MIPI stands for MIPI, a mobile industry processor interface, and was created to standardize an interface for connecting a mobile application processor 200 and peripheral devices.
  • Miffy's transmission speed is 9 Gps.
  • the ISP data transfer rate is 750 MHZ.
  • the output of the image sensor 100 becomes pixel data.
  • the pixel data is 16 megabytes, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, and the transmission rate is 576 MHz. Therefore, if the transmission rate is 576 MHz, the application processor 200 can process this.
  • the output of the image sensor 100 becomes pixel data and binning data.
  • the pixel data is 16 megabytes and the binning data is 4, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, so that the transmission rate is 720 MHz. Therefore, if the transmission rate is 720 MHz, the application processor 200 can process this.
  • the data amount of the pixel data and the generated data of the new pixel data are the same. That is, binning data and pixel data generated by the image synthesis unit 130 are transmitted to the control unit 150.
  • the controller 150 fuses binning data and pixel data to generate new pixel data, and the data amount of the new pixel data is the same as the data amount of the pixel data.
  • FIG. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 5(a) is a diagram showing that pixel data and binning data are fused to generate new pixel data
  • FIG. 5(b) is a diagram showing a mathematical algorithm when generating new pixel data.
  • the controller 150 fuses the pixel data 10 and binning data 20 to generate new pixel data 30. Specifically, the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the adjacent pixel data of the first pixel data Gr1 means the second pixel data Gr2, the third pixel data Gr3, and the fourth pixel data Gr4.
  • the binning data 20 includes Gr', R', B', and Gb'.
  • the image synthesizing unit 130 generates binning data Gr' by applying binning to Gr1, Gr2, Gr3, and Gr4.
  • the image synthesizing unit 130 generates binning data R'by applying binning to R1, R2, R3, and R4.
  • the image synthesis unit 130 generates binning data B'by applying binning to B1, B2, B3, and B4.
  • the image synthesizing unit 130 generates binning data Gb' by applying binning to Gr1, Gr2, Gr3, and Gr4.
  • the binning data 20 Gr', R', B', and Gb' mean brightness information.
  • applying binning means applying full binning, and the scope of the present invention is not limited to full binning, but includes both horizontal binning and vertical binning.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the resolution information of the first pixel data means a ratio obtained by dividing the first pixel data by an average value of the first pixel data, the second pixel data, the third pixel data, and the fourth pixel data.
  • the resolution information of Gr1 is Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of Gr4 is Gr4/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of the first pixel data means a ratio between the first pixel data and the adjacent pixel data, and there is no unit.
  • the ratio of the pixel data to the adjacent pixel data is close to 1, but in the case of an interface, the ratio of the pixel data to the adjacent pixel data is greater than 1.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the meaning of fusion means that the resolution information and the brightness information are multiplied.
  • the new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data.
  • the new first pixel data is Gr1
  • the new first pixel data Gr1" Gr1' x Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new second pixel data Gr2 Gr2' x Gr2/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new third pixel data Gr3 Gr3' x Gr3/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data.
  • the brightness information of the binning data becomes data of 4 times the brightness of the original image.
  • multiplying the ratio of the original image it is possible to obtain an original image with 4 times the brightness.
  • the image quality is mainly affected by the amount of light collected in each pixel constituting the image sensor.
  • the chip size of the CMOS image sensor is getting smaller and the number of pixels is increasing, so the size of the pixel is getting smaller.
  • the light receiving rate that is, the image sensor accepts light. It has been developed in the direction of increasing the degree.
  • the back-illuminated sensor (BSI sensor) has moved the light-receiving unit (the portion that receives light) to the uppermost portion of the sensor to increase the light-receiving rate.
  • BSI sensor back-illuminated sensor
  • binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with improved brightness, thereby increasing the size of the image sensor Without it, the brightness of the image sensor can be improved.
  • the data amount of the pixel data and the data amount of the generated new pixel data are the same. Therefore, according to the present invention, it is possible to improve the brightness of the image sensor while keeping the amount of data constant and not increasing the amount of data.
  • FIG. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
  • the controller 150 converts the quad bayer 30 including the generated new pixel data into a normal bayer 40.
  • the controller 150 converts the quad bayer 30 into a normal bayer 40, so that the application processor 200 can recognize pixel data.
  • FIG. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • pixel data corresponds to the original image 710 and binning data corresponds to the binning image 720.
  • the new pixel data corresponds to the new image 730.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the meaning of fusion means that the resolution information and the brightness information are multiplied.
  • the brightness information of the binning data becomes data of 4 times the brightness of the original image.
  • the ratio of the original image it is possible to obtain a new image 730 with 4 times the brightness.
  • the brightness of the generated new image is improved, the fuzzing is reduced, and the size of the pixel is not increased, so the production cost of the image sensor is reduced.
  • FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 outputs pixel data 10.
  • the control unit 150 may be a fusion chip.
  • the control unit 100 generates binning data 20 based on the pixel data 10.
  • the controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
  • the control unit 100 transmits the new pixel data to the application processor 200.
  • FIG. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 outputs the pixel data 10 and binning data 20.
  • the control unit 150 may be a fusion chip.
  • the controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
  • the control unit 100 transmits the new pixel data to the application processor 200.
  • FIG. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
  • FIG. 10(a) is a diagram showing horizontal binning
  • FIG. 10(b) is a diagram showing vertical binning
  • FIG. 10(c) is a diagram showing overall binning.
  • horizontal binning adds electric charges from adjacent pixels in a line and is applied as one pixel.
  • vertical binning adds charges from adjacent cells in a vertical direction in a plurality of lines and is applied as one pixel.
  • the whole binning is added in close and grouped charges in a two-dimensional plane, and is applied as one pixel.
  • binning adds the charges from adjacent pixels of the CCD sensor to increase the camera's sensitivity to light.
  • horizontal binning the charge from adjacent pixels in each line of the sensor is summed.
  • vertical binning the charges of adjacent pixels in the vertical direction in two rows are summed in the sensor.
  • Total binning is a combination of horizontal binning and vertical binning in which two adjacent pixels are summed in a two-dimensional plane.
  • the sensitivity of the image sensor can be doubled.
  • the sensitivity of the image sensor can be increased up to 4 times.
  • the present invention has been mainly described for applying the whole binning to pixel data.
  • FIG. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
  • the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
  • the pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from a plurality of rows.
  • the image synthesizing unit 130 generates binning data by applying binning to pixel data.
  • the image combining unit 1300 generates binning data by applying any one of horizontal binning, vertical binning and full binning to pixel data.
  • the analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
  • the amplifier 160 amplifies the output of the pixel unit and transmits it to the analog-to-digital converter 140.
  • the memory 170 stores pixel data.
  • the memory 170 includes a capacitor.
  • the memory 170 may be arranged for each column of the pixel unit 110.
  • the memory 170 is arranged for each column, there is an advantage of storing pixel data of a specific line included in the pixel unit 110.
  • the image synthesizing unit 130 stores the pixel data of the first line in the memory 170, and applies binning to the pixel data of the second line and the pixel data of the first line stored in the memory 170, and the binning data ( 1120). In addition, the image synthesizing unit 130 stores the pixel data of the third line in the memory 170 and applies binning to the pixel data of the fourth line and the pixel data of the third line stored in the memory 170, and binning Data 1120 is generated.
  • the image synthesis unit 130 outputs the first line, outputs the second line, outputs binning data from the first line and the second line, outputs a third line, and outputs a fourth line.
  • Binning data binning the third and fourth lines is output.
  • the image synthesizing unit 130 sequentially outputs a plurality of lines 1110.
  • the image synthesis unit 130 controls synchronization of the amplifier unit 160 and the analog-to-digital conversion unit 140.
  • binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with enhanced brightness.
  • the file size of is the same, the brightness is improved, and the size of the sensor can be kept the same, thus improving user convenience.
  • the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
  • the image display device and the operation method according to the present invention are not limited to the configuration and method of the above-described embodiments, and the above embodiments are all or part of each embodiment so that various modifications can be made. May be selectively combined.
  • the operation method of the video display device of the present invention can be implemented as a code that can be read by the processor on a recording medium that can be read by the processor provided in the video display device.
  • the processor-readable recording medium includes all kinds of recording devices in which data that can be read by the processor are stored. Examples of the recording medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and include those implemented in the form of carrier waves such as transmission through the Internet. .
  • the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.
  • the present invention is used in related fields of image sensors that enhance the brightness of an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 이미지 센서 및 그 제어 방법에 관한 것으로, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성하는 것을 그 요지로 한다.

Description

이미지 센서 및 그 제어 방법
본 발명은 이미지 센서 및 그 제어 방법에 관한 것으로, 센서 비닝을 이용하여 오리지널 이미지의 밝기를 향상시키는 이미지 센서 및 그 제어 방법에 관한 것이다.
이미지 센서는 광자를 전자로 전환하여 디스플레이로 표시하거나 저장장치에 저장할 수 있게 하는 반도체로서 수광 신호를 전기 신호로 변환시키는 수광 소자, 변환된 전기 신호를 아날로그 신호를 디지털로 변환하여 이미지신호를 처리하는 ASIC부분으로 구성되며, CCD, CMOS, CIS(Contact Image Sensor) 등의 종류가 있다.
더 구체적으로 살펴보면, 빛에 의해 발생한 전자를 그대로 게이트 펄스를 이용해서 출력부까지 이동시키는 것이 CCD 이미지 센서이며, 빛에 의해 발생한 전자를 각 화소 내에서 전압으로 변환한 후에 여러 CMOS 스위치를 통해 출력하는 것이 CMOS 이미지 센서이다. 이러한 이미지 센서의 적용 분야는 디지털 카메라, 휴대전화 등 가정용 제품만이 아니라 병원에서 사용하는 내시경, 지구를 돌고 있는 인공위성의 망원경에 이르기까지 매우 광범위하다.
종래 기술의 경우, 오리지널 이미지 데이터가 감도가 낮은 경우, 화면이 어두워서 사용자가 이를 보기 불편하고, 이를 해결하기 위해서는 픽셀의 크기를 키워야 하는데, 이 경우, 이미지 센서의 크기가 커지고 화질이 저하되어 사용자가 이미지를 보기에 불편한 문제점이 있었다.
본 발명의 일 실시 예는, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성하는 이미지 센서 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 일 실시 예는, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있는 이미지 센서 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 이미지 센서는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 픽셀부; 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 로우 선택부; 상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 이미지 합성부; 상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 아날로그 디지털 변환부; 및 출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 제어부를 포함한다.
본 발명의 다른 실시 예에 따른, 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 단계; 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 단계; 상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 단계; 상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 단계; 및 출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 단계를 포함한다.
본 발명의 일 실시 예에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 데이터의 파일 크기가 동일하고, 밝기가 향상되며 센서의 크기는 동일하게 유지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있어서, 비닝 데이터를 용이하게 생성할 수 있으므로 사용자 편의성을 항상 시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른, 이미지 센서의 구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 이미지 센서의 제어 방법의 순서도를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 픽셀 데이터에 비닝을 적용하여 비닝 데이터를 생성하는 것을 도시한 도면이다.
도 4은 본 발명의 일 실시 예에 따른, 비닝 데이터와 픽셀 데이터를 융합하는 제어부와 다른 하드웨어 구성이 결합한 시스템을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 쿼드 베이어를 노멀 베이어로 변환하는 것을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 퓨전 칩이 비닝 데이터를 생성하고, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 수평 비닝, 수직 비닝, 전체 비닝을 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 이미지 센서에서 비닝 데이터를 생성하는 것을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른, 이미지 센서의 구성도를 도시한 도면이다.
도 1을 참조하면, 이미지 센서(100)는 픽셀부(110), 로우 선택부(120), 이미지 합성부(130), 아날로그 디지털 변환부(140), 제어부(150), 앰프부(160), 메모리(170)를 포함한다.
픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터(오리지널 이미지)를 출력한다. 픽셀부(110)는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 제 1 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 제 2 라인으로 구성된 베이어 패턴으로 배열된다.
로우 선택부(120)는 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다.
이미지 합성부(130)는 픽셀 데이터(오리지널 이미지 데이터)에 비닝을 적용하여, 비닝 데이터를 생성한다.
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다.
제어부(150)는 출력된 픽셀 데이터와 출력된 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성한다.
앰프부(160)는 픽셀 데이터를 증폭한다.
메모리(170)는 픽셀 데이터를 저장한다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 이미지 센서의 제어 방법의 순서도를 도시한 도면이다.
도 2를 참조하면, 픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력한다(S210). 여기서, 픽셀 데이터는 오리지널 이미지 데이터에 대응된다.
로우 선택부(120)는 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다(S220).
이미지 합성부(130)는 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성한다(S230).
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다(S240).
제어부(150)는 출력된 픽셀 데이터와 출력된 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성한다(S250).
도 3은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 픽셀 데이터에 비닝을 적용하여 비닝 데이터를 생성하는 것을 도시한 도면이다.
도 3을 참조하면, 이미지 센서(100)의 출력물은 픽셀 데이터(10)와 비닝 데이터(20)가 된다.
이미지 합성부(130)는 픽셀 데이터(10)에 비닝을 적용하여, 비닝 데이터(20)를 생성한다. 여기서, 픽셀 데이터(10)는 오리지널 이미지 데이터를 의미한다. 여기서, 비닝 데이터의 속성과 관련하여, 이미지 합성부(130)는 비닝 데이터(20)를 생성할 때, 노출은 픽셀 데이터(10)와 동일하고, 밝기는 픽셀 데이터와 다른 비닝 데이터(20)를 생성한다.
예를 들어, 픽셀 데이터에 대응하는 오리지날 이미지와 비닝 데이터에 대응하는 비닝 이미지를 비교할 때, 노출의 경우, 오리지날 이미지와 비닝 이미지가 동일하다. 밝기(brightness)의 경우, 비닝 이미지가 오리지날 이미지보다 4 배 더 밝을 수 있다.
또한, 오리지날 이미지의 경우, 크기가 20 메가 픽셀이 되고, 비닝 이미지의 경우, 5 메가 픽셀이 될 수 있다.
다음으로, 이미지 합성부(130)는 필터로 픽셀 데이터의 노이즈 감소를 실행할 수 있다. 오리지널 이미지는 생성된 비닝 이미지와 비교할 때, 1/4 노출을 사용해서 어두운 이미지이다. 즉, 오리지널 이미지는 비닝 이미지와 비교해서, 노이즈 성분이 더 많다. 이러한 노이즈 성분은 제어부(150)가 융합을 할 때, 해상력을 저하시키는 요인이 된다.
따라서, 이미지 합성부(130)는 필터로 픽셀 데이터의 노이즈 감소를 실행한다. 필터는 미디안 필터(Median Filter)를 포함한다. 미디언 필터는 어떤 픽셀 주변의 영역 내의 픽셀 농도의 중간값을 구하고, 원하는 픽셀의 농도로 처리하는 필터를 의미한다.
도 4은 본 발명의 일 실시 예에 따른, 비닝 데이터와 픽셀 데이터를 융합하는 제어부와 다른 하드웨어 구성이 결합한 시스템을 도시한 도면이다.
도 4를 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다.
이미지 센서(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 제어부(150)에 전달한다. 본 발명의 일 실시 예에 따르면, 제어부(150)는 퓨전칩이 될 수 있다.
제어부(150)는 이미지 센서(100)와 소정 거리만큼 이격되어 설치된다. 제어부(150)가 이미지 센서(100) 내부에 있는 경우, 픽셀 데이터와 비닝 데이터를 융합할 때, 열이 발생하는데, 이 열로 인하여 이미지 센서(100)가 제대로 작동되지 않을 수 있다. 따라서, 제어부(150)는 이미지 센서(100)와 소정 거리만큼 이격되어 설치된다. 또한, 제어부(150)는 애플리케이션 프로세서(200)의 내부에 설치될 수 있다.
다음으로, 데이터 전송량을 확인한다. 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)는 미피로 연결된다. 미피는 MIPI, Mobile industry processor interface의 약자로 모바일의 애플리케이션 프로세서(200)와 주변 장치들을 연결하기 위한 인터페이스를 표준화하기 위하여 만들어졌다. 현재 미피의 전송 속도는 9 Gps 가 된다. 애플리케이션 프로세서(200)의 경우, ISP 데이터 전송 속도가 750 MHZ 가 된다.
먼저, 비닝 데이터를 생성하지 않는 경우(410), 이미지 센서(100)의 출력물은 픽셀 데이터가 된다. 예를 들어, 픽셀 데이터가 16 메가 바이트인 경우, 1 초에 30 프레임이 전송되고, 더미 데이터를 고려하여 계수를 1.2 로 설정하여, 전송 속도는 576 MHz가 된다. 따라서, 전송 속도가 576 MHz 이면, 애플리케이션 프로세서(200)는 이를 처리할 수 있다.
다음으로, 비닝 데이터를 생성한 경우(420), 이미지 센서(100)의 출력물은 픽셀 데이터와 비닝 데이터가 된다. 예를 들어, 픽셀 데이터가 16 메가 바이트이고, 비닝 데이터가 4인 경우, 1 초에 30 프레임이 전송되고, 더미 데이터를 고려하여 계수를 1.2 로 설정하여, 전송 속도는 720 MHz가 된다. 따라서, 전송 속도가 720 MHz 이면, 애플리케이션 프로세서(200)는 이를 처리할 수 있다.
본 발명의 따르면, 픽셀 데이터의 데이터량과 생성된 새로운 픽셀 데이터의 데이터량은 동일하다. 즉, 이미지 합성부(130)가 생성한 비닝 데이터와 픽셀 데이터가 제어부(150)로 전송된다. 제어부(150)는 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하며, 새로운 픽셀 데이터의 데이터량은 픽셀 데이터의 데이터량과 동일하다.
따라서, 본 발명에 따르면, 데이터량을 일정하게 유지시키고, 데이터량을 증가시키지 않고, 일정하게 유지하면서 이미지 센서의 밝기를 향상시킬 수 있다.
도 5는 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이다.
도 5(a)는 픽셀 데이터와 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이고, 도 5(b)는 새로운 픽셀 데이터를 생성할 때, 수학 알고리즘을 도시한 도면이다.
도 5(a)를 참조하면, 제어부(150)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여, 새로운 픽셀 데이터(30)를 생성한다. 구체적으로, 제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다.
구체적으로, 픽셀 데이터가 제 1 픽셀 데이터 Gr1 인 경우, 제 1 픽셀 데이터 Gr1의 근접 픽셀 데이터는 제 2 픽셀 데이터 Gr2, 제 3 픽셀 데이터 Gr3 및 제 4 픽셀 데이터 Gr4를 의미한다.
그리고, 비닝 데이터(20)는 Gr', R', B', Gb'를 포함한다. 이미지 합성부(130)는 Gr1, Gr2, Gr3, Gr4 에 비닝을 적용하여 비닝 데이터 Gr'를 생성한다. 이미지 합성부(130)는 R1, R2, R3, R4 에 비닝을 적용하여 비닝 데이터 R'를 생성한다. 이미지 합성부(130)는 B1, B2, B3, B4 에 비닝을 적용하여 비닝 데이터 B'를 생성한다. 이미지 합성부(130)는 Gr1, Gr2, Gr3, Gr4 에 비닝을 적용하여 비닝 데이터 Gb'를 생성한다. 여기서, 비닝 데이터(20) Gr', R', B', Gb'는 밝기 정보를 의미한다. 여기서, 비닝을 적용한다는 것은 전체 비닝을 적용한다는 것을 의미하고, 본 발명의 권리 범위는 전체 비닝에만 제한되지 않고, 수평 비닝, 수직 비닝의 경우를 모두 포함한다.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다.
다음으로, 제 1 픽셀 데이터의 해상력 정보는 제 1 픽셀 데이터를 상기 제 1 픽셀 데이터, 제 2 픽셀 데이터, 제 3 픽셀 데이터 및, 제 4 픽셀 데이터의 평균값으로 나눈 비율을 의미한다.
예를 들어, 제 1 픽셀 데이터가 Gr1 인 경우, Gr1의 해상력 정보는 Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4)가 된다. 제 2 픽셀 데이터가 Gr2 인 경우, Gr2의 해상력 정보는 Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다. 제 3 픽셀 데이터가 Gr2 인 경우, Gr2의 해상력 정보는 Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다. 제 4 픽셀 데이터가 Gr4 인 경우, Gr4의 해상력 정보는 Gr4/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다.
제 1 픽셀 데이터의 해상력 정보는 제 1 픽셀 데이터와 근접 픽셀 데이터와의 비율을 의미하고, 단위는 없다.
본 발명의 실험에 따르면, 평면의 경우, 픽셀 데이터와 근접 픽셀 데이터와의 비율이 1에 가까우나, 경계면의 경우, 픽셀 데이터와 근접 픽셀 데이터와의 비율이 1보다 커지게 된다.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. 여기서, 융합한다는 것의 의미는 해상력 정보와 밝기 정보를 곱한다는 의미이다. 새로운 픽셀 데이터는 비닝 데이터의 밝기 정보와 픽셀 데이터의 해상력 정보의 곱으로 생성된다.
따라서, 새로운 제 1 픽셀 데이터가 Gr1"인 경우, 새로운 제 1 픽셀 데이터 Gr1"=Gr1' x Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다.
다음으로, 새로운 제 2 픽셀 데이터가 Gr2"인 경우, 새로운 제 2 픽셀 데이터 Gr2"=Gr2' x Gr2/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. 새로운 제 3 픽셀 데이터가 Gr3"인 경우, 새로운 제 3 픽셀 데이터 Gr3"=Gr3' x Gr3/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. 새로운 제 4 픽셀 데이터가 Gr4"인 경우, 새로운 제 3 픽셀 데이터 Gr4"=Gr4' x Gr4/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다.
새로운 픽셀 데이터는 비닝 데이터의 밝기 정보와 픽셀 데이터의 해상력 정보의 곱으로 생성된다. 픽셀 데이터가 오리지널 이미지에 대응하는 경우, 즉, 비닝 데이터의 밝기 정보는 오리지널 이미지의 4 배 밝기의 데이터가 된다. 여기에, 오리지널 이미지의 비율을 곱하여, 밝기가 4배 향상된 오리지널 이미지를 얻을 수 있다.
일반적으로 이미지의 화질은 이미지 센서를 구성하는 각 픽셀(Pixel)에 모이는 빛의 양에 주로 영향을 받는다. 최근, CMOS 이미지 센서의 칩 크기는 작아지고 픽셀수는 늘어나 픽셀의 크기가 작아지고 있는데, 작은 픽셀일수록 충분한 빛을 흡수하기 어려워 CMOS 이미지 센서 기술은 수광율, 즉, 이미지 센서가 빛을 받아 들이는 정도를 높이는 방향으로 발전해왔다. 그래서, 후면 조사형 센서(BSI 센서)는 수광부(빛을 받아들이는 부분)를 센서의 가장 윗 부분으로 이동하여 수광율을 높여왔다. 그런데 픽셀의 크기가 계속 작아짐에 따라 한계가 있는 문제점이 있었다.
본 발명에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 센서의 크기를 증가시키지 않고, 이미지 센서의 밝기를 향상 시킬 수 있다.
또한, 픽셀 데이터의 데이터량과 생성된 새로운 픽셀 데이터의 데이터량은 동일하다. 따라서, 본 발명에 따르면, 데이터량을 일정하게 유지시키고, 데이터량을 증가시키지 않고, 일정하게 유지하면서 이미지 센서의 밝기를 향상시킬 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 쿼드 베이어를 노멀 베이어로 변환하는 것을 도시한 도면이다.
도 6을 참조하면, 제어부(150)는 생성된 새로운 픽셀 데이터가 포함된 쿼드 베이어(30)를 정상 베이어(40)로 변환한다.
왜나하면, 애플리케이션 프로세서(200)는 정상 베이어(40) 만을 인식하고, 쿼드 베이어(30)를 인식할 수 없기 때문이다. 따라서, 제어부(150)는 쿼드 베이어(30)를 정상 베이어(40)로 변환하여, 애플리케이션 프로세서(200)는 픽셀 데이터를 인식할 수 있다.
도 7은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 7을 참조하면, 픽셀 데이터는 오리지널 이미지(710)에 대응하고, 비닝 데이터는 비닝 이미지(720)에 대응한다. 새로운 픽셀 데이터는 새로운 이미지(730)에 대응한다.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. 여기서, 융합한다는 것의 의미는 해상력 정보와 밝기 정보를 곱한다는 의미이다.
픽셀 데이터가 오리지널 이미지에 대응하는 경우, 즉, 비닝 데이터의 밝기 정보는 오리지널 이미지의 4 배 밝기의 데이터가 된다. 여기에, 오리지널 이미지의 비율을 곱하여, 밝기가 4배 향상된 새로운 이미지(730)를 얻을 수 있다.
본 발명에 따르면, 생성된 새로운 이미지의 밝기가 향상되고, 불러링이 감소되며, 픽셀의 크기가 증가되지 않기 때문에 이미지 센서의 제작 비용이 감소되는 효과가 있다.
도 8은 본 발명의 일 실시 예에 따른, 퓨전 칩이 비닝 데이터를 생성하고, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 8을 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다.
이미지 센서(100)는 픽셀 데이터(10)를 출력한다. 제어부(150)는 퓨전 칩이 될 수 있다. 제어부(100)는 픽셀 데이터(10)를 기초로 비닝 데이터(20)를 생성한다. 제어부(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여 새로운 픽셀 데이터(30)를 생성한다.
제어부(100)는 새로운 픽셀 데이터를 애플리케이션 프로세서(200)으로 전달한다.
도 9는 본 발명의 일 실시 예에 따른, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다.
도 9를 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다.
이미지 센서(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 출력한다. 제어부(150)는 퓨전 칩이 될 수 있다. 제어부(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여 새로운 픽셀 데이터(30)를 생성한다.
제어부(100)는 새로운 픽셀 데이터를 애플리케이션 프로세서(200)으로 전달한다.
도 10은 본 발명의 일 실시 예에 따른, 수평 비닝, 수직 비닝, 전체 비닝을 도시한 도면이다.
도 10(a)는 수평 비닝을 도시한 그림이고, 도 10(b)는 수직 비닝을 도시한 도면이고, 도 10(c)는 전체 비닝을 도시한 그림이다.
도 10(a)를 참조하면, 수평 비닝은 라인에서 근접 픽셀로부터의 전하들이 더해지고, 하나의 픽셀로써 적용된다.
도 10(b)를 참조하면, 수직 비닝은 복수의 라인에서 수직 방향의 근접한 셀로부터 전하들이 더해지고, 하나의 픽셀로써 적용된다.
도 10(c)를 참조하면, 전체 비닝은 2차원 평면에서 근접하고 그룹핑된 전하들이 더해지고, 하나의 픽셀로써 적용된다.
따라서, 비닝은 CCD 센서의 인접한 픽셀로부터의 전하를 합쳐서 빛에 대한 카메라의 감도(Sensitivity)를 증가 시킨다. 수평 비닝을 사용하면 센서의 각 라인에 있는 인접 픽셀의 전하가 합산된다. 수직 비닝을 사용하면 센서에서 두 줄에서 수직 방향의 인접 픽셀의 전하가 합산된다. 전체 비닝은 2차원 평면에서, 인접 픽셀이 합산되는 수평 비닝과 수직 비닝의 조합이다.
수평 비닝 또는 수직 비닝을 사용하는 경우, 이미지 센서의 감도(Sensitivity)가 2배까지 증가할 수 있다. 전체 비닝을 사용하는 경우, 이미지 센서의 감도(Sensitivity)를 4배까지 증가할 수 있다. 또한, 비닝을 사용하게 되면, SNR 이 향상되는 효과가 있다. 본 발명은 주로 픽셀 데이터에 전체 비닝을 적용한 것에 대하여 설명하였다.
도 11은 본 발명의 일 실시 예에 따른, 이미지 센서에서 비닝 데이터를 생성하는 것을 도시한 도면이다.
도 11을 참조하면, 이미지 센서(100)는 픽셀부(110), 로우 선택부(120), 이미지 합성부(130), 아날로그 디지털 변환부(140), 제어부(150), 앰프부(160), 메모리(170)를 포함한다.
픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력한다.
로우 선택부(120)는 로우 어드레스를 수신하여 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다.
이미지 합성부(130)는 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성한다. 이미지 합성부(1300는 수평 비닝, 수직 비닝 및 전체 비닝 중 어느 하나를 픽셀 데이터에 적용하여, 비닝 데이터를 생성한다.
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다.
앰프부(160) 픽셀부의 출력을 증폭해서, 이를 아날로그 디지털 변환부(140)에 전달한다.
메모리(170)는 픽셀 데이터를 저장한다. 본 발명의 일 실시 예에 따르면, 메모리(170)는 커패시터를 포함한다.
다음으로, 메모리의 배열 구조에 대하여 설명한다. 도 11을 참조하면, 메모리(170)는 픽셀부(110)의 열마다 배치될 수 있다. 메모리(170)가 열마다 배치되는 경우, 픽셀부(110)에 포함된 특정 라인의 픽셀 데이터를 저장할 수 있는 장점이 있다.
다음으로, 비닝 데이터를 생성하는 것에 대하여 더 구체적으로 설명한다.
이미지 합성부(130)는 제 1 라인의 픽셀 데이터를 메모리(170)에 저장하고, 제 2 라인의 픽셀 데이터와 메모리(170)에 저장된 제 1 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터(1120)를 생성한다. 또한, 이미지 합성부(130)는 제 3 라인의 픽셀 데이터를 메모리(170)에 저장하고, 제 4 라인의 픽셀 데이터와 메모리(170)에 저장된 제 3 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터(1120)를 생성한다.
즉, 이미지 합성부(130)는 제 1 라인을 출력하고, 제 2 라인을 출력하고, 제 1 라인과 제 2 라인을 비닝 데이터를 출력하고, 제 3 라인을 출력하고, 제 4 라인을 출력하고, 제 3 라인과 제 4 라인을 비닝한 비닝 데이터를 출력한다.
도 11을 참조하면, 이미지 합성부(13)가 비닝 데이터를 생성하지 않는 경우, 이미지 합성부(130)는 복수의 라인(1110)을 순차적으로 출력한다.
이미지 합성부(130)는 앰프부(160)와 아날로그 디지털 변환부(140)의 동기화를 제어한다.
본 발명의 일 실시 예에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 데이터의 파일 크기가 동일하고, 밝기가 향상되며 센서의 크기는 동일하게 유지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있어서, 비닝 데이터를 용이하게 생성할 수 있으므로 사용자 편의성을 항상 시킬 수 있다.
본 발명에 따른 영상표시기기 및 그 동작 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상표시기기의 동작방법은 영상표시기기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
다양한 실시 예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 이미지의 밝기를 항샹시키는 이미지 센서의 관련 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (11)

  1. 이미지 센서에 있어서,
    피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 픽셀부;
    로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 로우 선택부;
    상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 이미지 합성부;
    상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 아날로그 디지털 변환부; 및
    출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 제어부
    를 포함하는 이미지 센서.
  2. 제 1 항에 있어서, 상기 이미지 합성부는
    노출은 상기 픽셀 데이터와 동일하고, 밝기는 상기 픽셀 데이터와 다른 비닝 데이터를 생성하는,
    이미지 센서.
  3. 제 1 항에 있어서, 상기 제어부는
    상기 픽셀 데이터의 해상력 정보와 상기 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성하는,
    이미지 센서.
  4. 제 3 항에 있어서,
    상기 픽셀 데이터가 제 1 픽셀 데이터인 경우, 상기 제 1 픽셀 데이터의 근접 픽셀 데이터는 제 2 픽셀 데이터, 제 3 픽셀 데이터 및 제 4 픽셀 데이터를 의미하고,
    상기 제 1 픽셀 데이터의 해상력 정보는 상기 제 1 픽셀 데이터를 상기 제 1 픽셀 데이터, 제 2 픽셀 데이터, 제 3 픽셀 데이터 및, 제 4 픽셀 데이터의 평균값으로 나눈 비율을 의미하는,
    이미지 센서,
  5. 제 1 항에 있어서, 상기 제어부는
    생성된 상기 새로운 픽셀 데이터가 포함된 쿼드 베이어를 정상 베이어로 변환하는,
    이미지 센서.
  6. 제 1 항에 있어서,
    상기 이미지 합성부는 수평 비닝, 수직 비닝 및 전체 비닝 중 어느 하나를 상기 픽셀 데이터에 적용하여, 비닝 데이터를 생성하는,
    이미지 센서.
  7. 제 1 항에 있어서,
    픽셀 데이터를 저장하는 메모리를 더 포함하고,
    상기 이미지 합성부는
    제 1 라인의 픽셀 데이터를 상기 메모리에 저장하고, 제 2 라인의 픽셀 데이터와 상기 메모리에 저장된 상기 제 1 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는
    이미지 센서.
  8. 제 7 항에 있어서, 상기 메모리는
    상기 픽셀부의 열마다 배치되는
    이미지 센서.
  9. 제 1 항에 있어서, 상기 픽셀부는,
    레드 픽셀 및 그린 픽셀이 교대로 배열되는 제 1 라인과,
    블루 픽셀 및 그린 픽셀이 교대로 배열되는 제 2 라인으로 구성된 베이어 패턴으로 배열되는,
    이미지 센서.
  10. 제 1 항에 있어서, 상기 제어부는
    상기 이미지 센서와 소정 거리만큼 이격 되어 있는,
    이미지 센서.
  11. 이미지 센서의 제어 방법에 있어서,
    피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 단계;
    로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 단계;
    상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 단계;
    상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 단계; 및
    출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 단계
    를 포함하는 이미지 센서의 제어 방법.
PCT/KR2018/016000 2018-11-30 2018-12-17 이미지 센서 및 그 제어 방법 WO2020111369A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862773187P 2018-11-30 2018-11-30
US62/773,187 2018-11-30
KR20180162029 2018-12-14
KR10-2018-0162029 2018-12-14

Publications (1)

Publication Number Publication Date
WO2020111369A1 true WO2020111369A1 (ko) 2020-06-04

Family

ID=70852802

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2018/016000 WO2020111369A1 (ko) 2018-11-30 2018-12-17 이미지 센서 및 그 제어 방법
PCT/KR2019/009961 WO2020111441A1 (ko) 2018-11-30 2019-08-08 프로세서 및 그 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009961 WO2020111441A1 (ko) 2018-11-30 2019-08-08 프로세서 및 그 제어 방법

Country Status (1)

Country Link
WO (2) WO2020111369A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053067A (ko) * 2020-10-21 2022-04-29 삼성전자주식회사 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법
IL311275A (en) 2021-09-06 2024-05-01 Biond Biologics Ltd Materials that block and/or screen c. 28 is enough

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099625A (ko) * 2013-02-04 2014-08-13 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
JP2016139988A (ja) * 2015-01-28 2016-08-04 株式会社東芝 固体撮像装置
US20160269611A1 (en) * 2013-12-05 2016-09-15 Olympus Corporation Image pickup apparatus
KR20170007706A (ko) * 2014-05-30 2017-01-19 애플 인크. 이미지 센서의 픽셀 비닝
WO2017171412A2 (ko) * 2016-03-30 2017-10-05 엘지전자 주식회사 이미지 처리 장치 및 이동 단말기

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011043025A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 固体撮像素子および撮像装置
US9930316B2 (en) * 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
KR20140021006A (ko) * 2011-05-24 2014-02-19 소니 주식회사 고체 촬상 소자 및 카메라 시스템
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
KR102292137B1 (ko) * 2015-01-09 2021-08-20 삼성전자주식회사 이미지 센서와 이를 포함하는 이미지 처리 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099625A (ko) * 2013-02-04 2014-08-13 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US20160269611A1 (en) * 2013-12-05 2016-09-15 Olympus Corporation Image pickup apparatus
KR20170007706A (ko) * 2014-05-30 2017-01-19 애플 인크. 이미지 센서의 픽셀 비닝
JP2016139988A (ja) * 2015-01-28 2016-08-04 株式会社東芝 固体撮像装置
WO2017171412A2 (ko) * 2016-03-30 2017-10-05 엘지전자 주식회사 이미지 처리 장치 및 이동 단말기

Also Published As

Publication number Publication date
WO2020111441A1 (ko) 2020-06-04

Similar Documents

Publication Publication Date Title
EP0812114B1 (en) Solid-state image sensor, method for driving the same, and solid-state camera device and camera system
US10535687B2 (en) Solid-state imaging device and electronic apparatus
US9185318B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US11496716B2 (en) Solid state imaging device and electronic apparatus
US20190349538A1 (en) Imaging device and camera system including sense circuits to make binary decision
US8031235B2 (en) Imaging apparatus and signal processing method
US20190364236A1 (en) Imaging device and imaging apparatus
CN1946136B (zh) 一种成像设备的驱动方法
EP2940992A1 (en) Solid state image-sensing element, method of driving same, and electronic device
WO2015083971A1 (en) Electronic apparatus and method of controlling the same
WO2016099128A1 (ko) 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US20090046187A1 (en) Solid-state imaging device
WO2012001868A1 (ja) 固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに撮像制御方法および撮像制御プログラム
WO2020111369A1 (ko) 이미지 센서 및 그 제어 방법
EP3311560A1 (en) Photographing apparatus for preventing light leakage and image sensor thereof
WO2009113800A1 (en) Image-signal processor capable of supporting a plurality of ccd image sensors and method for processing image signals using the image-signal processor
US10944926B2 (en) Solid-state imaging element, method for driving solid-state imaging element, and electronic apparatus
US7463299B2 (en) CCD imaging device and driving method for processing image data without frame memory buffer
WO2018151499A1 (ko) 픽셀의 구동방법 및 이를 이용하는 cmos 이미지센서
Tabei et al. A new CCD architecture of high-resolution and sensitivity for color digital still picture
JP7439772B2 (ja) 撮像素子及び撮像装置
JPH08223588A (ja) 暗視用カラーカメラ装置
WO2019216029A1 (ja) 撮像装置、電子機器および駆動方法
TWI429281B (zh) 固態成像裝置，固態成像裝置之信號處理方法，及電子設備
WO2013024938A1 (en) Pixel, pixel array, image sensor including the same and method for operating the image sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941217

Country of ref document: EP

Kind code of ref document: A1