KR101227544B1 - 서브 픽셀 해상도를 가진 박형 카메라 - Google Patents
서브 픽셀 해상도를 가진 박형 카메라 Download PDFInfo
- Publication number
- KR101227544B1 KR101227544B1 KR1020067017082A KR20067017082A KR101227544B1 KR 101227544 B1 KR101227544 B1 KR 101227544B1 KR 1020067017082 A KR1020067017082 A KR 1020067017082A KR 20067017082 A KR20067017082 A KR 20067017082A KR 101227544 B1 KR101227544 B1 KR 101227544B1
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- color
- camera
- lens
- cameras
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 239000002131 composite material Substances 0.000 claims abstract description 39
- 239000003086 colorant Substances 0.000 claims abstract description 26
- 239000000758 substrate Substances 0.000 claims description 30
- 230000000903 blocking effect Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 19
- 239000007788 liquid Substances 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims 1
- 241001197925 Theila Species 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000002834 transmittance Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Color Television Image Signal Generators (AREA)
- Lenses (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
Abstract
컬러 카메라는 각 서브 카메라가 결상 렌즈, 컬러 필터 및 검출기 어레이를 포함하는, 적어도 세 개의 서브 카메라들을 구비한다. 컬러 카메라는 적어도 세 개의 서브 카메라들로부터 이미지들을 결합하여 다중 컬러 합성 이미지를 형성하는데, 그 서브 카메라들은 검출기들의 총 개수 N과 상이한 컬러의 조(colror set)의 총 개수 X를 포함하고, 제 1 컬러의 조의 신호들의 제 1 개수가 N/X 보다 작고 제 2 컬러의 조의 신호들의 제 2 개수가 N/X 보다 크며 제 2 컬러의 조의 신호들은 적어도 세 개의 서브 카메라들 중 적어도 두 개로부터 출력되고, 제 2 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도 및 합성 이미지의 해상도보다 크지 않다. 동일한 컬러의 조에 대한 대응하는 이미지는 서로에 대하여 연속적이거나 동시적으로 쉬프팅 될 수 있다.
컬러 카메라(color camera), 결상 렌즈(imaging lens), 컬러 필터(color filter), 검출기 어레이검출기 어레이검출기 어레이지 결합 수단(means for combining images), 서브 픽셀(sub pixel)
Description
본 발명은 박형 카메라에 관한 것이다. 특히, 본 발명은 컬러(color) 필터를 사용한, 및/또는 증가된 시계(field of view)를 가진 박형 카메라에 관한 것이다.
도 1a에 도시된 종래의 카메라(10)는 초점 길이 f의 렌즈(12) 및 검출기 어레이(14)를 포함하며, 복수 개의 화소(pixel)들을 가진다. 컬러 결상(imaging)을 구현하기 위해서, 통상적으로 적색 또는 청색 필터보다 더 많은 녹색 필터를 가진, 몇 개의 패턴을 구비한 필터 어레이(filter array)(15)가 제공된다. 필터 어레이(15)의 일 예가 도 1b에 도시되어 있다. 필터 어레이(15)에 있어서의 각 필터는 검출기 어레이(detector array)(14)에 있는 검출기(detector), 또는 화소(pixel)에 대응된다. 그러나 이러한 카메라는 상대적으로 두껍다.
충분한 해상도를 가진 박형 카메라를 구현하기 위한 하나의 방법은, 종래의 카메라, 예컨대 초점 길이 f의 렌즈를 가진 f/1 카메라의 결상 시스템(imaging system)을 스케일링(scaling)하는 것이다. 그 초점 면이 x-방향으로 크기 px의 화소 또는 센서 nx 개, 및 y-방향으로 크기 py의 센서 ny 개를 가진다고 가정해 보라. 그 러면 해상도는 x-방향으로는 1/px, y-방향으로는 1/py로 정의된다. 만약 px 및 py가 소망된 스케일링 배수만큼 감축될 수 있어 상술한 바와 같이 nx 및 ny가 동일하게 유지될 수 있다면, 해상도가 유지되는 동안 f가 감축될 수 있을 것이다. 그러나, 이렇게 스케일이 축소된 화소 크기는 현재 센서의 가격 및/또는 유용성에 의해 제한될 수 있다. 또한 그렇게 스케일이 축소된 시스템에는 충분한 파워가 없다.
다른 방법은 복안(compound eye) 이미지 캡쳐링(image capturing)을 사용하는 것인데, 렌즈의 크기는 카메라의 소망된 두께에 따른다. 복안에 있어서의 각각의 렌즈들은 복수 개의 화소들에 대응하며, 렌즈들의 간격이 화소 간격의 배수의 합이 되지 않도록 복안이 선택된다. 따라서, 각 렌즈는 서로 다른 쉬프팅된 이미지(shifted imiage)를 바라본다. 복안 이미지 캡쳐 시스템에 사용된 렌즈는 일반적으로 낮은 해상도, 예컨대 각 화소 면적과 동일하거나 더 큰 PSF를 가진다. 각 서브 카메라의 해상도보다 높은 해상도는 다중 카메라로부터 이미지를 결합함으로써 얻어진다. 이러한 해결책을 위하여, 컬러 필터 어레이(15')가 도 1c에 도시되어 있다. 각 색상 및 각 색상이 결합된 이미지를 위하여 복합 렌즈가 사용된다. 그러나 복안 이미지 캡쳐링의 사용은 계산상 복잡하고 전체 합성 이미지에 대한 센서 어레이에서의 화소들의 개수의 해상도에 근접거나 동등한 해상도를 달성하기가 어렵다.
본 발명은 박형 카메라에 관한 것으로, 특히 관련 기술의 제한 및 단점에 따른 하나 또는 그 이상의 문제점을 실질적으로 극복한 박형 카메라에 관한 것이다.
본 발명의 장점 및 특징은 각 서브 카메라가 결상 렌즈, 컬러 필터 및 검출기 어레이를 포함하는, 적어도 세 개의 서브 카메라들을 포함하는 컬러 카메라를 제공함으로써 구현될 수 있다. 적어도 세 개의 서브 카메라들로부터 이미지들은 결합되어 다중 컬러 합성 이미지를 형성한다. 적어도 세 개의 서브 카메라들은 총 N개의 검출기와 총 X개의 서로 다른 컬러의 조(set)를 갖는 컬러 필터를 포함하고, 제 1 컬러의 조의 신호의 제 1 개수는 N/X 보다 작고 제 2 컬러의 조의 신호의 제 2 개수는 N/X 보다 크며 제 2 컬러의 조의 신호는 적어도 세 개의 서브 카메라들 중 적어도 두 개로부터 출력되고, 제 2 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크고 제 1 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크지 않다.
컬러의 조와 결합한 필터들은 실질적으로 동일할 수 있다. 제 1 서브 카메라로부터 출력된 제 2 컬러의 조의 제 1 이미지는, 제 2 서브 카메라로부터 출력된 제 2 컬러의 조의 제 2 이미지에 관하여 쉬프팅 될 수 있다. 제 1 서브 카메라는 제 1 이미지를 쉬프팅하는 수단을 포함할 수 있다. 제 1 이미지를 쉬프팅하는 수단은 결상 렌즈와 검출기 어레이 사이에 조리개를 포함할 수 있다. 제 1 이미지를 쉬프팅하는 수단은, 제 1 서브 카메라의 결상 렌즈의 중심을 제 2 서브 카메라의 결상 렌즈로부터, 검출기 어레이에 있어서의 검출기 크기의 비정수(non-integer) 크기 만큼 오프셋하는 수단을 포함할 수 있다. 제 1 이미지를 쉬프팅하는 수단은, 제 1 서브 카메라의 결상 렌즈 중심의 제 1 방향을 따라, 제 2 서브 카메라의 결상 렌즈로부터, 검출기 어레이에 있어서의 검출 크기의 비정수(non-integer) 크기 만큼 오프셋하는 수단 및 제 2 방향을 따라 광을 차단하는, 검출기 어레이 및 결상 렌즈 사이에 위치한 조리개를 구비할 수 있다.
서브 카메라 내의 이미지들을 연속적으로 쉬프팅하기 위한 수단을 더 구비할 수 있다. 연속적으로 이미지들을 쉬프팅하기 위한 수단은 전압 제어형 액체 렌즈를 포함할 수 있다.
이미지를 쉬프팅하는 수단은, 제2 컬러의 조와 연관된 제1 서브 카메라에 위치하고, 제2 컬러의 조와 연관된 제2 서브 카메라로부터 출력된 신호와 제1 서브 카메라로부터 출력된 신호를 다르게 하는 식별하는 요소(differentiating element)들로 구비될 수 있다.
이미지를 쉬프팅하는 수단은, 제2 컬러의 조와 연관된 제1 서브 카메라에 위치하고, 제2 컬러의 조와 연관된 제2 서브 카메라로부터 출력된 신호와 제1 서브 카메라로부터 출력된 신호를 다르게 하는 식별하는 요소(differentiating element)들로 구비될 수 있다.
컬러의 조와 결합된 컬러 필터들은 각 결상 렌즈의 상부(top)에 제공될 수 있다. 각 서브 카메라는 결상 렌즈와 검출기 어레이 사이에 다른(another)의 컬러 필터를 더 구비할 수 있다. 인접한 결상 렌즈들 사이에 차단 요소(blocking element)를 더 구비할 수 있다. 차단 요소는 결상 렌즈들 근처에서 더욱 넓고 검출기 어레이 쪽으로 더욱 좁도록 테이핑된(tapered) 것일 수 있다. 각 결상 렌즈는 기판의 제 1 표면상의 굴절 요소 및 기판의 제 2 표면상의 다른(another) 렌즈 요소를 포함할 수 있다. 그 다른(another) 렌즈 요소가 회절 요소일 수 있다. 각 결상 렌즈는 제 1 기판의 제 1 표면상의 굴절 요소 및 제 2 기판의 제 2 표면상의 다른(another) 렌즈 요소를 포함할 수 있다. 그 다른(another) 렌즈 요소가 회절 요소일 수 있다. 각 결상 렌즈는 제 1 기판의 제 1 표면상의 굴절 요소 및 제 2 기판의 제 2 표면상의 다른(another) 렌즈 요소를 포함할 수 있다. 제 1 및 제 2 기판이 서로 결합된(secured) 것일 수 있다. 제 1 컬러의 조의 이미지의 해상도는 서브 카메라의 해상도와 실질적으로 동일할 수 있다. 제 2 컬러의 조는 청색 광 또는 휘도 정보를 포함할 수 있다. 각 서브 카메라는 하나의 컬러의 조와 결합 될 수 있다.
본 발명의 장점 및 특징은, 전기적으로 제어 가능한 렌즈들, 적어도 세 개의 컬러의 조, 결상 렌즈, 결상 렌즈로부터 적어도 세 개의 컬러의 조의 이미지를 받는 검출기 어레이; 및 검출기 어레이로부터 전기적 신호를 받으며, 전기적으로 제어 가능한 렌즈에 인가된 제어 신호를 연속적으로 공급하여 검출기 어레이 상의 이미지를 쉬프팅하고, 검출기 어레이로부터의 전기적 신호로부터 합성 이미지를 형성하는 프로세서;를 구비하는 컬러 카메라를 제공함으로써 구현될 수 있다.
합성 이미지의 소망된 해상도가 구현될 때까지 그 프로세서는 변화하며 제어 신호를 연속적으로 공급할 수 있다. 제 2 컬러의 조는 휘도 정보를 포함하고, 제 1 컬러의 조는 컬러 정보를 포함할 수 있다.
본 발명의 장점 및 특징은 각 서브 카메라가, 결상 렌즈, 컬러 필터, 및 검출기 어레이를 포함하는, 적어도 세 개의 서브 카메라를 포함하는 컬러 카메라를 제공함으로써 구현될 수 있다. 또한 컬러 카메라는, 적어도 세 개의 서브 카메라로부터 이미지들을 결합하여 다중 컬러 합성 이미지를 형성하고, 적어도 세 개의 서브 카메라 중 적어도 두 개의 서브 카메라로부터 입력된 정보를 검출하는 제2 검출기는 제1 검출기에 수용되는 파장과 실질적으로 동일한 파장을 수용하고, 제 2 검출기에 대한 제 1 검출기의 광 경로 상에 위치하는 적어도 하나의 상이한 광학 요소를 더 포함하고, 다중 컬러 합성 이미지의 해상도를 각 서브 카메라의 해상도보다 더 크게 증가 시킨다.
그 상이한 광학 요소는, 제 1 검출기에서 광을 차단하기 위해 사용되는 마스크이며, 제 1 검출기에 대한 마스크의 형상이, 마스크가 없을 수 있는 제 2 검출기에 대한 마스크와 다를 수 있다. 제 1 및 제 2 서브 카메라는 실질적으로 동일한 컬러 필터들을 가지며, 제 1 및 제 2 검출기는 각각 제 1 및 제 2 서브 카메라 내에 있을 수 있다. 제 1 및 제 2 서브 카메라의 컬러 필터들은 실질적으로 녹색 광만을 전송하거나, 휘도 정보만을 전송할 수 있다. 제 1 및 제 2 서브 카메라들은 서로 인접하여 있을 수 있다.
본 발명의 장점 및 특징은, 각 서브 카메라가, 결상 렌즈, 컬러 필터 및 검출기 어레이를 포함하는, 적어도 세 개의 서브 카메라를 포함하는 컬러 카메라를 제공함으로써 구현될 수 있다. 그 컬러 카메라는 적어도 세 개의 서브 카메라들로부터 이미지들을 결합하여 다중 컬러 합성 이미지를 형성하고, 적어도 세 개의 서브 카메라들 중 적어도 두 개 각각이 실질적으로 동일한 컬러 스펙트럼을 생성하고, 그 실질적으로 동일한 컬러 스펙트럼을 위한 그 적어도 두 개의 이미지들은 개개의 서브 카메라의 해상도보다 높은 실질적으로 동일한 컬러 스펙트럼에 대한 합성 이미지의 해상도를 제공하기 위해 그 사이에 편차를 가지며, 컬러 이미지의 해상도는 합성 이미지의 해상도 보다 낮은 실질적으로 동일한 컬러 스펙트럼을 갖지 않을 수 있다.
본 발명에 관한 상술한 특징과 다른 특징들 및 그 유리한 점들은, 이하 첨부된 도면에 관련하여 그 실시예를 상세히 기술함으로써 이 기술 분야의 통상의 지식을 가진자에게 명백해질 것이다.
도 1a는 종래 카메라의 결상 시스템(imaging system)의 개략적인 측면도이다.
도 1b는 도 1a의 종래 카메라를 사용하기 위한 종래의 컬러 필터(color filter)의 평면도이다.
도 1c는 종래의 컬러 필터의 다른 평면도이다.
도 2a는 본 발명의 일 실시예에 따른 카메라의 결상 시스템의 개략적인 투시도이다.
도 2b 내지 도 2d는 본 발명의 실시예들에 따른 컬러 필터들의 평면도들이다.
도 2e는 본 발명의 일 실시예에 따른 마이크로 카메라에 있어서 사용을 위한 매크로-화소/마이크로-화소(macro-pixel/micro-pixel) 형상에 관한 개략적인 분해 조립 측면도이다.
도 3a 및 도 3b는 본 발명의 다른 실시예에 따른 다른 컬러 필터들의 평면도들이다.
도 4a 내지 도 4d는 본 발명에 따른 시스템에 있어서 서로 다른 차단 요소(blocking element)들에 관한 개략적인 측면도들이다.
도 5는 렌즈에 인접한 마스크를 포함하는 본 발명의 일 실시예에 관한 개략적인 측면도이다.
도 6은 본 발명의 또 다른 실시예에 관한 개략적인 측면도이다.
도 7a는 본 발명을 사용하기 위한 특별한 렌즈 시스템에 관한 개략적인 측면도이다.
도 7b는 도 7a의 렌즈 시스템의 개략적인 투시도이다.
도 8a는 본 발명의 일 실시예에 따른 서브 카메라 배열의 개략적인 평면도이 다.
도 8b는 도 8a의 서브 카메라에 대해 쉬프팅된 이미지의 개략적인 평면도이다.
도 9는 본 발명의 카메라를 사용한 액체 렌즈의 개략적인 측면도이다.
이제 본 발명은, 본 발명의 바람직한 실시예들이 도시된 수반되는 도면들에 관하여 이하에서 더욱 상세히 기술될 것이다. 그러나, 본 발명은 다른 형상으로 구현될 수 있으며, 여기에 기술된 실시예들에 제한되어 해석되어서는 안 된다. 오히려 이러한 실시예들은 그 개시가 전체를 통하여 완전하도록 제공되고, 이 기술 분야의 통상의 지식을 가진 자에게 본 발명의 개념을 상세하게 전달할 것이다. 도면에 있어서, 층들과 영역들은 설명의 명확성을 위해 과장되게 도시되어 있다. 또한, 어떤 층이 또 다른 층 또는 기판 "상에" 존재하는 것으로 언급될 경우, 그 층이 그 다른 층 또는 기판상에 직접적으로 존재하거나, 또는 다른 중간층이 존재하는 것으로 이해될 수 있다. 그리고 어떤 층이 또 다른 층의 "하부에" 존재하는 것으로 언급될 경우, 그 층이 직접적으로 아래에 존재하거나, 또는 하나 또는 그 이상의 중간층이 존재하는 것으로 이해될 수 있다. 또한, 어떤 층이 두 층 "사이에" 존재하는 것으로 언급될 경우, 그 층이 그 두 층들 사이의 오직 하나의 층이거나, 또는 하나 또는 그 이상의 중간층이 존재하는 것으로 이해될 수 있다. 명세서 전체에 걸쳐 유사한 숫자는 유사한 구성요소를 나타내는 것이다.
결상 시스템(imaging system)에 있어서 유효 인자는 시스템의 f/# 이며, 여 기서 f/# = f/D이고, f는 렌즈의 초점 길이, D는 렌즈의 조리개의 크기를 나타낸다. f/#의 값을 종래의 카메라와 동일하게 유지하면서 보다 박형의 카메라를 제조함에 있어서, f의 값이 감소할 경우 D의 값도 같은 정도로 감소하는 것이 요구된다.
본 발명의 일 실시예에 따른 박형 카메라의 일반적인 구조가 도 2a에 도시되어 있다. 박형 카메라(20)는 결상 렌즈 어레이(Imaging Lens Arrary, ILA)(22), 컬러 필터(color filter)(25) 및 검출기 어레이(detector array)(24)를 포함한다. 검출기 어레이(24)는 종래의 카메라의 검출기 어레이와 동일할 수 있으며, 필 팩터(fill factor, 충진율)를 증가시키기 위해 각 화소에 대응한 마이크로렌즈를 가진, 마이크로 어레이를 포함할 수 있다. 도 2a의 그림에 도시된 바와 같이 종래의 단일 렌즈의 초점 길이가 절반이 될 경우, D 또한 절반이 되어 f/#의 값이 유지된다. 종래의 카메라와 동일한 시계(field of view)를 유지하기 위하여, 렌즈들(22a-22d)의 2×2 어레이가, 센서 면의 1/4 영역에 어드레싱된 각각의 렌즈로 사용될 수 있다. 렌즈들(22a-22d), 컬러 필터(25a-25d) 및 검출기 어레이(24)의 대응 부분 각각의 결합은 서브 카메라를 구성한다. 따라서, 도 2A에 도시된 실시예의 경우 전부 4개의 서브 카메라가 존재한다. 4개의 서브 카메라 각각에 의한 이미지는 프로세서(30)에 제공되고, 이미지들은 결합 되어 잘 알려진 방법으로 합성 컬러 이미지(composite color image)를 형성한다. 컬러 필터(25)는 센서 면과 카메라의 정면 사이의 어느 곳에도 배치될 수 있다.
여기서, 렌즈 또는 서브 카메라의 개수는 단지 두께에 의해 유도되기보다는 오히려 여러 인자들의 결합에 의해 유도된다. 먼저 일반적으로 더 많은 렌즈가 사용될수록 카메라의 두께는 더욱 얇아진다. 그러나, 많은 계산상 신호 처리 없이 이미지 센서에 있어서의 전체 화소의 수와 동등하거나 상당하는, 합성 이미지에 있어서 해상도를 획득하는 것이 본 발명에 따른 실시예의 특징의 하나이다. 이를 달성하기 위해, 광학의 점상분포함수(Point Spread Function, PSF)는 센서 상의 화소 피치보다 작은 것이 바람직하다. 사용되는 렌즈가 많을수록, 센서의 최대 해상도(full resolution)의 회복이 더욱 어려워진다. 예컨대, 센서가 백만 화소를 포함할 때, 2×2 ILA가 사용되었다고 가정할 경우 각 서브 카메라로부터의 이미지의 해상도는 250,000 화소가 된다. 그러나, 백만 또는 그 근방의 해상도를 가진 합성 이미지를 생성하는 것은, 본 발명에 따른 실시예의 특징의 하나인데, 이는 대략 4 배로 해상도를 증가시킴을 의미한다. 2×2 ILA에 대하여, 복안 카메라의 경우보다 계산상 훨씬 수월한 반면에, 렌즈의 크기 및 대응하는 서브 카메라의 두께는 종래의 단일 렌즈 카메라의 절반이다. 결국, 고체 광학 경로가 ILA와 검출기 사이에 제공될 수 있는데, 즉 그들 사이에 공기의 갭(gap)이 없을 수 있다. 이것은 공기보다 높은 굴절률을 가진 물질 내부에 초점을 맞추고, 또한 ILA의 각 렌즈로부터의 회절 제한 영역(diffraction limited spot) 크기가 줄어든다.
사용된 컬러 필터(25)에 관한 예시적인 실시예들이 도 2b 내지 도 2d에 도시되어 있다. 컬러 필터(25)는, 도 2b에 도시된 바와 같이, 22a 내지 22d의 각 렌즈에 대응하는 25a 내지 25d의 서로 다른 컬러 필터를 가질 수 있다. 특히, 필터 25a는 적색광(R)을 투과하고, 필터 25b 및 25c는 녹색광(G)을 투과할 수 있으며, 필터 25d는 청색광(B)을 투과할 수 있다. 각각의 렌즈는 전체 이미지를 캡쳐링 하기 때문에, 각 서브 카메라로부터의 이미지를 결합함으로써 합성 이미지가 구현될 수 있다. 합성 이미지는 각 서브 카메라의 해상도보다 큰 해상도를 가지게 될 것이다. 예컨대, 종래의 메가화소(megapixel)의 카메라, 즉 백만 화소의 카메라에는 250,000개의 청색 화소, 250,000개의 적색 화소 및 500,000개의 녹색 화소가 있다. 각 화소는 이미지의 서로 다른 부분으로부터 빛을 샘플링한다. 그러나 통상적으로 내삽(interpolation)에 의해 풀 컬러(full color)의 백만 화소가 생성된다. 만약, 각 카메라상의 각 이미지가 동일하다면, 250,000개의 적색 화소 정보, 250,000개의 청색 화소, 및 각각의 녹색 서브 카메라에 대하여는 250,000개인 500,000개의 녹색 화소 정보가 될 것이다. 따라서, 독립적인 정보 샘플의 개수는, 적색 및 청색에 대해서는 종래의 백만 화소 카메라와 같게 되나, 두 개의 녹색 서브 카메라가 동일하기 때문에 녹색에 대하여는 적게 될 것이다.
본 발명에 따른 일 실시예에 있어서, 두 개의 녹색 카메라는 검출기 면(detector plane) 근방에 조리개를 배치함으로써 서로 구별될 수 있다. 화소 내부의 서로 다른 위치에 조리개를 배치함으로써, 두 개의 녹색 서브 카메라는 이미지의 서로 다른 부분을 샘플링하고, 따라서 250,000이라기 보다는 500,000 정보의 샘플을 생성하게 된다. 마찬가지로 이러한 정보의 증가를 획득할 수 있는 몇 가지 다른 방법이 있다. 두 개의 녹색 카메라에 있어서의 서로 다른 집합의 샘플을 허용하는 어떠한 방법도 이러한 증가를 달성한다. 다른 방법은, 하나의 녹색 카메라에 관하여 약간 쉬프팅된 다른(another) 녹색 카메라에 대한 센서 면 상에서 이미지를 생성하는 것과, 조리개와 이미지 쉬프팅(image shifting)의 결합을 사용하는 것을 포함한다.
만약 조리개가 사용되었다면, 이것을 달성하는 한가지 방법은 통상적인 CMOS 이미지 센서에 있어서의 고유한 자연광 차단층(natural light blocking layers)을 사용하는 것이다. CMOS 이미지 센서는 통상적으로 각 화소 상에 입사하는 광의 상당 부분을 차단하는 회로소자를 갖는다. 예컨대, 각 화소 영역의 25% - 70%가 통상적으로 이러한 회로에 의해 차단된다. 종래의 카메라에 있어서, 마이크로 렌즈 어레이(micro-lens arrays)(MLAs)가 각 화소에 의한 광 포착(capture)의 효율을 증가시키기 위하여 통상적으로 사용된다. 종래의 방법에 의하면, MLA 내의 렌즈의 피치가 CMOS 센서 칩 상의 화소의 피치와 동일한데, 다시말해 각 화소에 대해 하나의 마이크로 렌즈가 존재한다. 이러한 방법은 통상적으로 각 화소의 광 포착 효율을 대략 75-85%까지 증가시킨다. 본 발명의 일 실시예에 따라서 광 차단 조리개(light blocking aperture)를 획득하는 한가지 방법은, 녹색 필터를 포함하는 서브 카메라에 있어서, 간단히 마이크로 렌즈가 없는 CMOS 센서 칩을 사용하는 것이다. 두 개의 녹색 이미지가 화소에 관하여 동일한 레지스트레이션(registration)을 갖지 않는 한, 두 개의 녹색 카메라는 다른 영역에 있는 이미지를 샘플링할 것이다. 즉 두 개의 녹색 카메라에 의해 다른 데이터가 생성될 것이다. 만약 두 개의 녹색 카메라가 화소에 관하여 동일한 레지스트레이션(registration)을 가진다면, 두 번째 녹색 서브 카메라보다는 첫 번째 녹색 서브 카메라에서 회로가 다른 영역에 있는 광을 차단하도록, 이미지 센서 칩 상의 회로 설계가 수정될 수 있다.
CMOS 칩 상에 형성된 층들을 광의 일부분을 차단하기 위해 사용하는 것외에, 각 화소에 의해 검출된 이미지의 부분을 쉬프팅하기 위해 특수한 MLAs가 사용될 수 있다. 예컨대, MLAs는, 각 마이크로 렌즈가 각 화소의 활성 영역의 중심을 약간 벗어나도록 설계될 수 있다. 이러한 방식에 있어, 약간 다른 이미지의 부분이 두 개의 녹색 카메라용 센서의 활성 영역 상에 초점이 맞추어질 수 있다.
MLAs가 하나의 카메라에 대한 하나의 쉬프트(shifter) 및 다른(another) 카메라에 대한 다른(another) 쉬프트(shifter)를 제공할 수 있음을 알아야한다. 또는 대신에, 서브 카메라 내부의 각 마이크로 렌즈는 모든 화소에 대해 약간 서로 다른 쉬프트(shifter)를 제공할 수 있고, 두 개의 녹색 서브 카메라 내의 대응하는 녹색 화소들의 대다수는, 소망된 물체 거리 범위 내에 있는 물체 거리의 모든 범위에 대하여 서로 다른 신호를 받는다.
따라서, 결과적으로 네 개의 서브 카메라가 사용되는데, 즉, 하나의 서브 카메라는 적색이고, 하나의 서브 카메라는 청색이며, 다른 두 개의 서브 카메라는 녹색이다. 따라서, 합성 이미지가 형성될 때, 그 합성 이미지에 있어서의 적색 및 청색 해상도는 서브 카메라의 해상도와 같다. 그러나, 두 개의 각 카메라로부터의 정보가 결합되어 보다 높은 해상도의 합성 이미지를 형성하기 때문에, 녹색에 대한 합성 이미지의 해상도는 각 카메라의 해상도를 능가하여 증가한다.
상술한 바와 같이, 적색 및 청색 서브 카메라에 대한 해상도를 증가시킬 필요는 없다. 그럼에도 불구하고, 몇몇 경우에 있어서는 전술한 바와 같은 녹색, 적색 및 청색 카메라에 대한 이미지 쉬프팅 및/또는 조리개 사용하는 것, 예컨대 적 색 및 청색 서브 카메라에 대해 약간 다른 영역에 있는 이미지를 샘플링하는 것은 여전히 유익하다.
각 렌즈가 전체 이미지를 캡쳐링하기 때문에, 이러한 컬러 이미지는, 즉 단순히 배이어 패턴(Bayer pattern)을 사용함으로써, 종래의 컬러 필터/화소 배열의 두 배의 해상도를 가진 풀 컬러(full color)를 위해 결합 될 수 있다.
대신에, 도 2c에 도시된 바와 같이, 각 렌즈 22a-22d는 서로 다르게 패턴된 컬러 필터 25aa 내지 25dd로 배열될 수 있고, 각 렌즈는 4×4 컬러 필터 어레이로 결합 될 수 있다. R 및 B 필터의 위치가 4×4 어레이의 서로 다른 사분면에 있고 각 렌즈가 전체 이미지를 캡쳐링하기 때문에, 컬러 이미지가 구현될 수 있다. 또한, 여기에 각 사분면의 두 배를 점유하는 만큼의 두 배의 G 필터가 있다.
또 다른 선택으로서, 도 2d에 도시된 바와 같이, 각 화소가 이와 결합된 컬러 필터를 가지는, 종래의 컬러 필터인 R-G-B 컬러 필터 패턴이 사용될 수 있다. 이 경우에 있어서, 만약 각 카메라가 센서 면 상의 동일한 이미지를 캡쳐링한다면, R, G 및 B 필터의 위치는 각 카메라에 대해 서로 다른 위치일 것이 요구된다. 전술한 도 2b -2d의 실시예들의 어느 하나에 있어서, 화소들의 사분의 일은 N/4 개의 샘플링 포인트(sampling point)를 생성하고, 화소들의 사분의 일은 이미지에 있어서의 N/4개의 청색 샘플을 생성하며, 화소들의 이분의 일은 N/2개의 녹색 샘플을 생성한다. 상술한 어느 방법도 N/2개의 녹색 샘플이 실질적으로 독립적임을 확인하기 위해 사용될 수 있다.
상술한 실시예에는 여전히 네 개의 카메라가 있다. 첫 번째 실시예에 있어서, 각 서브 카메라는 단지 하나의 컬러를 이미지화한다. 다른 두 실시예에 있어서, 각 서브 카메라에 대한 복합 컬러 필터가 있다. 그러나, 모든 실시예에 있어서, 합성 이미지 내의 각 화소에 대하여, 네 개의 대응 화소 샘플, 즉 하나의 청색, 하나의 적색 및 두 개의 녹색 화소 샘플이 있다. 이러한 모든 방법에 있어서, 각 화소 샘플은 상이한 서브 카메라로부터 얻어진다. 첫 번째 방법에 있어서, 모든 적색 화소는 하나의 서브 카메라로부터 얻어진다. 두 번째 방법에 있어서, 적색 화소 정보는 서로 다른 화소에 대한 서로 다른 서브 카메라로부터 얻어진다. 각 서브 카메라에 대한 합성 컬러를 제공하는 하나의 장점은, 결상(imaging) 범위가 상대적으로 카메라에 가까워질 때 증가하지만 물체 거리의 목표 범위는 상당히 커질 때 발생한다. 카메라로부터의 물체의 거리에 의존하기 때문에, 센서 상에서 이미지의 약간 다른 쉬프팅가 있게 된다. 두 개의 녹색 카메라에 대한 신호가 어떤 영역에 대하여 거의 동일한 이미지의 위치가 일부 있을 수 있다. 만약 이러한 경우라면, 더 많은 카메라로부터 녹색 이미지를 얻는 것은 이미지의 해상도를 증가시킬 수 있다.
도 2b -2d의 어떠한 필터도, 도 2e에 도시된 바와 같이, 하나의 화소에 대하여 하나의 마스크와 결합 될 수 있다. 예컨대, 그러한 마스크는, 크기 dxdy의 복수 개(nxny)의 매크로 화소(34)를 가질 수 있는데, 각 센서(36)에 대하여 하나의 매크로 화소(macro pixel)(34)가 대응된다. 각 매크로 화소(34)는 필터로서 기능하며, 특징부(feature)(32)를 갖는다. 각 매크로 화소는 복수 개의 센서(36)를 포함한 (도 2A에 도시된) 검출기 어레이(24)와 ILA 사이에 있다. 각 매크로 화소의 크기 d x d y 는 화소 또는 센서의 크기 pxpy와 같거나, 그보다 클 수 있다. 각 매크로 화소를 통과하여 투과된 광의 전부 또는 대부분은 대응하는 센서 상으로 직접 향할 수 있다. 각 매크로 화소의 투과율(transmittance)은 그 매크로 화소의 전역에서 변화할 수 있다. 투과율에 있어서의 이러한 변화은 매크로 화소를 마이크로 화소로 분할함으로써 설명될 수 있는데, 여기서 각 마이크로 화소의 투과율은 균일할 수 있다. 각 매크로 화소(34)는 크기 q의 mx개의 마이크로 화소(32)을 가진다. 더욱 일반적으로, x 방향에 있어서 크기 qx의 마이크로 화소(32) mx 및 y 방향에 있어서 크기 qy의 마이크로 화소 my개가 존재한다. 따라서, 각 센서(36) 상에 입사하는 파워는, 대응하는 매크로 화소(32)상의 모든 마이크로 화소들(32) 전체에 걸쳐, 마이크로 화소의 투과율이 곱해진 각 마이크로 화소(32) 상의 파워의 합과 동일하다.
각 마이크로 화소(32)는 개방되어 있거나 닫혀 있을 수 있는데, 즉 1 또는 0의 투과율을 가질 수 있으며, 각 매크로 화소(34)에서 mx×my 개 마이크로 화소(32)들 중 오직 한 개만 개방될 수 있다. 이 경우, mx = my = 10을 고려하면, 매크로 화소(34)당 100 개의 마이크로 화소(32)가 된다. 또한, 종래 카메라와 같은 20×20 마이크론의 센서 크기 및 초점길이 400 마이크론의 f/1 렌즈를 고려해 보라. 그러면, 렌즈의 크기는 또한 400 마이크론이며, 예컨대, 렌즈가 구형이면 렌즈는 400 마이크론의 직경을 가지고, 렌즈가 사각형이면 렌즈는 400 마이크론의 너비 를 갖는다. 카메라가 배열될 것이기 때문에, 배열된 렌즈 사이에 죽은 공간(dead space)이 없도록, 센서 요소(36)를 렌즈 크기와 대략 같은 디멘젼 내로 제한하는 것이 바람직하다. 그것은 센서의 배열 크기를 대략 400 마이크론으로 제한하고, 따라서 센서(36)의 수를 20×20 어레이로 제한한다. 이 경우에 있어서, 카메라의 해상도는 1/qx×1/qy 와 같다. 그러나 그 결과는 샘플링된 이미지이며, 즉 그 이미지는 200×200 화소 이미지의 20×20개의 의 샘플을 가질 것이다.
나머지 화소들은, 마이크로 카메라의 어레이를 형성함으로써 얻어질 수 있는데, 각 마이크로 카메라는 마이크로 렌즈(22a), 복수 개의 센서(36) 및 하나의 특징부(feature)(32)를 갖는 복수 개의 매크로 화소(34)를 포함한다. 마이크로 렌즈의 수 l 은 x 방향 및 y 방향에 있어서 다를 수 있는데, 즉 lx, ly일 수 있다. 매크로 화소(34)는 마이크로 카메라의 이미지 면에 위치할 수 있다. 매크로 화소(34)의 수 nx, ny 및 센서(36)는 이미지 면에서의 이미지 크기 및 화소의 선택된 크기 px, py에 의해 결정된다. 이러한 모든 요소는, 개개의 마이크로 렌즈(22)에 의해 정의된 마이크로 카메라(30)를 가진, 단위 장치일 수 있다. 상술한 예가 각 매크로 화소에 대해 크기 q의 개방된 마이크로 화소를 갖는 반면, 소망된 최소 특징부(feature) 크기 q의 특징부(feature)를 가진 필터로 이미지의 각 부분을 보는 카메라에 대한 nxny 개의 센서가 존재하는 한, 소망된 해상도가 구현될 수 있다. 상술한 컬러 필터를 결합함으로써, 상기 전술한 바와 같이 해상도를 증가시키기 위해 필요한 서브 화소(sub pixel)의 절반이 필요할 수 있다.
각 매크로 화소에 대해 쉬프팅된 단일 마이크로 화소를 갖는 대신에, 다중 홀(multiple hole) 또는 마이크로 화소가 매크로 화소마다 개방되어 있을 수 있다. 상술한 대로, 마이크로 화소 어레이 내의 모든 마이크로 화소가 개방될 경우, 아무 빛도 마이크로 화소에 차단되지 않는다. 만약 단 하나의 마이크로 화소가 개방되어 있다면, 소망된 해상도가 대응하는 매크로 화소 상에서 구현된다. 따라서, 각 매크로 화소에 대한 모든 정보가 캡쳐링되는 한, 이미지는 다양한 방법으로 마이크로 카메라에 의해 분해된다. 각 마이크로 화소의 크기에 대한 각 매크로 화소의 크기 비율은 박형 카메라에 있어서 마이크로 카메라의 수에 비례할 수 있다. 마이크로 화소의 어레이 일부는 매크로 화소 내의 모든 빛이 통과하는 것을 허용하고, 그 매크로 화소에 대해 강도(intensity)의 평균값을 준다. 통상적으로, 대부분의 매크로 화소는 적어도 절반의 마이크로 화소를 개방되게 할 것이다. 더욱이 그레이 스케일(gray scale)의 방법에서, 각 마이크로 화소에는, 마이크로 화소들 사이에서 변화할 수 있는 투과율이 할당된다. 그러면, 마이크로 화소가 개방되어 있다거나 닫혀 있다고 언급하기보다, 매크로 화소는 투과율의 어떤 레벨을 받을 것이다. 예컨대, 대부분의 매크로 화소 내의 마이크로 화소의 적어도 20% 가 0.4 보다 큰 투과율을 가질 수 있다.
작은 f/# 렌즈에 대하여, 요구되는 시계(field of view)상에서 회절이 제한된 이미지를 제공하기가 어려울 수 있다. 이 경우에 있어서, 곡면상에 빛의 초점을 맞추는 것이 때때로 더 수월하다. 이러한 방식으로, 렌즈 어레이의 뒷면은 각 렌즈 상에 중심을 둔 곡면으로 식각 될 수 있다. 또는 그 뒷면이, 곡면에 인접한 일련의 불연속적인 환상(ring)으로 식각 될 수 있다. 그러면, 그 홀(hole)은 이 곡면 또는 다른 편평하지 않은 표면상에 제공될 것이다. 곡면 또는 다른 편평하지 않은 평면상에 홀(hole)을 제공하는 것은, 이미지가 광범위한 시계에 걸쳐 회절이 제한된 것임을 보증하는 것을 돕는다.
[52]컬러 필터를 구현하기 위한 또 다른 대안이 도 3a 및 도 3b에 도시되어 있다. 네 개의 렌즈가 사용된다고 가정할 때, 필터(35)는 35a 내지 35b의 영역을 포함할 것이다. 도 3a에 도시된 실시예에 있어서, 적어도 두 개의 컬러가 각 화소 영역상에 제공된다. 영역 35a는 모든 빛을 투과하는데, 즉 필터를 갖지 않으며, 영역 35b는 적색 및 녹색을 투과하고, 영역 35c는 청색 및 녹색을 투과하며, 영역 35d는 적색 및 청색을 투과한다. 또 다른 영역에 의해 구현된 녹색 우세(green dominance)에 의해, 영역 35d는 제거될 수 있다. 만약 모든 영역이 사용된다면, 적색 값을 결정하는 것은, 영역 35a에서의 대응 화소로부터, 영역 35c에서의 화소로부터의 파워를 단순히 빼는 것이다. 다른 컬러의 값도 비슷한 방식으로 구해질 수 있다. 따라서, 녹색 우세가 유지되는 동안, 단지 세 개의 렌즈 및 결합된 필터가 풀 컬러(full color)를 구현하기 위해 요구된다. 이것은 또한 검출기 면 상에 입사하는 빛의 양을 증가시킨다. 예컨대, 종래의 필터를 사용할 때, 적색 광의 25%, 청색 광의 25%, 및 녹색 광의 50%가 투과된다. 상술한 세 개의 필터로, 대략 67%의 적색 광, 67%의 청색 광, 및 100%의 녹색 광이 투과된다. 만약 동일한 양의 파워가 각 검출기 상에 입사한다면, 검출기가 동일한 이득(gain)을 갖도록 하는 동안, 상술한 바와 같은 동일한 쉬프팅을 제공하기 위해 대부분의 투과 필터에서 빛의 일부 가 차단될 것이다.
또 다른 실시예는 도 3b에 도시된, Joint Photographic Experts Group(JPEG)에 의해 확립된 포맷을 사용하는 컬러 필터(37)를 사용한다. 다시 네 개의 렌즈가 사용된다고 가정하면, 필터(37)는 영역 37a 내지 37d를 포함할 것이다. 도 3b에 도시된 바와 같이, 두 개의 영역 35a, 35d는 Y 필터를 가지고, 영역 35b는 R 필터를 가지며, 영역 35c는 B 필터를 가진다. JPEG 표준에 따르면, YUV 필터는 다음 수식(1)에 따라 투과한다.
Y = 0.299R + 0.58G + 0.114B
U = B - Y
V = R - Y
(1)
따라서, YUV 구성요소는 도 3b에 도시된 필터(37)로부터 결정될 수 있다. Y 필터에 의해 투과된 신호는 휘도로서 기능 한다. 만약 더 많은 빛이 투과될 필요가 있다면, 약 모든 녹색 광, 약 0.51의 적색 광, 및 약 0.2의 청색 광을 지나는 동안, 동일함을 유지하는 나머지 필터로, Y 필터에 의해 투과된 빛의 비율이 동일하게 유지될 수 있다.
[54]통상적으로, KPEG 부호화(encoding)는 더 많은 개수의 Y 샘플을 갖는다. 이 사실은 카메라의 해상도를 개선하는 데 이용될 수 있다. 예컨대, 서로 다른 정보를 서로 다른 Y 영역 상에 제공함으로써, 해상도가 개선될 수 있다. 그러한 서로 다른 정보는 빛의 일부를 차단함으로써, 이미지를 쉬프팅 함으로써, 또는 이들을 결합함으로써 제공될 수 있다. 만약 ILA의 점상분포함수(PSF)가 화소 크기보다 작다면, Y 영역의 하나에 대한 빛을 차단하기 위한 검출기 어레이 면 내의 금속 또는 다른 불투명한 물질에 초점을 맞춤으로써, 빛의 일부는 결과적으로 두 개의 Y 영역의 이미지 사이에서 달라진다. 이것은 또한 변경된 이미지를 받기 위해 각 화소와 결합된 마이크로 렌즈를 제거함으로써 달성될 수 있다. 쉬프팅된 이미지를 구현하기 위하여, ILA 또는 검출기에 대한 마이크로 렌즈 내의 적절한 렌즈가 오프셋(offset), 즉 축을 벗어날 수 있다. 따라서, 합성 이미지의 해상도는 다른 컬러 이미지가 더 낮은 해상도를 갖는 Y 이미지의 해상도에 결정될 수 있다. 또한, Y 필터가 다른 필터보다 더 많은 파워가 지나가도록 허용하기 때문에, 검출기 어레이 상의 파워를 동일하게 하는 동안 이 필터에 대해 빛이 차단될 수 있다.
적색, 청색, 녹색 구성에 대한 녹색 필터로 동일한 방법이 이용될 수 있다. 더욱이, 쉬프팅 및/또는 차단이 두 Y 영역에 모두 이용될 수 있다. 또한, 차단은 상술한 조리개를 사용함으로써 구현될 수 있다. 결국, 서로에 대한 청색 및 적색 이미지의 상대적인 쉬프팅이 이러한 이미지의 해상도를 개선하기 위해 이용될 수 있다.
크로스토크(crosstalk)하는 ILA 수단 내의 작은 렌즈 수의 증가는 이슈 이상이 되었다. 렌즈들 사이, 또는 각 렌즈로부터 빛을 고립시킨 검출기 면과 렌즈 사이의 광 차단 요소는, 도 4a 내지 도 4d에 도시된 바와 같이, 이러한 크로스토크를 최소화하기 위해 사용될 수 있다. 그러한 차단 요소는 불투명하거나 흡수성일 수 있다. 이러한 차단 요소들은 시스템 내부의 종래의 조리개(stop)를 대신할 수 있다. 검출기 크기를 동일하게 유지하는 동안, 렌즈 크기는 f/#을 유지하도록 감소 될 수 있고, 렌즈 사이의 공간은 도 4a, 4b 및 4d에 도시된 바와 같은 차단 요소를 포함할 수 있다. 초점 길이를 줄이고 시스템의 f/#을 유지하는 것뿐만 아니라, 낮은 필 패터(fill factor, 충진율)(예컨대, 모든 렌즈의 투명 조리개 영역의 합이 센서 영역의 70% 이하인 경우)를 가진 보다 작은 렌즈의 사용은, 크로스토크를 줄이고, 시계를 증가하는 데 사용될 수 있다. 렌즈 어레이의 필 팩터(fill factor)가 100% 이하인 동안, 검출기는 여전히 100% 필 팩터를 가질 것이다.
도 4a에 도시된 바와 같이, 차단 요소(46)가 검출기 어레이(44) 위로 ILA의 렌즈(42)들 사이에 놓여 있다. 이것은 보다 작은 렌즈가 동일한 검출기 어레이(44)로 사용가능하게 한다. 검출기 어레이(44)에서 감지 영역(sensing region)은 연속적이지 않은데, 즉 감지 영역 사이에 죽은 공간(dead space)이 존재한다. 이 차단 요소(46)는 유광(stray light)이 검출기 어레이(44)상에 부딪히는 것을 방지한다.
도 4b에 도시된 바와 같이, 테이핑된(tapered) 차단 요소(50)가, 인접한 렌즈(42)들 사이 및 렌즈(42)와 검출기 면(44) 사이에 있다. 이러한 테이핑된 차단 요소(50)는, 원하는 빛을 불필요하게 차단하지 않고, 가능한 많은 크로스토크를 차단하기 위해 검출기 면(44)에 확장 돨 수 있다.
도 4c에 도시된 바와 같이, 렌즈(42)들이 서로 떨어져 있지 않은 경우에도, 여기에 높은 종횡비를 가지며 검출기 면(44)에 가까운 차단 장치(52)가 크로스토크를 줄이기 위해 사용될 수 있다. 이것은 특히 축을 벗어난 조명을 차단하는데 유용하다.
도 4d에 도시된 바와 같이, 렌즈(42)는 검출기 면(44) 상에 결상(imaging)하 기 위한 광학 시스템 내부의 단지 하나의 요소일 수 있다. 예컨대, 렌즈(42)는 다른 광학 요소(64), 예컨대 기판(60)의 맞은 편 표면상에 있는 회절 또는 굴절 광학 요소를 가지고 기판(60) 상에 형성될 수 있다. 또한, 광학 요소를 포함하는 또 다른 기판이 제공될 수 있거나, 광학 요소를 포함하는 또 다른 기판이 대신 제공될 수 있다. 더욱이, 차단 요소는 제 1 차단 부분(64) 및 제 2 차단 부분(64)을 포함할 수 있다. 여기서, 제 1 차단 부분(64)은 검출기 면(44)보다 렌즈(42)에 더 가까우며, 검출기 면(44)에 더 가까운 제 2 차단 부분(66)보다 더 두껍다. 이러한 방식으로, 도 4b와는 다른 테이핑된 구조가 크로스토크를 최소화하기 위해 사용될 수 있다.
기판(60)의 맞은 편 표면상의 다른 광학 요소를 갖는 것 외에 또는 갖는 것 대신에, 도 5에 도시된 바와 같이, 이러한 표면상에 상술한 바와 같은 마스크(68)가 제공될 수 있다. 렌즈(42)와 마스크(68)가 동일 기판(60) 상에 있기 때문에, 렌즈(42)와 마스크(68)의 정렬이 쉽게 구현될 수 있다. 검출기 면(44) 상에 결상하기 위한 광학 요소(72)를 더 포함하는 또 다른 기판(70)이 사용될 수 있다. 여기서, 마스크가 광학 요소(72)와 검출기 면(44) 사이에 있지 않기 때문에, 광학 요소(72)는 품질이 떨어질 수 있는데, 예컨대 모든 빛을 집광하는 동안 수차(aberration)가 생길 수 있다. 동일 기판(60)상에서 렌즈(42)에 대한 마스크(68)의 정렬은 검출기 면(44)에 마스크(68)를 정렬하는 것보다 훨씬 쉽게 달성될 수 있다. 또한, 이것은 렌즈(42)와 검출기 면(42) 사이의 정렬 요건을 줄인다.
[62]크로스토크를 줄이는 또 다른 실시예의 예가 도 6에 도시되어 있다. 여 기서, ILA의 렌즈(42)가, ILA와 검출기 면(44) 사이에 있는 컬러 필터(84)에 대응하는 컬러 필터(82)로 덮여 있다. 달리 말하면, 컬러 필터(82)의 각 필터들(82a, 82b)은 컬러 필터(84)의 각 컬러 필터들(84a, 84b)에 대응된다. 서브 카메라에의 입구(input) 및 ILA와 검출기 면(44) 사이에서 컬러를 필터링 함으로써, 인접한 필터가 다른 컬러를 투과하면, 크로스토크가 줄어든다. ILA의 또 다른 렌즈의 경로에 들어오는 것으로부터 ILA의 한 렌즈로 들어오는 빛을 차단하는 기능을 하는 한, 컬러 필터(82)는 렌즈(42)의 꼭대기에 있을 필요는 없으나, 그 하부에 있을 수도 있다. 또한, 컬러 필터(84)는 검출기 상에 직접 존재할 수 있으며, MLA의 전방 또는 후방에 존재할 수 있다.
본 발명에 사용된 ILA 렌즈의 구체적인 예가 도 7a 및 도 7b에 도시되어 있다. 도 7a 및 7b에 있어서, 서로 다른 광 경로들이 물체로부터의 서로 다른 필드 포인트에 대응한다. 제 1 기판(110)은 입사하는 광을 시준(collimate)하는 제 1 굴절 표면(112)을 가진다. 제 1 기판의 제 2 표면(114)은 평면일 수 있으며, 그 위에 적외선 필터(115)를 포함할 수 있다. 제 2 기판(120)의 제 1 표면(122)은 그 위에, 컬러 및 결상 수차(imaging aberration)를 교정하는 회절 요소(123)를 가질 수 있다. 만약 각 서브 카메라가 단일 컬러 필터를 가진다면, 단일 회절 요소(123)가 각 서브 카메라에 대해 사용될 수 있다. 제 2 표면(124)은 빛의 초점을 맞추기 위해 제 2 굴절 표면을 가질 수 있다. 제 3 기판(130)은 그 안에 굴절의, 오목한 표면(132)을 가진다. 모든 이미지 점들이 검출기 어레이(24) 상으로 이미지화된 동일 평면(135)에서 초점이 맞추어지도록, 그 오목 표면(132)은 이미지의 필드를 평평하게 한다.
상기의 실시예에 있어서, 해상도를 개선하기 위하여 두 개의 녹색 서브 카메라의 결상은 서로 다른 이미지를 받는다. 만약 물체가 무한대에 놓여 있다면, 0 주파수의 화소가 각 렌즈의 중심에 위치하게 될 것이다. 따라서, 소망된 이미지 쉬프팅를 달성하기 위해, ILA 내부의 렌즈들은 정수 화소와 1/2 화소의 덧셈에 의해 서로에 관하여 쉬프팅 될 수 있다. 달리 말하면, ILA 내부의 인접한 렌즈들 사이의 중심 간격 P에 대한 중심은 다음과 같이 주어질 것이다.
P = ( N + 1/2 )*x (2)
여기서, x는 화소 피치이고, N은 정수이다. 예컨대, 만약 ILA 내부의 각 렌즈가 직경 1mm, x가 10 마이크론, 및 N이 150으로 선택되면, 중심 간격의 중심 P 는 1.505 mm 가 된다.
만약 물체가 무한대에 놓여 있지 않으면, 한 렌즈의 중심 아래에 위치하는 이미지 화소는 인접한 렌즈의 중심 아래에 위치하지 않을 것이다. 대신에, 그것은 다음과 같이 주어진 양만큼 쉬프팅될 것이다.
s = P *
di
/
do
(3)
여기서, di는 대부분의 장치에 대한 렌즈의 초점 길이와 거의 동일한, 즉 R = do/di는 10보다 큰 이미지 거리이고, do는 물체 거리이다. 초점 길이 2mm 및 10마이크론의 화소 피치 x를 가정했을 때, 이미지 쉬프팅는, 무한대로부터 거의 3 m 떨어진 물체 거리에 대하여 화소의 십분의 일 이하로 남는다. 그러나, 만약 화소 피치 x 가 3 마이크론으로 줄어들면, 물체 거리가 3 일때, s 는 화소의 1/3의 삼분의 일이 될 것이다.
비록 이미지들이, 물체 거리에 따라 서브 카메라 화소 상의 서로 다른 상대적 위치에 배치되어 있지만, 합성 이미지가 생성될 때 틀린 화소를 결합함에 있어서 이슈가 없다. 상대적으로 간단한 이미지 처리 알고리즘이, 서로 다른 서브 카메라로부터 상호 관련된 이미지를 생성하기 위해 필요한 쉬프트의 양을 결정하기 위해 사용될 수 있다. 그러나, 그러한 이미지 쉬프트가 결과적으로 이미지 사이에 다른 차이가 없거나 거의 없기 때문에, 이미지 쉬프트가 정수 플러스 1/2 대신에 정수 개의 화소에 더 가까운 물체의 위치에서, 그러한 내삽(interpolation)은 문제가 된다.
넓은 범위의 물체 거리가 필요하다면, 동일하거나 비슷한 컬러 필터를 가진 카메라로부터의 서로 다른 이미지를 확인하는 한 방법은, 그들의 경로 내에 서로 다른 영역을 제공하는 것이다. 예컨대, 조리개, 즉 검출기 면 내의 광 차단 영역이 사용될 수 있다. 예컨대, 두 개의 녹색 서브 카메라 G1 및 G2 상에 서로 다른 신호를 보장하는 한가지 방법이 도 8b에 도시되어 있다. 이 실시예에 있어서, G1 서브 카메라는 조리개를 갖지 않는다. 따라서, G1 카메라에 대한 MLA는 화소의 활성 영역 상으로의 센서 화소로 입사하는, 센서 면 내의 거의 모든 빛의 초점을 맞춘다. G2 카메라 상에서 각 화소 상의 빛의 일부가 차단된다. 도 8b에 도시된 예에서, 각 화소의 왼쪽 절반 위의 빛이 조리개(140)에 의해 차단된다. 또한, 두 개의 G1 및 G2 카메라의 렌즈 중심들은 y 방향에 있어서 서로 매우 가깝게 놓여 있다. 즉, y 방향으로 렌즈들의 중심의 중심 좌표가 작은 양, 예컨대 0.5 화소, 또는 x = 3 마 이크론에 대해 1.5 마이크론만큼 오프셋 되어 있다. y-오프셋이 매우 작기 때문에, y 방향에서의 이미지 위치 내의 쉬프트가 물체 거리의 매우 넓은 범위에 걸쳐서 매우 작을 것이다. 예컨대, 만약 y-오프셋이 화소의 1/3이면, 수식(3)으로부터 R > 4인 이상, 쉬프트 s가 R = 4 에서 R = 무한대까지 화소의 1/2 이하 만큼 변화할 것이다. 따라서, y 방향에 있어서 화소의 알려진 크기의 쉬프트가 물체 거리의 넓은 범위에서 유지될 수 있고, 두 개의 녹색 카메라가 서로 다른 y 위치에서 이미지를 샘플링하는 것을 보증한다. 이것은 y 방향에서의 해상도를 증가하기 위한 두 개의 녹색 카메라 이미지를 사용하는 능력을 보증할 것이다. 이 결과적인 쉬프트는 도 8b의 G2 카메라에서의 화소(145)에 의해 지시된다.
또한 x 방향으로 해상도를 증가시키기 위하여, G2 카메라 내의 각 화소의 좌측으로 향하는 빛을 차단하는 조리개가 G2 카메라상에 사용된다. 물체 거리가 변하기 때문에, 두 개의 서브 카메라상의 이미지의 x 방향에서의 상대적인 쉬프트가 변할 것이다. 하나의 서브 카메라에는 조리개를 사용하고 다른 하나에는 조리개를 사용하지 않거나, 또는 두 개의 서브 카메라상에 서로 다른 형상의 조리개를 사용하기 때문에, 상대적인 쉬프트가 결정되어 있는 한, x 방향으로 임의의 쉬프트에 대해 x 방향으로의 해상도 증가를 달성할 수 있다. 예컨대, 만약 두 개의 카메라상의 신호가 정렬되어 있다면, G2 신호 자체가 각 화소의 우측 절반의 평균값을 낳기 때문에, G1 카메라의 신호로부터 G2 카메라의 신호를 뺌으로써 각 화소의 좌측 상의 신호를 결정할 수 있다. 만약 이미지가 화소의 1/2 만큼 쉬프팅된다면, G2 신호는 각 화소의 좌측 절반을 낳고 뺄셈을 하면 각 화소의 우측 절반을 산출할 것이다. 만약 이미지가 화소의 1/4 만큼 쉬프팅된다면, G2 신호는 G1 신호들의 샘플 사이의 중간 지점의 신호를 낳을 것이다. 만약 이미지가 화소의 3/4 만큼 쉬프팅된다면, G1 및 G2 신호의 중심이 x 방향으로 정렬된다. 그러나, 대응하는 G1 및 G2 화소를 빼고, 내삽 알고리듬을 사용함으로써, 다시 증가된 해상도를 달성할 수 있다. 예컨대, i 번째 화소에 대해, 만약 G1 신호가 G2 신호로부터 제거된다면, 그 결과는 화소 좌측 1/4과 화소 우측 1/4의 합이다. 화소 좌측 1/4 값이 이전 화소의 우측 1/4 화소 값과 동일하게 접근시킴으로써, 또는 가장 가깝게 이웃하는 샘플들의 증가된 평균적인 합, 우측 1/4 화소값이 결정될 수 있다.
이 실시예는 G1 및 G2 서브 카메라 내의 각 화소가 x 방향 및 y 방향의 서로 다른 위치에서 중심을 잡게 할 것이다. 예컨대, G1 서브 카메라 내에 N/4 개의 화소가 있고, G2 서브 카메라에 대해 N/4개의 화소가 있다면, N/2개 만큼 유일한 녹색 이미지가 있을 것이다. 적색 및 청색 카메라 R, B에 대한 렌즈가 도 8a의 예에 대한 y 방향을 따라 오프셋 될 수 있다. 정수 배의 화소 쉬프트를 일으키는 서로 다른 물체 거리의 상기 문제가 일어날 수 있다. 그러나, 일반적으로 보다 높은 해상도는 적색 및 청색에서보다 녹색에서 더욱 뚜렷하기 때문에, 해상도에 있어서 그러한 감소가 확실하지 않을 수 있다. 만약 그러하다면, 조리개가 적색 또는 청색 서브 카메라에 비슷하게 채용될 수 있다. 더욱이, 도 3b와 관련하여 상술한 바와 같이, Y, U, V 서브 카메라를 사용할 때 상술한 해결책은 또한 적용 가능하다.
서로 다른 이미지를 보증하기 위한 또 다른 해결책은, 도 9에 도시된 바와 같이, 전체 카메라(20)에 대해 액체 렌즈(150)를 사용하는 것을 수반한다. 이 액체 렌즈(150)는 전압(V)을 적용함으로써 조율될 수 있는, 투명하고 전기적으로 도체인 액체(152)를 포함한다. 약한 액체 렌즈, 즉 적은 양의 집광력(focusing power)을 가진 것을 사용함으로써, 액체 렌즈가 카메라의 초점을 미세 조율(fine tune)하는데 사용될 수 있다. 액체 렌즈(150)의 초점이 변화하기 때문에, 자동-초점으로 역할을 하는 카메라(20)의 결합된 초점 또한 변화할 수 있다. 카메라(20)의 서브 카메라의 렌즈가 액체 렌즈의 중심으로부터 오프셋 되어 있기 때문에, 액체 렌즈 초점에서의 작은 변화가 센서 어레이 상의 이미지 위치를 쉬프팅 할 것이다. 따라서, 만약 두 개의 서브 카메라가 동일한 이미지를 생성하는 물체 거리가 발생하면, 전압이 이미지의 위치를 쉬프팅하기 위해 적용될 수 있다.
게다가 또는 대신에, 액체 렌즈를 사용하여 서브 카메라의 각 화소로부터 다중 신호를 생성함으로써 훨씬 높은 해상도가 달성될 수 있다. 예컨대, 초기 이미지가 샘플링된 후, 화소의 1/4 만큼 이미지를 쉬프팅시키는 액체 렌즈(150)에 전압이 인가될 수 있다. 그러면, 이미지가 다시 샘플링될 수 있다. 각 센서에 대한 소망된 샘플 개수를 생성하기 위하여, 이러한 쉬프트 및 샘플링이 반복될 수 있다. 예컨대, 1/4 화소 및 3/4 화소만큼 쉬프팅 함으로써 네 개의 샘플이 구현될 수 있다. 이 액체 렌즈(150)는 또한 후자의 방식으로 사용될 수 있다. Bayer 필터 패턴을 사용한 단일 서브 카메라로, 서브 카메라에 관하여 한 방향 또는 양 방향에 있어서 오프셋 된 액체 렌즈의 중심으로, 따라서, 증가 된 해상도를 구현하기 위해 사용된 쉬프팅은, 동시적으로 라기보다 연속적으로 형성될 수 있다.
본 발명의 실시예는 여기에 개시되고, 비록 구체적인 용어가 채용되었지만, 이들은 단지 제한적인 목적을 위해서가 아니라 보편적이고 기술적인 의미로 사용되거나 해석되어 질 수 있다. 예컨대, 종래의 세 가지 컬러는 적색, 녹색 및 청색을 구성요소로 하거나, YUV가 사용되는 반면에, 풀 컬러 결상을 구현하기 위하여 임의의 적절한 세 가지 컬러가 채용될 수 있다. 또한, 원형 렌즈가 ILA 용으로 묘사되어 있지만, 더 높은 필 팩터(fill factor)를 위한 더 높은 팩킹(packing) 밀도를 허용하는, 육각형의 렌즈와 같은, 다른 형상이 사용될 수 있다. 또한, 동일 컬러를 가지는 서브 카메라에 있어서 서로 다른 이미지를 제공하기 위하여 다른 조리개가 기술되어 있지만, 차이를 제공하는 다른 광학 요소가 사용될 수 있다. 예컨대, 화소 자신의 활성 영역이 서로 다른 서브 카메라에 대해 다르게 형상화될 수 있다. 따라서, 이 기술 분야의 통상의 지식을 가진 자에 의해 형상의 다양한 변형이 가능하며, 이하에서 기술될 청구범위와 같은 본 발명의 사상과 범위를 벗어나지 않는 범위 내에서 변형예가 가능할 수 있음이 이해되어야 할 것이다.
본 발명은 각각 결상 렌즈, 컬러 필터 및 검출기 어레이를 포함하는, 적어도 세 개의 서브 카메라들; 및 적어도 세 개의 서브 카메라들로부터 이미지들을 결합하여 다중 컬러 합성 이미지를 형성하는 수단;을 구비하며, 적어도 세 개의 서브 카메라들은 검출기들의 총 개수 N과 상이한 컬러의 조(colror set)의 총 개수 X를 포함하고, 제 1 컬러의 조의 신호들의 제 1 개수가 N/X 보다 작고 제 2 컬러의 조의 신호의 제 2 개수가 N/X 보다 크며 제 2 컬러의 조의 신호들은 적어도 세 개의 서브 카메라들 중 적어도 두 개로부터 출력되고, 제 2 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크고 제 1 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크지 않은, 컬러 카메라에 관한 것으로, 증가된 시계(field of view)를 가진 박형의 카메라에 사용될 수 있다.
Claims (36)
- 결상 렌즈(imaging lens), 컬러 필터 및 검출기 어레이를 포함하는 적어도 세 개의 서브 카메라와,상기 적어도 세 개의 서브 카메라로부터 이미지를 결합하여 다중 컬러 합성 임지를 형성하는 콤바이너(combiner)를 포함하고,상기 적어도 세 개의 서브 카메라는 총 N개의 검출기와, 총 X개의 서로 다른 컬러의 조(set)를 갖는 컬러 필터를 포함하고,제 1 컬러의 조의 신호의 제 1 개수는 N/X 보다 작거나 같고,상기 적어도 세 개의 서브 카메라 중의 적어도 두 개의 서브 카메라로부터 출력되는 제 2 컬러의 조의 신호의 제 2 개수는 N/X 보다 크고,상기 제 2 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크고,상기 제 1 컬러의 조의 합성 이미지의 해상도는 각 서브 카메라의 해상도보다 크지 않고,상기 제 2 컬러의 조와 연관된 제 1 서브 카메라에 위치하고, 상기 제 2 컬러의 조와 연관된 제 2 서브 카메라로부터 출력된 신호와 상기 제 1 서브 카메라로부터 출력된 신호를 다르게 하는 식별 요소(differentiating element);를 포함하는 컬러 카메라 .
- 제 1항에 있어서,상기 식별 요소는 상기 결상 렌즈 및 상기 제 1 서브 카메라의 검출기 어레이 사이에 위치한 조리개를 구비하는 것을 특징으로 하는 컬러 카메라.
- 제 1항에 있어서,상기 식별 요소는 상기 제 2 서브 카메라로부터 출력된 상기 제 2 컬러의 조의 제 2 이미지에 대하여 상기 제 1 서브 카메라로부터 출력된 상기 제 2 컬러의 조의 제 1 이미지를 연속적으로 쉬프팅(shifting)하는 것을 특징으로 하는 컬러 카메라.
- 제 3항에 있어서,상기 식별 요소는 전압 제어형 액체 렌즈를 포함하는 것을 특징으로 하는 컬러 카메라.
- 제 1항에 있어서,상기 컬러의 조와 연관된 컬러 필터들은 각 결상 렌즈의 상부(top)에 구비되는 것을 특징으로 하는 컬러 카메라.
- 제 5항에 있어서,각 서브 카메라는 상기 결상 렌즈와 상기 검출기 어레이 사이에 다른(another) 컬러 필터를 더 구비하는 것을 특징으로 하는 컬러 카메라.
- 제 1항에 있어서,인접한 결상 렌즈들 사이에 차단 요소(blocking element)를 더 구비하는 것을 특징으로 하는 컬러 카메라.
- 제 7항에 있어서,상기 차단 요소는 상기 결상 렌즈들 근처에서 더욱 넓고 상기 검출기 어레이 쪽으로 더욱 좁도록 테이핑된(taped) 것을 특징으로 하는 컬러 카메라.
- 제 1항에 있어서,각 결상 렌즈는 기판의 제 1 표면상의 굴절 요소 및 상기 기판의 제 2 표면상의 다른(another) 렌즈 요소를 포함하는 것을 특징으로 하는 컬러 카메라.
- 제 9항에 있어서,상기 다른 렌즈 요소는 회절 요소인 것을 특징으로 하는 컬러 카메라.
- 제 1항에 있어서,각 결상 렌즈는 제 1 기판의 제 1 표면상의 굴절 요소 및 제 2 기판의 제 2 표면상의 다른(another) 렌즈 요소를 포함하는 것을 특징으로 하는 컬러 카메라.
- 제 11항에 있어서,상기 다른 렌즈 요소는 회절 요소인 것을 특징으로 하는 컬러 카메라.
- 제 11항에 있어서,상기 제 1 및 제 2 기판은 서로 결합된(secured) 것을 특징으로 하는 컬러 카메라.
- 결상 렌즈;적어도 세 개의 컬러의 조를 갖는 컬러 필터;상기 결상 렌즈로부터 상기 적어도 세 개의 컬러의 조의 이미지를 수용하는 검출기 어레이;상기 결상 렌즈의 중심과 오프셋되고 인가되는 전압을 제어하는 것으로 초점거리를 조정할 수 있는 액체 렌즈; 및상기 검출기 어레이로부터 전기적 신호를 수용하고, 상기 액체 렌즈에 인가된 제어 신호를 연속적으로 공급하여 상기 검출기 어레이 상으로 이미지를 쉬프팅하고, 상기 검출기 어레이로부터 연속적으로 출력되는 전기적 신호로부터 합성 이미지를 형성하는 프로세서;를 구비하는 컬러 카메라.
- 제 14항에 있어서,상기 프로세서는 상기 합성 이미지의 소망하는 해상도가 구현될 때까지 변화하며 제어 신호를 연속적으로 공급하는 것을 특징으로 하는 컬러 카메라.
- 제 14항에 있어서,제 1 컬러의 조는 컬러 정보를 포함하고, 제 2 컬러의 조는 휘도 정보를 포함하는 것을 특징으로 하는 컬러 카메라.
- 결상 렌즈, 컬러 필터 및 검출기 어레이를 포함하는 적어도 세 개의 서브 카메라와,상기 적어도 세 개의 서브 카메라의 이미지들을 합성하여 다중 컬러 합성 이미지를 형성하는 콤바이너(combiner)를 포함하고,상기 적어도 세 개의 서브 카메라 중 적어도 두 개의 서브 카메라로부터 입력된 정보를 검출하는 제2 검출기는 제1검출기에 수용되는 파장과 실질적으로 동일한 파장을 수용하고, 상기 제 2 검출기에 대한 상기 제 1 검출기의 광 경로에 위치하는 적어도 하나의 식별 광학 요소(differentiating optical element)를 더 포함하고,상기 적어도 하나의 식별 광학 요소는 상기 제 2 검출기에 대한 상기 제 1 검출기의 화소 정보를 변경함으로써, 상기 다중 컬러 합성 이미지의 해상도를 각 서브 카메라의 해상도보다 더 크게 증가시키고,상기 식별 광학 요소는 상기 제 1 검출기에서 광을 차단하기 위해 사용되는 마스크이고, 상기 제 1 검출기에 대한 마스크의 형상은 상기 제 2 검출기에 대한 마스크와 다른(different) 컬러 카메라.
- 제 17항에 있어서,상기 제 2 검출기에 대한 마스크는 완전히 투명한 것을 특징으로 하는 컬러 카메라.
- 볼록 굴절 요소를 가진 제 1 기판;오목 굴절 요소를 가진 제 2 기판;상기 볼록 굴절 요소와 오목 굴절 요소 사이에 형성된 공기 갭(gap)을 포함하고 상기 제 1 기판과 제 2 기판 사이에 형성된 간격(separation)과 차단 요소(blocking element); 및검출기 어레이를 포함하고,상기 오목 굴절 요소는 상기 볼록 굴절 요소보다 상기 검출기 어레이에 더 가깝고, 상기 차단 요소는 상기 제 2 기판에 인접하고 상기 볼록 굴절 요소 근처로 갈수록 더 넓어지고 상기 검출기 어레이 쪽으로 갈수록 더 좁아지는 카메라.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/763,396 | 2004-01-26 | ||
US10/763,396 US7405761B2 (en) | 2003-10-01 | 2004-01-26 | Thin camera having sub-pixel resolution |
US56027304P | 2004-04-08 | 2004-04-08 | |
US60/560,273 | 2004-04-08 | ||
US10/949,807 | 2004-09-27 | ||
US10/949,807 US7773143B2 (en) | 2004-04-08 | 2004-09-27 | Thin color camera having sub-pixel resolution |
PCT/US2005/002520 WO2005072370A2 (en) | 2004-01-26 | 2005-01-26 | Thin camera having sub-pixel resolution |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070019979A KR20070019979A (ko) | 2007-02-16 |
KR101227544B1 true KR101227544B1 (ko) | 2013-01-31 |
Family
ID=34831225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067017082A KR101227544B1 (ko) | 2004-01-26 | 2005-01-26 | 서브 픽셀 해상도를 가진 박형 카메라 |
Country Status (5)
Country | Link |
---|---|
EP (2) | EP1712087B1 (ko) |
JP (3) | JP4797151B2 (ko) |
KR (1) | KR101227544B1 (ko) |
CN (1) | CN1934872B (ko) |
WO (1) | WO2005072370A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230081564A (ko) * | 2021-11-30 | 2023-06-07 | 비스에라 테크놀러지스 컴퍼니 리미티드 | 이미지를 검출하기 위한 이미지 센서 및 방법 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4673202B2 (ja) * | 2005-12-06 | 2011-04-20 | 株式会社リコー | 画像入力装置 |
EP1874034A3 (en) * | 2006-06-26 | 2011-12-21 | Samsung Electro-Mechanics Co., Ltd. | Apparatus and method of recovering high pixel image |
KR100827242B1 (ko) * | 2006-06-26 | 2008-05-07 | 삼성전기주식회사 | 이미지 복원 방법 및 장치 |
KR100809277B1 (ko) | 2006-07-05 | 2008-03-03 | 삼성전기주식회사 | 어레이 렌즈를 갖는 카메라 모듈 |
WO2008016035A1 (en) * | 2006-08-01 | 2008-02-07 | Panasonic Corporation | Camera device, liquid lens and image pickup method |
WO2008060630A2 (en) * | 2006-11-17 | 2008-05-22 | Tessera North America, Inc. | Internal noise reducing structures in camera systems employing an optics stack and associated methods |
TW200937642A (en) * | 2007-12-19 | 2009-09-01 | Heptagon Oy | Wafer stack, integrated optical device and method for fabricating the same |
JP4413261B2 (ja) | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
JP2010118818A (ja) * | 2008-11-12 | 2010-05-27 | Sharp Corp | 撮像装置 |
TW201109165A (en) * | 2009-09-11 | 2011-03-16 | E Pin Optical Industry Co Ltd | Stacked disk-shaped optical lens array, stacked disk-shaped lens module array and the method of manufacturing thereof |
EP2518995B1 (en) | 2009-12-24 | 2018-08-22 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
WO2011156926A1 (en) * | 2010-06-14 | 2011-12-22 | Heptagon Oy | Method of manufacturing a plurality of optical devices |
GB2488519A (en) * | 2011-02-16 | 2012-09-05 | St Microelectronics Res & Dev | Multi-channel image sensor incorporating lenslet array and overlapping fields of view. |
CN102907102B (zh) * | 2011-04-22 | 2015-04-01 | 松下电器产业株式会社 | 摄像装置、摄像***以及摄像方法 |
JP5001471B1 (ja) | 2011-04-22 | 2012-08-15 | パナソニック株式会社 | 撮像装置、撮像システム、及び撮像方法 |
US8866951B2 (en) * | 2011-08-24 | 2014-10-21 | Aptina Imaging Corporation | Super-resolution imaging systems |
CN102510450A (zh) * | 2011-10-17 | 2012-06-20 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
US9191635B2 (en) | 2012-03-19 | 2015-11-17 | Semiconductor Components Industries, Llc | Imaging systems with clear filter pixels |
US8791403B2 (en) * | 2012-06-01 | 2014-07-29 | Omnivision Technologies, Inc. | Lens array for partitioned image sensor to focus a single image onto N image sensor regions |
US9595553B2 (en) * | 2012-11-02 | 2017-03-14 | Heptagon Micro Optics Pte. Ltd. | Optical modules including focal length adjustment and fabrication of the optical modules |
WO2014091706A1 (ja) * | 2012-12-14 | 2014-06-19 | コニカミノルタ株式会社 | 撮像装置 |
JP6186573B2 (ja) * | 2013-08-06 | 2017-08-30 | 株式会社モルフォ | 画像処理装置及び画像処理方法 |
CN105579902B (zh) * | 2013-09-23 | 2019-06-28 | Lg伊诺特有限公司 | 一种制造相机模块的方法 |
US10662104B2 (en) | 2014-01-24 | 2020-05-26 | Konica Minolta, Inc. | Method for manufacturing lens array optical system and lens array optical system |
US9983663B2 (en) * | 2014-05-16 | 2018-05-29 | Qualcomm Incorporated | Imaging arrangement for object motion detection and characterization |
JP6495774B2 (ja) * | 2015-07-23 | 2019-04-03 | 株式会社東芝 | 形状認識装置およびその方法 |
KR102105467B1 (ko) * | 2017-12-07 | 2020-05-29 | 엘지전자 주식회사 | 카메라 장치를 구비하는 전자장치 |
US20190179132A1 (en) * | 2017-12-07 | 2019-06-13 | Lg Electronics Inc. | Electronic device having camera device |
US10616536B2 (en) | 2018-01-12 | 2020-04-07 | Semiconductor Components Industries, Llc | Imaging systems having broadband monochromatic and chromatic image sensors |
CN109672816B (zh) | 2019-01-04 | 2021-03-09 | 多普光电科技有限公司 | 矩阵图像采集***和矩阵图像投影*** |
KR102632474B1 (ko) * | 2019-02-11 | 2024-02-01 | 삼성전자주식회사 | 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013306A (ja) | 1999-06-28 | 2001-01-19 | Canon Inc | 可変焦点レンズ装置 |
JP2002135796A (ja) * | 2000-10-25 | 2002-05-10 | Canon Inc | 撮像装置 |
JP2003163938A (ja) | 2001-11-28 | 2003-06-06 | Japan Science & Technology Corp | 画像入力装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2921163B2 (ja) * | 1991-04-08 | 1999-07-19 | キヤノン株式会社 | 光学的ローパスフィルターを有した撮像装置 |
JPH06269010A (ja) * | 1993-03-13 | 1994-09-22 | Victor Co Of Japan Ltd | 色分解光学系,撮像方法,及び撮像装置 |
US5757423A (en) * | 1993-10-22 | 1998-05-26 | Canon Kabushiki Kaisha | Image taking apparatus |
JPH08172635A (ja) * | 1994-12-16 | 1996-07-02 | Minolta Co Ltd | 撮像装置 |
US5751492A (en) * | 1996-06-14 | 1998-05-12 | Eastman Kodak Company | Diffractive/Refractive lenslet array incorporating a second aspheric surface |
US6137535A (en) * | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
KR100216672B1 (ko) * | 1996-12-30 | 1999-09-01 | 김영환 | 칼라 필터 어레이 및 그 신호 처리 회로 |
US6437925B1 (en) * | 1998-06-30 | 2002-08-20 | Olympus Optical Co., Ltd. | Optical apparatus |
JP2000260056A (ja) * | 1999-01-08 | 2000-09-22 | Asahi Optical Co Ltd | 複合対物レンズ,球面収差補正素子及び光情報記録再生装置 |
US6611289B1 (en) * | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
JP3624112B2 (ja) * | 1999-03-02 | 2005-03-02 | 独立行政法人科学技術振興機構 | 自動焦点調節眼鏡 |
EP1077386A4 (en) * | 1999-03-03 | 2005-11-30 | Mitsubishi Electric Corp | INFRARED OPTICAL SYSTEM FOR INFRARED CAMERA |
US6727521B2 (en) * | 2000-09-25 | 2004-04-27 | Foveon, Inc. | Vertical color filter detector group and array |
US6859229B1 (en) * | 1999-06-30 | 2005-02-22 | Canon Kabushiki Kaisha | Image pickup apparatus |
US6806988B2 (en) * | 2000-03-03 | 2004-10-19 | Canon Kabushiki Kaisha | Optical apparatus |
US7262799B2 (en) * | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
JP2002252338A (ja) * | 2000-12-18 | 2002-09-06 | Canon Inc | 撮像装置及び撮像システム |
US6635941B2 (en) * | 2001-03-21 | 2003-10-21 | Canon Kabushiki Kaisha | Structure of semiconductor device with improved reliability |
EP3388784B1 (en) * | 2001-05-04 | 2019-07-17 | Vexcel Imaging GmbH | Method and large format camera for acquiring a large format image of a large area object |
EP1348990B1 (en) * | 2002-03-25 | 2006-01-11 | Konica Corporation | Objective composed of three lenses |
JP3567327B2 (ja) * | 2002-05-08 | 2004-09-22 | 富士写真光機株式会社 | 撮像レンズ |
JP2004088713A (ja) * | 2002-06-27 | 2004-03-18 | Olympus Corp | 撮像レンズユニットおよび撮像装置 |
-
2005
- 2005-01-26 EP EP05712116.2A patent/EP1712087B1/en active Active
- 2005-01-26 EP EP11153126.5A patent/EP2315448B1/en active Active
- 2005-01-26 JP JP2006551449A patent/JP4797151B2/ja active Active
- 2005-01-26 CN CN200580008795.XA patent/CN1934872B/zh active Active
- 2005-01-26 WO PCT/US2005/002520 patent/WO2005072370A2/en active Application Filing
- 2005-01-26 KR KR1020067017082A patent/KR101227544B1/ko active IP Right Grant
-
2011
- 2011-01-06 JP JP2011001385A patent/JP2011072039A/ja active Pending
- 2011-12-07 JP JP2011268244A patent/JP5646445B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013306A (ja) | 1999-06-28 | 2001-01-19 | Canon Inc | 可変焦点レンズ装置 |
JP2002135796A (ja) * | 2000-10-25 | 2002-05-10 | Canon Inc | 撮像装置 |
JP2003163938A (ja) | 2001-11-28 | 2003-06-06 | Japan Science & Technology Corp | 画像入力装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230081564A (ko) * | 2021-11-30 | 2023-06-07 | 비스에라 테크놀러지스 컴퍼니 리미티드 | 이미지를 검출하기 위한 이미지 센서 및 방법 |
KR102672735B1 (ko) * | 2021-11-30 | 2024-06-07 | 비스에라 테크놀러지스 컴퍼니 리미티드 | 이미지를 검출하기 위한 이미지 센서 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP1712087A2 (en) | 2006-10-18 |
EP2315448A1 (en) | 2011-04-27 |
JP2011072039A (ja) | 2011-04-07 |
CN1934872A (zh) | 2007-03-21 |
CN1934872B (zh) | 2016-08-03 |
JP2007520166A (ja) | 2007-07-19 |
JP5646445B2 (ja) | 2014-12-24 |
JP2012070431A (ja) | 2012-04-05 |
JP4797151B2 (ja) | 2011-10-19 |
WO2005072370A2 (en) | 2005-08-11 |
KR20070019979A (ko) | 2007-02-16 |
EP1712087B1 (en) | 2021-03-10 |
EP1712087A4 (en) | 2009-12-16 |
EP2315448B1 (en) | 2018-03-07 |
WO2005072370A3 (en) | 2005-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101227544B1 (ko) | 서브 픽셀 해상도를 가진 박형 카메라 | |
US7773143B2 (en) | Thin color camera having sub-pixel resolution | |
EP2083447B1 (en) | Image pickup apparatus | |
US8325266B2 (en) | Method of forming thin camera | |
US9497370B2 (en) | Array camera architecture implementing quantum dot color filters | |
JP6120508B2 (ja) | 撮像素子および撮像装置 | |
US20160205311A1 (en) | Phase-detect autofocus | |
US20110037869A1 (en) | Image capture device | |
JP6016396B2 (ja) | 撮像素子および撮像装置 | |
US9621773B2 (en) | Optical imaging apparatus, in particular for computational imaging, having further functionality | |
JP2013546249A5 (ko) | ||
KR101265432B1 (ko) | 촬상 소자 및 이것을 사용하는 촬상 장치 | |
US7053952B2 (en) | Image pickup apparatus | |
KR20070120360A (ko) | 카메라 모듈 | |
US8199231B2 (en) | Image pickup element unit with an image pickup element on a substrate for picking up an image and an optical low pass filter spaced from the image pickup element | |
JP2021067691A (ja) | 色分離レンズアレイを具備するイメージセンサ、撮像装置、及びそれを含む電子装置 | |
JP3571982B2 (ja) | 固体撮像装置及びそれを備えた固体撮像システム | |
US20100165156A1 (en) | Image capture device comprising focusing adjustment means | |
US20100194673A1 (en) | Device and a method for an image sensor and a method for manufacturing an image sensor | |
JP6232108B2 (ja) | 撮像素子および撮像装置 | |
US20220028914A1 (en) | Image sensor and image capturing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160111 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170116 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180109 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20200114 Year of fee payment: 8 |