JP2016511562A - 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 - Google Patents
複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 Download PDFInfo
- Publication number
- JP2016511562A JP2016511562A JP2015553647A JP2015553647A JP2016511562A JP 2016511562 A JP2016511562 A JP 2016511562A JP 2015553647 A JP2015553647 A JP 2015553647A JP 2015553647 A JP2015553647 A JP 2015553647A JP 2016511562 A JP2016511562 A JP 2016511562A
- Authority
- JP
- Japan
- Prior art keywords
- microlenses
- color
- images
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 18
- 239000003086 colorant Substances 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 23
- 239000000758 substrate Substances 0.000 claims description 15
- 239000011247 coating layer Substances 0.000 claims description 13
- 238000009500 colour coating Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 241000579895 Chlorostilbon Species 0.000 claims description 5
- 229910052876 emerald Inorganic materials 0.000 claims description 5
- 239000010976 emerald Substances 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000002184 metal Substances 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000012780 transparent material Substances 0.000 description 3
- 239000012466 permeate Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明の目的は、解像度が低下することなくカラー情報及び深さ情報を復元することができる撮影装置を提供することにある。本装置は、被写体から反射される反射光を透過させるメインレンズと、反射光が入射されると互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、イメージセンサ部と、イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、複数のサブイメージを格納する格納部と、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。これにより、解像度が低下することなくカラー情報及び深さ情報を復元することができる。
Description
本発明は、撮影装置及びその撮影方法に関し、より詳細には、複数のマイクロレンズを利用して撮影する撮影装置、及びその撮影方法に関する。
電子技術の発達に伴って、多様な類型の電子装置が開発及び普及しつつある。特に、ソーシャルネットワーキングサービスのように他人と交流できるサービスが人気を呼びながら、周辺写真を撮影してコンテンツを生成できる撮影装置の使用が大きく増えている。
撮影装置にはデジタルカメラだけでなく、携帯電話、タブレットパソコン、ラップトップパソコン、PDAなどのような多様な装置が含まれることができる。ユーザは、自分の撮影装置を利用して多様な写真を撮影し、これを利用できる。
従来の撮影装置は、被写体に対するフォーカスを合わせた後、CCDやCMOSのようなイメージセンサを利用して被写体イメージを格納する方式により撮影を行うようになる。最新の撮影装置の場合、オートフォーカス調整機能をサポートして、被写体に対するフォーカスを自動的に合わせるようにしている。しかしながら、フォーカス調整が正常に行われなかった状態で撮影が行われるか、または被写体が複数存在する場合、ユーザの望む被写体にフォーカスが合せられなかった状態で撮影が行われる場合もある。
この場合、ユーザは、複数回撮り直さなければならないという不都合がある。このような不都合を解決するために、最近は、複数のマイクロレンズを使用して撮影した後、フォーカスを後で合わせるようにするライトフィールド(Light Field)カメラが開発された。
従来のライトフィールドカメラは、フィルタを介してフィルタリングされた光により生成されるイメージに対してデモザイク(demosaic)作業を行って、カラーを補間する。これにより、補間したイメージ内の客体の境界付近ではブラー(blur)現象が発生する。そのため、実際の解像度が低下するという問題点があった。
韓国特開第2015−0067636号公報
本発明は、上述した問題点を解決するためのものであって、本発明の目的は、カラーフィルタリングを行う複数のマイクロレンズを利用して撮像することによって、解像度の低下を防止できる撮影装置及びその撮影方法を提供することにある。
以上のような目的を達成するための本発明の一実施の形態によれば、撮影装置は、被写体から反射される反射光を透過させるメインレンズと、前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、前記複数のサブイメージを格納する格納部と、前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。
ここで、前記制御部は、前記複数のサブイメージを利用して、3D客体検出作業またはリフォーカシング(re−pocusing)作業を行ってよい。
前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分されてよい。そして、各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
一方、前記イメージセンサは、前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、各ピクセルグループは、複数のピクセルを含み、前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過してよい。
前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
または、前記マイクロレンズアレイ部は、前記複数のマイクロレンズがマトリックスパターンで配置された第1基板と、前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第2基板とを備えてよい。
ここで、前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されてよい。
一方、本発明の一実施の形態によれば、撮影方法は、メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、前記複数のサブイメージを格納するステップと、前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップとを含む。
そして、前記カラー情報及び前記深さ情報を利用して、3D客体検出作業またはリフォーカシング(re−pocusing)作業を行うステップを更に含んでよい。
また、前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
そして、前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
本発明の多様な実施の形態によれば、複数のマイクロレンズを利用して獲得される複数のサブイメージを利用してカラー情報を復元することができる。
これにより、解像度を低下させることなく、多様なイメージを生成することができるようになる。
以下、添付された図面を利用して、本発明について具体的に説明する。
図1は、本発明の一実施の形態にかかる撮影装置の構成を示す図である。図1によれば、撮影装置100は、メインレンズ110、マイクロレンズアレイ部120、イメージセンサ部130、データ処理部140、格納部150、制御部160を備える。説明の便宜のために、図1では簡略化した構成を示しているが、その他にも多様な構成要素が更に含まれてよい。例えば、写真撮影のためのシャッタ、被写体に対する照明を提供するフラッシュ、反射鏡、絞り、ハウジングなどのような多様な構成要素が更に含まれることができる。なお、レンズもメインレンズ1101つのみが備えられるものではなく、追加で備えられてよい。
図1の撮影装置100は、複数のマイクロレンズを利用して多視点の映像を撮影できるプレノプティック(plenoptic)カメラ、または光フィールド(Light Field)カメラにより実現されてよい。
メインレンズ110は、被写体から反射される反射光を透過させる。メインレンズ110は、一般的な汎用レンズや広角レンズなどにより実現されてよい。図1においては、1つのレンズからなるものとして示しているが、メインレンズ110は、複数のレンズの集合からなってよい。
マイクロレンズアレイ部120は、複数のマイクロレンズを含む構成要素である。各マイクロレンズにはカラーが割り当てられ、メインレンズ110から入射される反射光を互いに異なるカラーでフィルタリングして透過させる。具体的には、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドなどのような多様なカラーの光を透過させる。カラーフィルタリングのために、各マイクロレンズの表面には、カラー物質層がコーティングされてよく、互いに異なるカラーのフィルタがマイクロレンズの位置に対応するパターンで形成された基板が各マイクロレンズの上側に配置されてよい。
複数のマイクロレンズは、予め設定されたカラーパターンに応じて配置されることができる。そのカラーパターン及びこれに応じた配置方法については、後述する部分において具体的に説明する。
マイクロレンズアレイ部120を透過した光は、背面のイメージセンサ部130に入射される。イメージセンサ部130は、複数のマイクロレンズの各々を介して透過された光をセンシングする。イメージセンサ部130は、相補性金属酸化物半導体(Complementary Metal Oxide Semiconductor:CMOS)と電荷結合素子(Charge Coupled Device:CCD)などのようなイメージセンサが複数並べられたイメージセンサアレイにより実現されてよい。これにより、イメージセンサ部130は、各マイクロレンズを介して透過された光によって複数の原イメージを生成する。
データ処理部140は、イメージセンサ部130でセンシングされた複数の原イメージを利用して、複数のサブイメージを生成する。ここで、サブイメージとは、多様な視点で撮影されたピクセルを組み合わせて生成されたイメージを意味する。すなわち、複数のサブイメージは、同一の被写体を互いに異なる視点で撮像したイメージから構成されてよい。
データ処理部140は、複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成することができる。サブイメージ生成方式については、後述する部分において説明する。
格納部150は、データ処理部140で生成した複数のサブイメージを格納する。
制御部160は、格納部150に格納された複数のサブイメージを利用して、多様な動作を行うことができる。具体的には、制御部160は、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、ディスパリティマッチングを行うことができる。ディスパリティマッチングとは、同じ被写体を表すピクセルがサブイメージに応じて異なる位置に存在するとき、そのピクセル間の位置差を利用して、被写体との距離、すなわち、深さ(depth)情報を算出する動作を意味する。
上述したように、複数のマイクロレンズそのものでカラーフィルタリングがなされるため、各サブイメージ内のピクセルは、互いに異なるカラー情報を有するようになる。よって、制御部160は、互いにマッチングされるピクセルのカラー値を組み合わせて、被写体のカラー情報を復元することができる。
制御部160は、復元されたカラー情報、深さ情報などを利用して、多様なイメージ処理作業を行うことができる。具体的には、ユーザの望む地点を基準にフォーカスを再調整してイメージを生成するリフォーカシング作業や、3D客体検出作業などを行うことができる。
図2及び図3は、メインレンズを透過した光がマイクロレンズアレイ部120に入射する過程を示す図である。図2のように、被写体10から反射される光は、メインレンズ110を介して透過されながら光軸方向に収束するようになる。マイクロレンズアレイ部120がその収束地点(すなわち、第2地点)以内に位置すると、反射光は、正常にマイクロレンズアレイ部120に入射される。
図3のように、マイクロレンズアレイ部120が収束地点の外側に位置すると、反射光は逆像でマイクロレンズアレイ部120に入射される。
各マイクロレンズは、入射された光をカラー光に変換させて透過させるようになり、透過された光はイメージセンサ130に入射される。
図4は、複数のマイクロレンズにより多視点映像が獲得される原理を説明するための図である。図4に示すように、X−2、X−1、X0地点から反射される光は、各々メインレンズ110を透過しながら屈折してマイクロレンズアレイ部120に入射される。屈折角度を調整するために、図4に示すように、フィールドレンズ115が更に使用されてよい。フィールドレンズ115は、マイクロレンズアレイ部120側の表面が平らに形成され、その反対側の表面、すなわち、メインレンズ110側の表面が凸状に形成されてよい。フィールドレンズ115は、メインレンズ110を透過した光をマイクロレンズアレイ部120側に伝達する。図4では、メインレンズ110の各領域θ1〜θ5を透過した光がそれぞれ異なる視点の映像を構成したものを示す。これにより、θ1〜θ5のように総5個の視点のイメージが獲得されることが分かる。
マイクロレンズアレイ部120内の各マイクロレンズには、予め設定されたカラーパターンに応じてカラーが割り当てられてよい。カラーパターンは、多様に実現されてよい。
図5は、本発明の一実施の形態にかかるカラーパターンを示す。
図5によれば、マイクロレンズアレイ部120は、複数のマイクロレンズグループ単位120−1、120−2〜120−xyに区分される。各マイクロレンズのグループ内では、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置される。図5では、1つのマイクロレンズグループ内において、第1行には、レッド(R)カラーが割り当てられたマイクロレンズ121、グリーン(G)カラーが割り当てられたマイクロレンズ122が配置され、第2行には、グリーン(G)カラーが割り当てられたマイクロレンズ123、ブルー(B)カラーが割り当てられたマイクロレンズ124が配置される。このようなマイクロレンズグループは、繰り返し配置される。図5では、複数のマイクロレンズグループがy個の行及びx個の列で配置されたものを示す。
図6は、マイクロレンズアレイ部120及びイメージセンサ部130の断面構成の一例を示す。特に、図5のようなカラーパターンを有するマイクロレンズアレイ部120において第1行を横に切った断面図を示す。
図6によれば、マイクロレンズアレイ部120は、複数のマイクロレンズ121、122、125、...が配置された基板180を含み、イメージセンサ部130は、マイクロレンズアレイ部120に接するように配置される。
基板180は、透明な材質からなってよい。
イメージセンサ部130は、第1絶縁層190、第2絶縁層300、支持基板200を備える。第1絶縁層190内には、電気的接続のための金属配線191〜196が設けられる。金属配線191〜196は、各マイクロレンズを透過した光の経路を遮断しないように設計されてよい。図6においては、1つの絶縁層190内に金属配線191〜196が備えられたものを示しているが、実施の形態によっては、金属配線は、複数の絶縁層に分散配置されてよい。
支持基板200には、複数のピクセルグループ210、220、230、...が配置される。各ピクセルグループ210、220、230、...内には、複数のピクセルを形成するイメージセンサ211〜214、221〜224、231〜234が配置される。各イメージセンサ211〜214、221〜224、231〜234は、マイクロレンズ121、122、123を透過した光をセンシングする。ピクセルグループの間には、素子分離膜410、420、430、440が備えられ、イメージセンサ間の干渉を防止する。
金属配線191〜196は、各イメージセンサと外部電極パッドと接続させる。これにより、各イメージセンサから出力される電気信号をデータ処理部140及び格納部150などに伝達することができる。
図6では、イメージセンサの全体ピクセル個数がマイクロレンズの個数を超過するように配置された場合を示す。具体的には、1つのマイクロレンズに対応する位置に4*4個のイメージセンサが備えられた場合を示す。
図7は、R、G、Bカラーパターンからなるマイクロレンズアレイ部120を利用してイメージをセンシングする場合を示す。マイクロレンズアレイ部120には、多様なカラーのマイクロレンズが配置される。
図7によれば、各マイクロレンズ121、122、123、124、125、...を透過した光が4*4ピクセルのイメージを形成したものを示す。説明の便宜のために、各マイクロレンズにより生成されるイメージを原イメージ(original image)と称する。なお、各マイクロレンズに対しては、カラー別に英字大文字R、G、Bで表示しており、その配置位置によって、ij(iは、行番号、jは、列番号)に区分する。なお、1つのイメージを構成するピクセルは、小文字r、g、bでそれぞれ表示し、そのピクセル位置に応じて1〜16のような添付番号を付して区分する。原イメージの個数は、マイクロレンズの個数に対応する。図7によれば、n*m個の原イメージが獲得できる。
データ処理部140は、イメージセンサ部130でセンシングされたイメージを構成するピクセルのうち、互いに対応する位置のピクセルを組み合わせて複数のサブイメージを生成する。
図8A及び図8Bは、複数のサブイメージを生成する方法を説明するための図である。図8Aによれば、サブイメージ1は、n*m個のピクセルからなる。サブイメージ1は、複数の原イメージのうち、第1番目の行及び第1番目の列に位置したピクセルr1、g1、b1の組み合わせからなる。
図8Bによれば、サブイメージ2は、複数の原イメージのうち、第1番目の行及び第2番目の列に位置したピクセルr2、g2、b2の組み合わせからなる。以上のように、総16個のサブイメージを生成することができる。生成された各サブイメージは、格納部150に格納される。
一方、マイクロレンズアレイ部120内の各マイクロレンズは、カラーフィルタリングを行うために、カラーコーティング層またはカラーフィルタ部を更に備えることができる。
図9は、マイクロレンズアレイ部120の構成の一例を示す。具体的には、図9は、図5のマイクロレンズアレイ部120の第1行の断面構成を示す。
マイクロレンズアレイ部120は、マイクロレンズ121、122、125、126及びこれを支持する基板180を含む。各マイクロレンズ121、122、125、126の表面には、カラーコーティング層121−1、122−1、125−1、126−1が形成される。カラーコーティング層121−1、122−1、125−1、126−1は、カラーを帯びる染料からなってよい。カラーコーティング層121−1、122−1、125−1、126−1のカラーは、予め設定されたパターンで繰り返されてよい。すなわち、奇数行では、R及びGカラーが繰り返され、偶数行では、G及びBカラーが繰り返される。
図10は、マイクロレンズアレイ部120構成の更に別の例を示す。図10によれば、マイクロレンズアレイ部120は、第1基板層610及び第2基板層620を備える。第1基板層610は、複数のマイクロレンズ612、マイクロレンズ612がマトリックスパターンで配置された基板611を備えることができる。マイクロレンズ612及び第1基板層610の間は、空いた空間613であってよく、透明な材質の物質で埋められてよい。
第2基板層620は、複数のカラーフィルタ部621〜626を備える。各カラーフィルタ部621〜626は、複数のマイクロレンズの位置に対応するように配置される。各カラーフィルタ部621〜626は、定められたカラーの光を透過させるカラーフィルタリングを行う。複数のカラーフィルタ部621〜626のカラーは、予め設定されたパターンで繰り返されてよい。例えば、図5のようなカラーパターンを有する場合には、マイクロレンズアレイ部120の第1行は、R及びGカラーが繰り返されるパターンにより実現されてよい。
以上のように、マイクロレンズは、多様な構成により実現されてカラーフィルタリングを行うことができる。マイクロレンズの有するカラーは、多様なパターンにより実現されてよい。以下では、本発明の多様な実施の形態にかかるカラーパターンの例について具体的に説明する。
図11は、4つのマイクロレンズ単位で繰り返されるカラーパターンを示す。図11Aでは、奇数番目の行では、Gカラーマイクロレンズ及びRカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Bカラーマイクロレンズ及びGカラーマイクロレンズが繰り返し配置される場合を示す。すなわち、図11Aでは、G、R、B、Gカラーをそれぞれ有する4つのカラーマイクロレンズが2*2マトリックス形態で配置されたマイクロレンズグループが繰り返し配置される実施の形態を示す。
図11Bでは、B、R、R、Gカラーマイクロレンズグループ、図11Cでは、C(Cyan)、Y(Yellow)、Y、Mカラーマイクロレンズグループ、図11Dでは、C、Y、G、Mカラーマイクロレンズグループが繰り返し配置される実施の形態を示す。
図12は、ホワイトカラーマイクロレンズを含むカラーパターンの例を示す。
図12Aでは、奇数番目の行では、W(white)カラーマイクロレンズ及びRカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Bカラーマイクロレンズ及びGカラーマイクロレンズが繰り返し配置される場合を示す。ホワイトカラーレンズとは、白色光を透過させるレンズを意味する。すなわち、別途のカラーコーティング層またはカラーフィルタ層が備えられずに、透明な材質のみからなるレンズであってよい。
図12Bでは、奇数番目の行では、W(white)、B、W、Gカラーマイクロレンズが繰り返し配置され、偶数番目の行では、B、W、G、Wカラーマイクロレンズが繰り返し配置される場合を示す。以上で説明した実施の形態では、各行では、2つのマイクロレンズ単位でカラーが繰り返される実施の形態を説明したが、図12Bに示すように、カラーが繰り返される周期は2つ以上であってよい。
図12Cでは、偶数列は、全てWカラーマイクロレンズが配置され、奇数列は、G、G、B、Bが繰り返されるパターンまたはR、R、G、Gが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
図12Dでは、偶数列は、全てWカラーマイクロレンズが配置され、奇数列は、G、B、G、Bが繰り返されるパターンまたはR、G、R、Gが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
図11及び図12では、マイクロレンズアレイ部が2*2個のマイクロレンズを含むグループ単位で区分できる実施の形態を示したが、各グループのマイクロレンズの個数は多様に実現されてよい。
図13は、3*3個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部120の構成を示す。
図13によれば、1つのマイクロレンズグループは、第1行にR、G、Bカラーマイクロレンズが配置され、第2行にはB、R、Gカラーマイクロレンズ、第3行にはG、B、Rカラーマイクロレンズが配置される形となる。マイクロレンズアレイ部120は、3*3マイクロレンズから構成されたグループが繰り返し配置される形で実現されてよい。
図14は、6*6個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部120の構成を示す。
図14によれば、1つのマイクロレンズグループは、第1行にG、B、G、G、R、Gカラーマイクロレンズが配置され、第2行にR、G、R、B、G、Bカラーマイクロレンズ、第3行にG、B、G、G、R、Gカラーマイクロレンズ、第4行にG、R、G、G、B、Gカラーマイクロレンズ、第5行にはR、G、B、R、G、Rカラーマイクロレンズ、第6行にG、R、G、G、B、Gカラーマイクロレンズが配置される。このようなカラーパターンを有するマイクロレンズグループが繰り返し配置されてよい。
以上のような実施の形態においては、各マイクロレンズは、マトリックスパターンで配置されるものとして示したが、その配置形態は、それに限定されるものではない。
図15は、複数のマイクロレンズが対角線方向に配置される実施の形態を示す。図15によれば、マイクロレンズアレイ部120は、複数の対角線列1500、1510、1520、1530、1540、1550、1560、1570、1580、1590、1600を含む。中心列1500には、2つのRカラーマイクロレンズ及び2つのBカラーマイクロレンズが交互に配置される。そして、その周辺には、複数のGカラーマイクロレンズを含む列が配置される。図15に示すように、R及びBカラーが混在する列と、Gカラーのみからなる列が対角線方向に交互に繰り返し配置されてよい。
以上のような多様なカラーパターンのマイクロレンズアレイ部120を透過した光は、イメージセンサ部130に入射される。これにより、複数の原イメージが獲得されてよい。データ処理部140は、図8A及び図8Bにおいて説明した通りに、各原イメージのピクセルのうち、互いに対応する地点のピクセルを集めて複数のサブイメージを生成する。
マイクロレンズアレイ部120において複数のマイクロレンズを利用してカラー光をフィルタリングする。すなわち、サブイメージ別にカラー情報を分けて獲得した後に復元するため、デモザイク技法のようにピクセル値に基づいて色補間を行わなくても、イメージのカラー情報を復元することができる。それにより、色補間過程において発生するブラー(blur)による解像度の低下問題を防止することができるようになる。
図16は、本発明の一実施の形態にかかる撮影方法を説明するためのフローチャートである。図16によれば、撮影装置は、撮影命令が入力されると、シャッタをオープンさせる。それにより、メインレンズを介して光が入射されると、入射された光を複数のマイクロレンズを利用して透過してカラー別にフィルタリングする(S1610)。マイクロレンズは、図9及び図10において示すような多様な構成により実現され、レンズ別にマッチングされるカラーをフィルタリングできる。マイクロレンズアレイ部のカラーパターンは、上述したように多様に実現されてよい。
各マイクロレンズを透過した光は、イメージセンサ部に入射される。イメージセンサ部は、複数のマイクロレンズを透過した光に基づいて、複数の原イメージを獲得する(S1620)。原イメージの各々は被写体を互いに異なる視点で撮影したものであり、各マイクロレンズのカラーに対応するカラーから構成される。
撮影装置は、複数の原イメージ内の各ピクセルを組み合わせて、複数のサブイメージを生成する(S1630)。また、生成されたサブイメージを格納する(S1640)。
また、サブイメージ内で互いにマッチングされるピクセルを検出し、カラー情報及び深さ情報を復元する(S1650)。カラー情報及び深さ情報などは、リフォーカシング作業、3D客体検出作業などに使用されてよい。
図17は、ユーザ選択によって多様なイメージ処理を行う方法を説明するためのフローチャートである。図17によれば、ユーザは、被写体を撮影してイメージ処理のためのメニューを選択することができる。メニューには、リフォーカシングメニュー、3D客体検出メニュー、視点変換メニューなどが更に含まれてよい。
メニュー選択によりリフォーカシング命令が入力された場合には(S1710)、撮影装置は、複数のサブイメージのうち、1つのサブイメージを選択してディスプレイする。一例として、中間位置のピクセルからなるサブイメージをディスプレイすることができる。
ユーザは、ディスプレイされたイメージ内でフォーカスを合わせようとする基準点を選択することができる(S1720)。
基準点が選択されれば、制御部160は、基準点の深さ情報を確認する(S1730)。深さ情報は、複数のサブイメージ内の各ピクセルのうち、互いに対応するピクセル値を有するピクセルの位置差を利用して探索できる。制御部160は、確認された深さ情報に合せてサブイメージのピクセルをシフトさせる。その後、シフトされたピクセルのピクセル値をその平均値で調整して、検出された基準点にフォーカスを合わせたイメージを生成する(S1740)。結果的に、基準点に対応する深さ情報を有する客体が鮮明に表示される。
一方、リフォーカシングではなく、3D客体検出命令が入力された場合には(S1750)、複数のサブイメージの間で対応するピクセルを検出して、そのディスパリティを抽出するディスパリティマッチング作業を行う(S1760)。
これにより、各ピクセルのディスパリティに応じて左眼映像及び右眼映像を生成する(S1770)。具体的には、深さの深い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を大きく生成し、深さの浅い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を小さく生成する。これにより、3Dイメージを生成できる。
図16及び図17において説明したように、本発明の多様な実施の形態によれば、撮影装置は、被写体を撮影した以後にユーザの選択によって多様な方式により調整することができる。従って、デモザイク処理をしなくても、カラーイメージを生成することができる。
図18は、イメージ処理過程の一例であるリフォーカシング作業を具体的に説明するための図である。撮影装置に入射される光は、位置qと角度pを有する光のラジエンス(radiance)であるr(q、p)で表現できる。このような光はレンズを透過した後、レンズ及びイメージセンサ間の空間を通ってイメージセンサに入射される。したがって、イメージセンサから獲得される映像のラジエンスに対する変換マトリックスは、レンズの特性マトリックスとその間の空間の特性マトリックスの積で表される。
リフォーカシングとは、フォーカスの調整された状態の映像を獲得するための作業である。すなわち、リフォーカシングとは、既に獲得したラジエンス情報を利用して、他の位置のイメージセンサ平面に到達したラジエンス情報を計算する方式でなされてよい。
図18は、リフォーカシング作業の一例を定義するための図である。図18は、r1からr2にフォーカスが調整された場合を示す。
図18において、メインレンズ110からa分離れた地点の被写体の像であるメインレンズ110からマイクロレンズアレイ部120の方向にb分離れた地点であるr1面に結像される場合、a’分離れた地点の被写体の像は、マイクロレンズアレイ部120の方向にb’分離れた地点であるr2面に結像されるようになる、
制御部160は、r1面に結像された光のラジエンス情報を利用して、r2面に結像された光のラジエンス情報を求めることができる。具体的には、r’(q、p)=r(q−tp、p)のような式を利用して、変化されたラジエンス情報を求めることができる。ここで、tは、光がメインレンズ110及びイメージセンサ130の間で通る距離を意味する。制御部160は、変化されたラジエンス情報を求めるようになれば、それに基づいて、リフォーカシングされた結果映像を作り出すことができる。具体的には、制御部160は、複数のサブイメージの各ピクセルの深さ情報を確認して、変化されたラジエンス情報に応じてピクセルを組み合わせることでフォーカスの変更されたイメージを獲得することができる。図18において説明したリフォーカシング方式は一例に過ぎず、その他にも、多様な方式でリフォーカシングやその他のイメージ処理がなされ得ることは言うまでもない。
制御部160は、r1面に結像された光のラジエンス情報を利用して、r2面に結像された光のラジエンス情報を求めることができる。具体的には、r’(q、p)=r(q−tp、p)のような式を利用して、変化されたラジエンス情報を求めることができる。ここで、tは、光がメインレンズ110及びイメージセンサ130の間で通る距離を意味する。制御部160は、変化されたラジエンス情報を求めるようになれば、それに基づいて、リフォーカシングされた結果映像を作り出すことができる。具体的には、制御部160は、複数のサブイメージの各ピクセルの深さ情報を確認して、変化されたラジエンス情報に応じてピクセルを組み合わせることでフォーカスの変更されたイメージを獲得することができる。図18において説明したリフォーカシング方式は一例に過ぎず、その他にも、多様な方式でリフォーカシングやその他のイメージ処理がなされ得ることは言うまでもない。
上述した多様な実施の形態にかかる撮影方法は、カラーフィルタを備えた複数のマイクロレンズを含む撮影装置に適用されてよい。具体的には、このような撮影方法を行うためのプログラムコードでコーディングされて非一時的読み取り可能媒体に格納されてよい。このような非一時的読み取り可能媒体は、上述したような撮影装置に搭載されて、該当装置において上述した方法を実行するようにサポートできる。
非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのような短い瞬間の間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り(reading)が可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、CD、DVD、ハードディスク、ブルーレイディスク、USB、メモリーカード、ROMなどのような非一時的読み取り可能媒体に格納されて提供されることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
Claims (10)
- 被写体から反射される反射光を透過させるメインレンズと、
前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、
前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、
前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、
前記複数のサブイメージを格納する格納部と、
前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部と
を備える撮影装置。 - 前記制御部は、
前記複数のサブイメージを利用して、3D客体検出作業またはリフォーカシング(re−pocusing)作業を行うことを特徴とする請求項1に記載の撮影装置。 - 前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位に区分され、
各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項1に記載の撮影装置。 - 前記イメージセンサは
前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、
各ピクセルグループは、複数のピクセルを含み、
前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過することを特徴とする請求項1ないし3のうちの何れか1項に記載の撮影装置。 - 前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、
前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項4に記載の撮影装置。 - 前記マイクロレンズアレイ部は、
前記複数のマイクロレンズがマトリックスパターンで配置された第1基板と、
前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第2基板とを備え、
前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項4に記載の撮影装置。 - メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、
前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、
前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、
前記複数のサブイメージを格納するステップと、
前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップと
を含む撮影方法。 - 前記カラー情報及び前記深さ情報を利用して、3D客体検出作業またはリフォーカシング(re−pocusing)作業を行うステップを更に含む請求項7に記載の撮影方法。
- 前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、
各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項7に記載の撮影方法。 - 前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、
前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項7に記載の撮影方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0007173 | 2013-01-22 | ||
KR1020130007173A KR20140094395A (ko) | 2013-01-22 | 2013-01-22 | 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 |
PCT/KR2014/000201 WO2014115984A1 (en) | 2013-01-22 | 2014-01-08 | Photographing device and photographing method for taking picture by using a plurality of microlenses |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016511562A true JP2016511562A (ja) | 2016-04-14 |
Family
ID=50030067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015553647A Pending JP2016511562A (ja) | 2013-01-22 | 2014-01-08 | 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20140204183A1 (ja) |
EP (1) | EP2757790A1 (ja) |
JP (1) | JP2016511562A (ja) |
KR (1) | KR20140094395A (ja) |
CN (1) | CN103945115A (ja) |
AU (1) | AU2014210553B2 (ja) |
TW (1) | TW201433159A (ja) |
WO (1) | WO2014115984A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020513597A (ja) * | 2016-12-05 | 2020-05-14 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | マイクロレンズアレイ |
WO2021060118A1 (ja) * | 2019-09-26 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
WO2009151903A2 (en) | 2008-05-20 | 2009-12-17 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with hetergeneous imagers |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
SG185500A1 (en) | 2010-05-12 | 2012-12-28 | Pelican Imaging Corp | Architectures for imager arrays and array cameras |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013043751A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
CN104081414B (zh) | 2011-09-28 | 2017-08-01 | Fotonation开曼有限公司 | 用于编码和解码光场图像文件的***及方法 |
WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US9100635B2 (en) | 2012-06-28 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays and optic arrays |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
EP4307659A1 (en) | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
WO2014133974A1 (en) | 2013-02-24 | 2014-09-04 | Pelican Imaging Corporation | Thin form computational and modular array cameras |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9264592B2 (en) | 2013-11-07 | 2016-02-16 | Pelican Imaging Corporation | Array camera modules incorporating independently aligned lens stacks |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
CN104864849B (zh) * | 2014-02-24 | 2017-12-26 | 电信科学技术研究院 | 视觉导航方法和装置以及机器人 |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
US9521319B2 (en) * | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
US9883151B2 (en) | 2014-11-28 | 2018-01-30 | Electronics And Telecommunications Research Institute | Apparatus and method for capturing lightfield image |
US9797716B2 (en) | 2015-01-09 | 2017-10-24 | Ricoh Company, Ltd. | Estimating surface properties using a plenoptic camera |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
CN106303166A (zh) * | 2015-05-22 | 2017-01-04 | 电信科学技术研究院 | 一种图像采集设备 |
EP3110130A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Plenoptic camera and method of controlling the same |
US10325753B2 (en) | 2015-09-23 | 2019-06-18 | Kla Tencor Corporation | Method and system for focus adjustment of a multi-beam scanning electron microscopy system |
JP6790099B2 (ja) * | 2015-09-23 | 2020-11-25 | ケーエルエー コーポレイション | マルチビーム走査型顕微鏡システムの焦点調整方法及びシステム |
KR102646437B1 (ko) | 2016-11-25 | 2024-03-11 | 삼성전자주식회사 | 멀티 렌즈 기반의 촬영 장치 및 방법 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
CN107991838B (zh) * | 2017-11-06 | 2020-10-23 | 万维科研有限公司 | 自适应三维立体成像*** |
US11143865B1 (en) * | 2017-12-05 | 2021-10-12 | Apple Inc. | Lens array for shifting perspective of an imaging system |
EP3522106A1 (en) * | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | A filter array enabling easy demosaicing |
CN109348114A (zh) * | 2018-11-26 | 2019-02-15 | Oppo广东移动通信有限公司 | 成像装置和电子设备 |
BR112022004811A2 (pt) | 2019-09-17 | 2022-06-21 | Boston Polarimetrics Inc | Sistemas e métodos para modelagem de superfície usando indicações de polarização |
BR112022006617A2 (pt) | 2019-10-07 | 2022-06-28 | Boston Polarimetrics Inc | Sistemas e métodos para detecção por sensor de normais à superfície com polarização |
CN111182179B (zh) * | 2019-11-26 | 2021-01-19 | 浙江大学 | 奇偶透镜线阵交替分布的分段平面侦察成像***和方法 |
CA3162710A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
CN111479075B (zh) * | 2020-04-02 | 2022-07-19 | 青岛海信移动通信技术股份有限公司 | 拍照终端及其图像处理方法 |
CN112816493A (zh) * | 2020-05-15 | 2021-05-18 | 奕目(上海)科技有限公司 | 一种芯片打线缺陷检测方法及装置 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
KR102561678B1 (ko) * | 2021-11-04 | 2023-07-31 | 국민대학교산학협력단 | 라이트 필드 이미지 장치 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010067624A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 撮像素子および撮像装置 |
JP2013009274A (ja) * | 2011-06-27 | 2013-01-10 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856314B2 (en) * | 2002-04-18 | 2005-02-15 | Stmicroelectronics, Inc. | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
CN101426085B (zh) * | 2004-10-01 | 2012-10-03 | 小利兰·斯坦福大学托管委员会 | 成像装置及其方法 |
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
JP4607208B2 (ja) * | 2007-05-23 | 2011-01-05 | コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション | 立体映像ディスプレイ方法 |
KR100947366B1 (ko) * | 2007-05-23 | 2010-04-01 | 광운대학교 산학협력단 | 입체영상 디스플레이 방법 및 시스템 |
US7956924B2 (en) * | 2007-10-18 | 2011-06-07 | Adobe Systems Incorporated | Fast computational camera based on two arrays of lenses |
JP4905326B2 (ja) * | 2007-11-12 | 2012-03-28 | ソニー株式会社 | 撮像装置 |
JP5472584B2 (ja) * | 2008-11-21 | 2014-04-16 | ソニー株式会社 | 撮像装置 |
JP5246424B2 (ja) * | 2009-05-11 | 2013-07-24 | ソニー株式会社 | 撮像装置 |
US8228417B1 (en) * | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
US20110242355A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
US20120019703A1 (en) * | 2010-07-22 | 2012-01-26 | Thorn Karl Ola | Camera system and method of displaying photos |
JP5699609B2 (ja) * | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
BR112013022090A2 (pt) * | 2011-03-04 | 2019-09-24 | Samsung Electronics Co Ltd | dispositivo de exibição de imagem para múltiplos pontos de visualição |
-
2013
- 2013-01-22 KR KR1020130007173A patent/KR20140094395A/ko not_active Application Discontinuation
-
2014
- 2014-01-06 TW TW103100308A patent/TW201433159A/zh unknown
- 2014-01-08 JP JP2015553647A patent/JP2016511562A/ja active Pending
- 2014-01-08 AU AU2014210553A patent/AU2014210553B2/en not_active Ceased
- 2014-01-08 WO PCT/KR2014/000201 patent/WO2014115984A1/en active Application Filing
- 2014-01-17 US US14/158,148 patent/US20140204183A1/en not_active Abandoned
- 2014-01-22 EP EP14152163.3A patent/EP2757790A1/en not_active Withdrawn
- 2014-01-22 CN CN201410030528.3A patent/CN103945115A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010067624A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 撮像素子および撮像装置 |
JP2013009274A (ja) * | 2011-06-27 | 2013-01-10 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020513597A (ja) * | 2016-12-05 | 2020-05-14 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | マイクロレンズアレイ |
WO2021060118A1 (ja) * | 2019-09-26 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2014210553A1 (en) | 2015-07-23 |
TW201433159A (zh) | 2014-08-16 |
EP2757790A1 (en) | 2014-07-23 |
WO2014115984A1 (en) | 2014-07-31 |
KR20140094395A (ko) | 2014-07-30 |
US20140204183A1 (en) | 2014-07-24 |
AU2014210553B2 (en) | 2016-03-17 |
CN103945115A (zh) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016511562A (ja) | 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 | |
US10044959B2 (en) | Mask-less phase detection autofocus | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
JP5538553B2 (ja) | 固体撮像素子及び撮像装置 | |
KR102172992B1 (ko) | 이미지 촬영 장치 및 이미지 촬영 방법 | |
CN103842877B (zh) | 成像装置和合焦参数值计算方法 | |
CN105306786A (zh) | 用于具有相位检测像素的图像传感器的图像处理方法 | |
US9106825B2 (en) | Image capture apparatus, image capture method and storage medium | |
JP2015521411A (ja) | πフィルタ群を用いてパターン化されたカメラモジュール | |
EP2720455B1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
CN103167239A (zh) | 图像处理装置、图像处理方法、摄像装置及显示设备 | |
JP6137316B2 (ja) | 深さ位置検出装置、撮像素子、及び深さ位置検出方法 | |
US20180288306A1 (en) | Mask-less phase detection autofocus | |
JP2016127043A (ja) | 固体撮像素子及び電子機器 | |
CN104813212A (zh) | 摄像装置及曝光确定方法 | |
CN104508531A (zh) | 拍摄元件和拍摄装置 | |
JP6760486B2 (ja) | 撮像装置 | |
JP6118058B2 (ja) | 固体撮像素子、撮像装置、及び制御方法 | |
JP2012211942A (ja) | 固体撮像素子及び撮像装置 | |
US9743007B2 (en) | Lens module array, image sensing device and fusing method for digital zoomed images | |
WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 | |
TWI568258B (zh) | 光學變焦成像系統及相關方法 | |
JP2015219284A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2014206709A (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161128 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170221 |