JP2016511562A - 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 - Google Patents

複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 Download PDF

Info

Publication number
JP2016511562A
JP2016511562A JP2015553647A JP2015553647A JP2016511562A JP 2016511562 A JP2016511562 A JP 2016511562A JP 2015553647 A JP2015553647 A JP 2015553647A JP 2015553647 A JP2015553647 A JP 2015553647A JP 2016511562 A JP2016511562 A JP 2016511562A
Authority
JP
Japan
Prior art keywords
microlenses
color
images
sub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015553647A
Other languages
English (en)
Inventor
リ，テ−ヒ
トゥリアコフ，ステパン
ハン，ヒ−チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016511562A publication Critical patent/JP2016511562A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明の目的は、解像度が低下することなくカラー情報及び深さ情報を復元することができる撮影装置を提供することにある。本装置は、被写体から反射される反射光を透過させるメインレンズと、反射光が入射されると互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、イメージセンサ部と、イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、複数のサブイメージを格納する格納部と、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。これにより、解像度が低下することなくカラー情報及び深さ情報を復元することができる。

Description

本発明は、撮影装置及びその撮影方法に関し、より詳細には、複数のマイクロレンズを利用して撮影する撮影装置、及びその撮影方法に関する。
電子技術の発達に伴って、多様な類型の電子装置が開発及び普及しつつある。特に、ソーシャルネットワーキングサービスのように他人と交流できるサービスが人気を呼びながら、周辺写真を撮影してコンテンツを生成できる撮影装置の使用が大きく増えている。
撮影装置にはデジタルカメラだけでなく、携帯電話、タブレットパソコン、ラップトップパソコン、ＰＤＡなどのような多様な装置が含まれることができる。ユーザは、自分の撮影装置を利用して多様な写真を撮影し、これを利用できる。
従来の撮影装置は、被写体に対するフォーカスを合わせた後、ＣＣＤやＣＭＯＳのようなイメージセンサを利用して被写体イメージを格納する方式により撮影を行うようになる。最新の撮影装置の場合、オートフォーカス調整機能をサポートして、被写体に対するフォーカスを自動的に合わせるようにしている。しかしながら、フォーカス調整が正常に行われなかった状態で撮影が行われるか、または被写体が複数存在する場合、ユーザの望む被写体にフォーカスが合せられなかった状態で撮影が行われる場合もある。
この場合、ユーザは、複数回撮り直さなければならないという不都合がある。このような不都合を解決するために、最近は、複数のマイクロレンズを使用して撮影した後、フォーカスを後で合わせるようにするライトフィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）カメラが開発された。
従来のライトフィールドカメラは、フィルタを介してフィルタリングされた光により生成されるイメージに対してデモザイク（ｄｅｍｏｓａｉｃ）作業を行って、カラーを補間する。これにより、補間したイメージ内の客体の境界付近ではブラー（ｂｌｕｒ）現象が発生する。そのため、実際の解像度が低下するという問題点があった。
韓国特開第２０１５−００６７６３６号公報
本発明は、上述した問題点を解決するためのものであって、本発明の目的は、カラーフィルタリングを行う複数のマイクロレンズを利用して撮像することによって、解像度の低下を防止できる撮影装置及びその撮影方法を提供することにある。
以上のような目的を達成するための本発明の一実施の形態によれば、撮影装置は、被写体から反射される反射光を透過させるメインレンズと、前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、前記複数のサブイメージを格納する格納部と、前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。
ここで、前記制御部は、前記複数のサブイメージを利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行ってよい。
前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分されてよい。そして、各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
一方、前記イメージセンサは、前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、各ピクセルグループは、複数のピクセルを含み、前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過してよい。
前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
または、前記マイクロレンズアレイ部は、前記複数のマイクロレンズがマトリックスパターンで配置された第１基板と、前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第２基板とを備えてよい。
ここで、前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されてよい。
一方、本発明の一実施の形態によれば、撮影方法は、メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、前記複数のサブイメージを格納するステップと、前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップとを含む。
そして、前記カラー情報及び前記深さ情報を利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うステップを更に含んでよい。
また、前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
そして、前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
本発明の多様な実施の形態によれば、複数のマイクロレンズを利用して獲得される複数のサブイメージを利用してカラー情報を復元することができる。
これにより、解像度を低下させることなく、多様なイメージを生成することができるようになる。
本発明の一実施の形態にかかる撮影装置の構成を示す図である。 メインレンズを介して透過される光がマイクロレンズアレイ部に入射される状態を示す図である。 メインレンズを介して透過される光がマイクロレンズアレイ部に入射される状態を示す図である。 複数のマイクロレンズを利用して多様な視点の映像を獲得する原理を説明するための図である。 マイクロレンズアレイ部の一例を示す図である。 マイクロレンズアレイ部及びイメージセンサの断面構成を示す図である。 複数のマイクロレンズを利用してセンシングした複数の原イメージを示す図である。 図７の原イメージ内で互いに対応する位置のピクセルを収集して生成される複数のサブイメージを示す図である。 図７の原イメージ内で互いに対応する位置のピクセルを収集して生成される複数のサブイメージを示す図である。 マイクロレンズアレイ部の断面構造の多様な例を示す図である。 マイクロレンズアレイ部の断面構造の多様な例を示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。 本発明の一実施の形態にかかる撮影方法を説明するためのフローチャートである。 複数のサブイメージを利用するイメージ処理方法を説明するためのフローチャートである。 イメージ処理のうち、リフォーカシング方式の一例を説明するための図である。
以下、添付された図面を利用して、本発明について具体的に説明する。
図１は、本発明の一実施の形態にかかる撮影装置の構成を示す図である。図１によれば、撮影装置１００は、メインレンズ１１０、マイクロレンズアレイ部１２０、イメージセンサ部１３０、データ処理部１４０、格納部１５０、制御部１６０を備える。説明の便宜のために、図１では簡略化した構成を示しているが、その他にも多様な構成要素が更に含まれてよい。例えば、写真撮影のためのシャッタ、被写体に対する照明を提供するフラッシュ、反射鏡、絞り、ハウジングなどのような多様な構成要素が更に含まれることができる。なお、レンズもメインレンズ１１０１つのみが備えられるものではなく、追加で備えられてよい。
図１の撮影装置１００は、複数のマイクロレンズを利用して多視点の映像を撮影できるプレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ、または光フィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）カメラにより実現されてよい。
メインレンズ１１０は、被写体から反射される反射光を透過させる。メインレンズ１１０は、一般的な汎用レンズや広角レンズなどにより実現されてよい。図１においては、１つのレンズからなるものとして示しているが、メインレンズ１１０は、複数のレンズの集合からなってよい。
マイクロレンズアレイ部１２０は、複数のマイクロレンズを含む構成要素である。各マイクロレンズにはカラーが割り当てられ、メインレンズ１１０から入射される反射光を互いに異なるカラーでフィルタリングして透過させる。具体的には、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドなどのような多様なカラーの光を透過させる。カラーフィルタリングのために、各マイクロレンズの表面には、カラー物質層がコーティングされてよく、互いに異なるカラーのフィルタがマイクロレンズの位置に対応するパターンで形成された基板が各マイクロレンズの上側に配置されてよい。
複数のマイクロレンズは、予め設定されたカラーパターンに応じて配置されることができる。そのカラーパターン及びこれに応じた配置方法については、後述する部分において具体的に説明する。
マイクロレンズアレイ部１２０を透過した光は、背面のイメージセンサ部１３０に入射される。イメージセンサ部１３０は、複数のマイクロレンズの各々を介して透過された光をセンシングする。イメージセンサ部１３０は、相補性金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）と電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）などのようなイメージセンサが複数並べられたイメージセンサアレイにより実現されてよい。これにより、イメージセンサ部１３０は、各マイクロレンズを介して透過された光によって複数の原イメージを生成する。
データ処理部１４０は、イメージセンサ部１３０でセンシングされた複数の原イメージを利用して、複数のサブイメージを生成する。ここで、サブイメージとは、多様な視点で撮影されたピクセルを組み合わせて生成されたイメージを意味する。すなわち、複数のサブイメージは、同一の被写体を互いに異なる視点で撮像したイメージから構成されてよい。
データ処理部１４０は、複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成することができる。サブイメージ生成方式については、後述する部分において説明する。
格納部１５０は、データ処理部１４０で生成した複数のサブイメージを格納する。
制御部１６０は、格納部１５０に格納された複数のサブイメージを利用して、多様な動作を行うことができる。具体的には、制御部１６０は、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、ディスパリティマッチングを行うことができる。ディスパリティマッチングとは、同じ被写体を表すピクセルがサブイメージに応じて異なる位置に存在するとき、そのピクセル間の位置差を利用して、被写体との距離、すなわち、深さ（ｄｅｐｔｈ）情報を算出する動作を意味する。
上述したように、複数のマイクロレンズそのものでカラーフィルタリングがなされるため、各サブイメージ内のピクセルは、互いに異なるカラー情報を有するようになる。よって、制御部１６０は、互いにマッチングされるピクセルのカラー値を組み合わせて、被写体のカラー情報を復元することができる。
制御部１６０は、復元されたカラー情報、深さ情報などを利用して、多様なイメージ処理作業を行うことができる。具体的には、ユーザの望む地点を基準にフォーカスを再調整してイメージを生成するリフォーカシング作業や、３Ｄ客体検出作業などを行うことができる。
図２及び図３は、メインレンズを透過した光がマイクロレンズアレイ部１２０に入射する過程を示す図である。図２のように、被写体１０から反射される光は、メインレンズ１１０を介して透過されながら光軸方向に収束するようになる。マイクロレンズアレイ部１２０がその収束地点（すなわち、第２地点）以内に位置すると、反射光は、正常にマイクロレンズアレイ部１２０に入射される。
図３のように、マイクロレンズアレイ部１２０が収束地点の外側に位置すると、反射光は逆像でマイクロレンズアレイ部１２０に入射される。
各マイクロレンズは、入射された光をカラー光に変換させて透過させるようになり、透過された光はイメージセンサ１３０に入射される。
図４は、複数のマイクロレンズにより多視点映像が獲得される原理を説明するための図である。図４に示すように、Ｘ−２、Ｘ−１、Ｘ０地点から反射される光は、各々メインレンズ１１０を透過しながら屈折してマイクロレンズアレイ部１２０に入射される。屈折角度を調整するために、図４に示すように、フィールドレンズ１１５が更に使用されてよい。フィールドレンズ１１５は、マイクロレンズアレイ部１２０側の表面が平らに形成され、その反対側の表面、すなわち、メインレンズ１１０側の表面が凸状に形成されてよい。フィールドレンズ１１５は、メインレンズ１１０を透過した光をマイクロレンズアレイ部１２０側に伝達する。図４では、メインレンズ１１０の各領域θ１〜θ５を透過した光がそれぞれ異なる視点の映像を構成したものを示す。これにより、θ１〜θ５のように総５個の視点のイメージが獲得されることが分かる。
マイクロレンズアレイ部１２０内の各マイクロレンズには、予め設定されたカラーパターンに応じてカラーが割り当てられてよい。カラーパターンは、多様に実現されてよい。
図５は、本発明の一実施の形態にかかるカラーパターンを示す。
図５によれば、マイクロレンズアレイ部１２０は、複数のマイクロレンズグループ単位１２０−１、１２０−２〜１２０−ｘｙに区分される。各マイクロレンズのグループ内では、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置される。図５では、１つのマイクロレンズグループ内において、第１行には、レッド（Ｒ）カラーが割り当てられたマイクロレンズ１２１、グリーン（Ｇ）カラーが割り当てられたマイクロレンズ１２２が配置され、第２行には、グリーン（Ｇ）カラーが割り当てられたマイクロレンズ１２３、ブルー（Ｂ）カラーが割り当てられたマイクロレンズ１２４が配置される。このようなマイクロレンズグループは、繰り返し配置される。図５では、複数のマイクロレンズグループがｙ個の行及びｘ個の列で配置されたものを示す。
図６は、マイクロレンズアレイ部１２０及びイメージセンサ部１３０の断面構成の一例を示す。特に、図５のようなカラーパターンを有するマイクロレンズアレイ部１２０において第１行を横に切った断面図を示す。
図６によれば、マイクロレンズアレイ部１２０は、複数のマイクロレンズ１２１、１２２、１２５、．．．が配置された基板１８０を含み、イメージセンサ部１３０は、マイクロレンズアレイ部１２０に接するように配置される。
基板１８０は、透明な材質からなってよい。
イメージセンサ部１３０は、第１絶縁層１９０、第２絶縁層３００、支持基板２００を備える。第１絶縁層１９０内には、電気的接続のための金属配線１９１〜１９６が設けられる。金属配線１９１〜１９６は、各マイクロレンズを透過した光の経路を遮断しないように設計されてよい。図６においては、１つの絶縁層１９０内に金属配線１９１〜１９６が備えられたものを示しているが、実施の形態によっては、金属配線は、複数の絶縁層に分散配置されてよい。
支持基板２００には、複数のピクセルグループ２１０、２２０、２３０、．．．が配置される。各ピクセルグループ２１０、２２０、２３０、．．．内には、複数のピクセルを形成するイメージセンサ２１１〜２１４、２２１〜２２４、２３１〜２３４が配置される。各イメージセンサ２１１〜２１４、２２１〜２２４、２３１〜２３４は、マイクロレンズ１２１、１２２、１２３を透過した光をセンシングする。ピクセルグループの間には、素子分離膜４１０、４２０、４３０、４４０が備えられ、イメージセンサ間の干渉を防止する。
金属配線１９１〜１９６は、各イメージセンサと外部電極パッドと接続させる。これにより、各イメージセンサから出力される電気信号をデータ処理部１４０及び格納部１５０などに伝達することができる。
図６では、イメージセンサの全体ピクセル個数がマイクロレンズの個数を超過するように配置された場合を示す。具体的には、１つのマイクロレンズに対応する位置に４＊４個のイメージセンサが備えられた場合を示す。
図７は、Ｒ、Ｇ、Ｂカラーパターンからなるマイクロレンズアレイ部１２０を利用してイメージをセンシングする場合を示す。マイクロレンズアレイ部１２０には、多様なカラーのマイクロレンズが配置される。
図７によれば、各マイクロレンズ１２１、１２２、１２３、１２４、１２５、．．．を透過した光が４＊４ピクセルのイメージを形成したものを示す。説明の便宜のために、各マイクロレンズにより生成されるイメージを原イメージ（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）と称する。なお、各マイクロレンズに対しては、カラー別に英字大文字Ｒ、Ｇ、Ｂで表示しており、その配置位置によって、ｉｊ（ｉは、行番号、ｊは、列番号）に区分する。なお、１つのイメージを構成するピクセルは、小文字ｒ、ｇ、ｂでそれぞれ表示し、そのピクセル位置に応じて１〜１６のような添付番号を付して区分する。原イメージの個数は、マイクロレンズの個数に対応する。図７によれば、ｎ＊ｍ個の原イメージが獲得できる。
データ処理部１４０は、イメージセンサ部１３０でセンシングされたイメージを構成するピクセルのうち、互いに対応する位置のピクセルを組み合わせて複数のサブイメージを生成する。
図８Ａ及び図８Ｂは、複数のサブイメージを生成する方法を説明するための図である。図８Ａによれば、サブイメージ１は、ｎ＊ｍ個のピクセルからなる。サブイメージ１は、複数の原イメージのうち、第１番目の行及び第１番目の列に位置したピクセルｒ１、ｇ１、ｂ１の組み合わせからなる。
図８Ｂによれば、サブイメージ２は、複数の原イメージのうち、第１番目の行及び第２番目の列に位置したピクセルｒ２、ｇ２、ｂ２の組み合わせからなる。以上のように、総１６個のサブイメージを生成することができる。生成された各サブイメージは、格納部１５０に格納される。
一方、マイクロレンズアレイ部１２０内の各マイクロレンズは、カラーフィルタリングを行うために、カラーコーティング層またはカラーフィルタ部を更に備えることができる。
図９は、マイクロレンズアレイ部１２０の構成の一例を示す。具体的には、図９は、図５のマイクロレンズアレイ部１２０の第１行の断面構成を示す。
マイクロレンズアレイ部１２０は、マイクロレンズ１２１、１２２、１２５、１２６及びこれを支持する基板１８０を含む。各マイクロレンズ１２１、１２２、１２５、１２６の表面には、カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１が形成される。カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１は、カラーを帯びる染料からなってよい。カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１のカラーは、予め設定されたパターンで繰り返されてよい。すなわち、奇数行では、Ｒ及びＧカラーが繰り返され、偶数行では、Ｇ及びＢカラーが繰り返される。
図１０は、マイクロレンズアレイ部１２０構成の更に別の例を示す。図１０によれば、マイクロレンズアレイ部１２０は、第１基板層６１０及び第２基板層６２０を備える。第１基板層６１０は、複数のマイクロレンズ６１２、マイクロレンズ６１２がマトリックスパターンで配置された基板６１１を備えることができる。マイクロレンズ６１２及び第１基板層６１０の間は、空いた空間６１３であってよく、透明な材質の物質で埋められてよい。
第２基板層６２０は、複数のカラーフィルタ部６２１〜６２６を備える。各カラーフィルタ部６２１〜６２６は、複数のマイクロレンズの位置に対応するように配置される。各カラーフィルタ部６２１〜６２６は、定められたカラーの光を透過させるカラーフィルタリングを行う。複数のカラーフィルタ部６２１〜６２６のカラーは、予め設定されたパターンで繰り返されてよい。例えば、図５のようなカラーパターンを有する場合には、マイクロレンズアレイ部１２０の第１行は、Ｒ及びＧカラーが繰り返されるパターンにより実現されてよい。
以上のように、マイクロレンズは、多様な構成により実現されてカラーフィルタリングを行うことができる。マイクロレンズの有するカラーは、多様なパターンにより実現されてよい。以下では、本発明の多様な実施の形態にかかるカラーパターンの例について具体的に説明する。
図１１は、４つのマイクロレンズ単位で繰り返されるカラーパターンを示す。図１１Ａでは、奇数番目の行では、Ｇカラーマイクロレンズ及びＲカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂカラーマイクロレンズ及びＧカラーマイクロレンズが繰り返し配置される場合を示す。すなわち、図１１Ａでは、Ｇ、Ｒ、Ｂ、Ｇカラーをそれぞれ有する４つのカラーマイクロレンズが２＊２マトリックス形態で配置されたマイクロレンズグループが繰り返し配置される実施の形態を示す。
図１１Ｂでは、Ｂ、Ｒ、Ｒ、Ｇカラーマイクロレンズグループ、図１１Ｃでは、Ｃ（Ｃｙａｎ）、Ｙ（Ｙｅｌｌｏｗ）、Ｙ、Ｍカラーマイクロレンズグループ、図１１Ｄでは、Ｃ、Ｙ、Ｇ、Ｍカラーマイクロレンズグループが繰り返し配置される実施の形態を示す。
図１２は、ホワイトカラーマイクロレンズを含むカラーパターンの例を示す。
図１２Ａでは、奇数番目の行では、Ｗ（ｗｈｉｔｅ）カラーマイクロレンズ及びＲカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂカラーマイクロレンズ及びＧカラーマイクロレンズが繰り返し配置される場合を示す。ホワイトカラーレンズとは、白色光を透過させるレンズを意味する。すなわち、別途のカラーコーティング層またはカラーフィルタ層が備えられずに、透明な材質のみからなるレンズであってよい。
図１２Ｂでは、奇数番目の行では、Ｗ（ｗｈｉｔｅ）、Ｂ、Ｗ、Ｇカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂ、Ｗ、Ｇ、Ｗカラーマイクロレンズが繰り返し配置される場合を示す。以上で説明した実施の形態では、各行では、２つのマイクロレンズ単位でカラーが繰り返される実施の形態を説明したが、図１２Ｂに示すように、カラーが繰り返される周期は２つ以上であってよい。
図１２Ｃでは、偶数列は、全てＷカラーマイクロレンズが配置され、奇数列は、Ｇ、Ｇ、Ｂ、Ｂが繰り返されるパターンまたはＲ、Ｒ、Ｇ、Ｇが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
図１２Ｄでは、偶数列は、全てＷカラーマイクロレンズが配置され、奇数列は、Ｇ、Ｂ、Ｇ、Ｂが繰り返されるパターンまたはＲ、Ｇ、Ｒ、Ｇが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
図１１及び図１２では、マイクロレンズアレイ部が２＊２個のマイクロレンズを含むグループ単位で区分できる実施の形態を示したが、各グループのマイクロレンズの個数は多様に実現されてよい。
図１３は、３＊３個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部１２０の構成を示す。
図１３によれば、１つのマイクロレンズグループは、第１行にＲ、Ｇ、Ｂカラーマイクロレンズが配置され、第２行にはＢ、Ｒ、Ｇカラーマイクロレンズ、第３行にはＧ、Ｂ、Ｒカラーマイクロレンズが配置される形となる。マイクロレンズアレイ部１２０は、３＊３マイクロレンズから構成されたグループが繰り返し配置される形で実現されてよい。
図１４は、６＊６個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部１２０の構成を示す。
図１４によれば、１つのマイクロレンズグループは、第１行にＧ、Ｂ、Ｇ、Ｇ、Ｒ、Ｇカラーマイクロレンズが配置され、第２行にＲ、Ｇ、Ｒ、Ｂ、Ｇ、Ｂカラーマイクロレンズ、第３行にＧ、Ｂ、Ｇ、Ｇ、Ｒ、Ｇカラーマイクロレンズ、第４行にＧ、Ｒ、Ｇ、Ｇ、Ｂ、Ｇカラーマイクロレンズ、第５行にはＲ、Ｇ、Ｂ、Ｒ、Ｇ、Ｒカラーマイクロレンズ、第６行にＧ、Ｒ、Ｇ、Ｇ、Ｂ、Ｇカラーマイクロレンズが配置される。このようなカラーパターンを有するマイクロレンズグループが繰り返し配置されてよい。
以上のような実施の形態においては、各マイクロレンズは、マトリックスパターンで配置されるものとして示したが、その配置形態は、それに限定されるものではない。
図１５は、複数のマイクロレンズが対角線方向に配置される実施の形態を示す。図１５によれば、マイクロレンズアレイ部１２０は、複数の対角線列１５００、１５１０、１５２０、１５３０、１５４０、１５５０、１５６０、１５７０、１５８０、１５９０、１６００を含む。中心列１５００には、２つのＲカラーマイクロレンズ及び２つのＢカラーマイクロレンズが交互に配置される。そして、その周辺には、複数のＧカラーマイクロレンズを含む列が配置される。図１５に示すように、Ｒ及びＢカラーが混在する列と、Ｇカラーのみからなる列が対角線方向に交互に繰り返し配置されてよい。
以上のような多様なカラーパターンのマイクロレンズアレイ部１２０を透過した光は、イメージセンサ部１３０に入射される。これにより、複数の原イメージが獲得されてよい。データ処理部１４０は、図８Ａ及び図８Ｂにおいて説明した通りに、各原イメージのピクセルのうち、互いに対応する地点のピクセルを集めて複数のサブイメージを生成する。
マイクロレンズアレイ部１２０において複数のマイクロレンズを利用してカラー光をフィルタリングする。すなわち、サブイメージ別にカラー情報を分けて獲得した後に復元するため、デモザイク技法のようにピクセル値に基づいて色補間を行わなくても、イメージのカラー情報を復元することができる。それにより、色補間過程において発生するブラー（ｂｌｕｒ）による解像度の低下問題を防止することができるようになる。
図１６は、本発明の一実施の形態にかかる撮影方法を説明するためのフローチャートである。図１６によれば、撮影装置は、撮影命令が入力されると、シャッタをオープンさせる。それにより、メインレンズを介して光が入射されると、入射された光を複数のマイクロレンズを利用して透過してカラー別にフィルタリングする（Ｓ１６１０）。マイクロレンズは、図９及び図１０において示すような多様な構成により実現され、レンズ別にマッチングされるカラーをフィルタリングできる。マイクロレンズアレイ部のカラーパターンは、上述したように多様に実現されてよい。
各マイクロレンズを透過した光は、イメージセンサ部に入射される。イメージセンサ部は、複数のマイクロレンズを透過した光に基づいて、複数の原イメージを獲得する（Ｓ１６２０）。原イメージの各々は被写体を互いに異なる視点で撮影したものであり、各マイクロレンズのカラーに対応するカラーから構成される。
撮影装置は、複数の原イメージ内の各ピクセルを組み合わせて、複数のサブイメージを生成する（Ｓ１６３０）。また、生成されたサブイメージを格納する（Ｓ１６４０）。
また、サブイメージ内で互いにマッチングされるピクセルを検出し、カラー情報及び深さ情報を復元する（Ｓ１６５０）。カラー情報及び深さ情報などは、リフォーカシング作業、３Ｄ客体検出作業などに使用されてよい。
図１７は、ユーザ選択によって多様なイメージ処理を行う方法を説明するためのフローチャートである。図１７によれば、ユーザは、被写体を撮影してイメージ処理のためのメニューを選択することができる。メニューには、リフォーカシングメニュー、３Ｄ客体検出メニュー、視点変換メニューなどが更に含まれてよい。
メニュー選択によりリフォーカシング命令が入力された場合には（Ｓ１７１０）、撮影装置は、複数のサブイメージのうち、１つのサブイメージを選択してディスプレイする。一例として、中間位置のピクセルからなるサブイメージをディスプレイすることができる。
ユーザは、ディスプレイされたイメージ内でフォーカスを合わせようとする基準点を選択することができる（Ｓ１７２０）。
基準点が選択されれば、制御部１６０は、基準点の深さ情報を確認する（Ｓ１７３０）。深さ情報は、複数のサブイメージ内の各ピクセルのうち、互いに対応するピクセル値を有するピクセルの位置差を利用して探索できる。制御部１６０は、確認された深さ情報に合せてサブイメージのピクセルをシフトさせる。その後、シフトされたピクセルのピクセル値をその平均値で調整して、検出された基準点にフォーカスを合わせたイメージを生成する（Ｓ１７４０）。結果的に、基準点に対応する深さ情報を有する客体が鮮明に表示される。
一方、リフォーカシングではなく、３Ｄ客体検出命令が入力された場合には（Ｓ１７５０）、複数のサブイメージの間で対応するピクセルを検出して、そのディスパリティを抽出するディスパリティマッチング作業を行う（Ｓ１７６０）。
これにより、各ピクセルのディスパリティに応じて左眼映像及び右眼映像を生成する（Ｓ１７７０）。具体的には、深さの深い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を大きく生成し、深さの浅い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を小さく生成する。これにより、３Ｄイメージを生成できる。
図１６及び図１７において説明したように、本発明の多様な実施の形態によれば、撮影装置は、被写体を撮影した以後にユーザの選択によって多様な方式により調整することができる。従って、デモザイク処理をしなくても、カラーイメージを生成することができる。
図１８は、イメージ処理過程の一例であるリフォーカシング作業を具体的に説明するための図である。撮影装置に入射される光は、位置ｑと角度ｐを有する光のラジエンス（ｒａｄｉａｎｃｅ）であるｒ（ｑ、ｐ）で表現できる。このような光はレンズを透過した後、レンズ及びイメージセンサ間の空間を通ってイメージセンサに入射される。したがって、イメージセンサから獲得される映像のラジエンスに対する変換マトリックスは、レンズの特性マトリックスとその間の空間の特性マトリックスの積で表される。
リフォーカシングとは、フォーカスの調整された状態の映像を獲得するための作業である。すなわち、リフォーカシングとは、既に獲得したラジエンス情報を利用して、他の位置のイメージセンサ平面に到達したラジエンス情報を計算する方式でなされてよい。
図１８は、リフォーカシング作業の一例を定義するための図である。図１８は、ｒ１からｒ２にフォーカスが調整された場合を示す。
図１８において、メインレンズ１１０からａ分離れた地点の被写体の像であるメインレンズ１１０からマイクロレンズアレイ部１２０の方向にｂ分離れた地点であるｒ１面に結像される場合、ａ’分離れた地点の被写体の像は、マイクロレンズアレイ部１２０の方向にｂ’分離れた地点であるｒ２面に結像されるようになる、
制御部１６０は、ｒ１面に結像された光のラジエンス情報を利用して、ｒ２面に結像された光のラジエンス情報を求めることができる。具体的には、ｒ’（ｑ、ｐ）＝ｒ（ｑ−ｔｐ、ｐ）のような式を利用して、変化されたラジエンス情報を求めることができる。ここで、ｔは、光がメインレンズ１１０及びイメージセンサ１３０の間で通る距離を意味する。制御部１６０は、変化されたラジエンス情報を求めるようになれば、それに基づいて、リフォーカシングされた結果映像を作り出すことができる。具体的には、制御部１６０は、複数のサブイメージの各ピクセルの深さ情報を確認して、変化されたラジエンス情報に応じてピクセルを組み合わせることでフォーカスの変更されたイメージを獲得することができる。図１８において説明したリフォーカシング方式は一例に過ぎず、その他にも、多様な方式でリフォーカシングやその他のイメージ処理がなされ得ることは言うまでもない。
上述した多様な実施の形態にかかる撮影方法は、カラーフィルタを備えた複数のマイクロレンズを含む撮影装置に適用されてよい。具体的には、このような撮影方法を行うためのプログラムコードでコーディングされて非一時的読み取り可能媒体に格納されてよい。このような非一時的読み取り可能媒体は、上述したような撮影装置に搭載されて、該当装置において上述した方法を実行するようにサポートできる。
非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのような短い瞬間の間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリーカード、ＲＯＭなどのような非一時的読み取り可能媒体に格納されて提供されることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (10)

  1. 被写体から反射される反射光を透過させるメインレンズと、
    前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、
    前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、
    前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、
    前記複数のサブイメージを格納する格納部と、
    前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部と
    を備える撮影装置。
  2. 前記制御部は、
    前記複数のサブイメージを利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うことを特徴とする請求項１に記載の撮影装置。
  3. 前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位に区分され、
    各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項１に記載の撮影装置。
  4. 前記イメージセンサは
    前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、
    各ピクセルグループは、複数のピクセルを含み、
    前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過することを特徴とする請求項１ないし３のうちの何れか１項に記載の撮影装置。
  5. 前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、
    前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項４に記載の撮影装置。
  6. 前記マイクロレンズアレイ部は、
    前記複数のマイクロレンズがマトリックスパターンで配置された第１基板と、
    前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第２基板とを備え、
    前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項４に記載の撮影装置。
  7. メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、
    前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、
    前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、
    前記複数のサブイメージを格納するステップと、
    前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップと
    を含む撮影方法。
  8. 前記カラー情報及び前記深さ情報を利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うステップを更に含む請求項７に記載の撮影方法。
  9. 前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、
    各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項７に記載の撮影方法。
  10. 前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、
    前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項７に記載の撮影方法。

JP2015553647A 2013-01-22 2014-01-08 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法 Pending JP2016511562A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0007173 2013-01-22
KR1020130007173A KR20140094395A (ko) 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
PCT/KR2014/000201 WO2014115984A1 (en) 2013-01-22 2014-01-08 Photographing device and photographing method for taking picture by using a plurality of microlenses

Publications (1)

Publication Number Publication Date
JP2016511562A true JP2016511562A (ja) 2016-04-14

Family

ID=50030067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553647A Pending JP2016511562A (ja) 2013-01-22 2014-01-08 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法

Country Status (8)

Country Link
US (1) US20140204183A1 (ja)
EP (1) EP2757790A1 (ja)
JP (1) JP2016511562A (ja)
KR (1) KR20140094395A (ja)
CN (1) CN103945115A (ja)
AU (1) AU2014210553B2 (ja)
TW (1) TW201433159A (ja)
WO (1) WO2014115984A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020513597A (ja) * 2016-12-05 2020-05-14 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． マイクロレンズアレイ
WO2021060118A1 (ja) * 2019-09-26 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
WO2009151903A2 (en) 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
SG185500A1 (en) 2010-05-12 2012-12-28 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的***及方法
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9521319B2 (en) * 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image
US9797716B2 (en) 2015-01-09 2017-10-24 Ricoh Company, Ltd. Estimating surface properties using a plenoptic camera
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106303166A (zh) * 2015-05-22 2017-01-04 电信科学技术研究院 一种图像采集设备
EP3110130A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Plenoptic camera and method of controlling the same
US10325753B2 (en) 2015-09-23 2019-06-18 Kla Tencor Corporation Method and system for focus adjustment of a multi-beam scanning electron microscopy system
JP6790099B2 (ja) * 2015-09-23 2020-11-25 ケーエルエー コーポレイション マルチビーム走査型顕微鏡システムの焦点調整方法及びシステム
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN107991838B (zh) * 2017-11-06 2020-10-23 万维科研有限公司 自适应三维立体成像***
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
BR112022006617A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para detecção por sensor de normais à superfície com polarização
CN111182179B (zh) * 2019-11-26 2021-01-19 浙江大学 奇偶透镜线阵交替分布的分段平面侦察成像***和方法
CA3162710A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111479075B (zh) * 2020-04-02 2022-07-19 青岛海信移动通信技术股份有限公司 拍照终端及其图像处理方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR102561678B1 (ko) * 2021-11-04 2023-07-31 국민대학교산학협력단 라이트 필드 이미지 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067624A (ja) * 2008-09-08 2010-03-25 Sony Corp 撮像素子および撮像装置
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856314B2 (en) * 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
CN101426085B (zh) * 2004-10-01 2012-10-03 小利兰·斯坦福大学托管委员会 成像装置及其方法
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
KR100947366B1 (ko) * 2007-05-23 2010-04-01 광운대학교 산학협력단 입체영상 디스플레이 방법 및 시스템
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
BR112013022090A2 (pt) * 2011-03-04 2019-09-24 Samsung Electronics Co Ltd dispositivo de exibição de imagem para múltiplos pontos de visualição

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067624A (ja) * 2008-09-08 2010-03-25 Sony Corp 撮像素子および撮像装置
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020513597A (ja) * 2016-12-05 2020-05-14 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． マイクロレンズアレイ
WO2021060118A1 (ja) * 2019-09-26 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
AU2014210553A1 (en) 2015-07-23
TW201433159A (zh) 2014-08-16
EP2757790A1 (en) 2014-07-23
WO2014115984A1 (en) 2014-07-31
KR20140094395A (ko) 2014-07-30
US20140204183A1 (en) 2014-07-24
AU2014210553B2 (en) 2016-03-17
CN103945115A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
JP2016511562A (ja) 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法
US10044959B2 (en) Mask-less phase detection autofocus
CN204697179U (zh) 具有像素阵列的图像传感器
JP5538553B2 (ja) 固体撮像素子及び撮像装置
KR102172992B1 (ko) 이미지 촬영 장치 및 이미지 촬영 방법
CN103842877B (zh) 成像装置和合焦参数值计算方法
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US9106825B2 (en) Image capture apparatus, image capture method and storage medium
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
CN103167239A (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
US20180288306A1 (en) Mask-less phase detection autofocus
JP2016127043A (ja) 固体撮像素子及び電子機器
CN104813212A (zh) 摄像装置及曝光确定方法
CN104508531A (zh) 拍摄元件和拍摄装置
JP6760486B2 (ja) 撮像装置
JP6118058B2 (ja) 固体撮像素子、撮像装置、及び制御方法
JP2012211942A (ja) 固体撮像素子及び撮像装置
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
TWI568258B (zh) 光學變焦成像系統及相關方法
JP2015219284A (ja) 撮像装置及び撮像装置の制御方法
JP2014206709A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170221