JPWO2015128918A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2015128918A1
JPWO2015128918A1 JP2016504869A JP2016504869A JPWO2015128918A1 JP WO2015128918 A1 JPWO2015128918 A1 JP WO2015128918A1 JP 2016504869 A JP2016504869 A JP 2016504869A JP 2016504869 A JP2016504869 A JP 2016504869A JP WO2015128918 A1 JPWO2015128918 A1 JP WO2015128918A1
Authority
JP
Japan
Prior art keywords
dirt
image
main lens
epi
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016504869A
Other languages
English (en)
Inventor
智英 石上
智英 石上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015128918A1 publication Critical patent/JPWO2015128918A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/123—The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。

Description

本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ ｃａｍｅｒａ）あるいはプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）とも呼ばれるカメラが登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
また、特許文献１には、ライトフィールドカメラにおいて、多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しないことによって生じる画像劣化を抑制する構成が開示されている。
さらに、特許文献２には、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を精度良く決定する画像処理方法が開示されている。
特開２０１３−１１０７１１号公報 特開２０１３−１７９５６４号公報
Ｒｅｎ． Ｎｇ， ｅｔ ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
本開示は、メインレンズ付近に付着する、大きな汚れや繰り返しの汚れを除去する撮像装置を提供する。
本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
本開示における撮像装置は、メインレンズ付近に付着した汚れ等を除去した画像を生成できる。
図１は、従来のライトフィールドカメラの構成を示す図である。 図２は、実施の形態１におけるライトフィールドカメラの構成を示す図である。 図３は、実施の形態１における信号処理部の動作を説明するフローチャートである。 図４は、実施の形態１におけるＥＰＩの生成を説明する図である。 図５は、実施の形態１におけるＥＰＩの生成を説明する別の図である。 図６は、実施の形態１におけるライトフィールドカメラで撮影した際の、任意の部分開口画像の全体像を示す図である。 図７は、図６の任意の部分開口画像の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。 図８は、実施の形態１における複数の部分開口画像から生成されるＥＰＩを示す図である。 図９Ａは、従来の汚れ除去を行わない場合の出力画像を示す図である。 図９Ｂは、実施の形態１における汚れ除去を行った場合の再構成画像を示す図である。 図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図である。 図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図である。 図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。 図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図である。 図１２は、汚れがパターンとなって現れる場合を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
[１−１．課題]
まず、従来のライトフィールドカメラの課題について説明する。図１は、従来のライトフィールドカメラの構成を示す図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、メインレンズ１０２、マイクロレンズアレイ１０３、は撮像素子１０４で構成される。被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。
この時、撮像素子１０４には光の方向毎に区別されて記録される。そのため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含んで記録される。従って、光の進行方向を考慮して撮像信号を処理する事で、撮影後に任意の焦点位置の画像を生成することができる。
従来のライトフィールドカメラ１００において、例えばメインレンズ１０２付近に汚れが付着した場合、ライトフィールドカメラ１００で撮影した画像に、メインレンズ１０２付近に付着した汚れが含まれてしまい、画質が劣化してしまう。
［１−２．構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図２は、実施の形態１におけるライトフィールドカメラの構成図である。図２において、ライトフィールドカメラ２００は、撮像部２１０と、信号処理部２２０で構成される。撮像部２１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部２２０は、汚れ検出部２２１と汚れ除去部２２２で構成され、ＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
撮像素子１０４で受光した光を電気信号に変換した画素は、汚れ検出部２２１に送られ、撮像素子１０４の画素を、メインレンズ１０２内の複数の部分開口に分離し視差方向へ順番に並べたエピポーラ平面画像(ＥＰＩ：Ｅｐｉｐｏｌａｒａ Ｐｌａｎｅ Ｉｍａｇｅ）から汚れ領域を検出する。
汚れ除去部２２２は、汚れ検出部２２１から送られる撮像素子１０４の画素と、汚れ検出部２２１で検出された汚れ領域を受け、汚れ領域を汚れ領域以外の画素を用いて画像を再構成する。
［１−３．動作］
次に、ライトフィールドカメラ２００のメインレンズ１０２付近の汚れの除去について説明する。メインレンズ付近の汚れとは、メインレンズ１０２上に付着している塵、埃、水滴、等の汚れだけではなく、メインレンズ１０２の外側に存在する汚れも含む。メインレンズ１０２の外側に存在する汚れとしては、例えば、メインレンズ１０２の外部にレンズを保護するためのプラスチック又はガラス等で構成されるレンズプロテクター上やフィルター上、あるいは近辺に存在する汚れも含む。さらに、被写体１０１とライトフィールドカメラ２００の間でライトフィールドカメラ２００の直近に置かれた障害物等も含む。
図３は、信号処理部２２０の動作を説明するフローチャートである。
（Ｓ３０１）汚れ検出部２２１は、撮像素子１０４から、受光した光を電気信号に変換された各画素の値で構成されるロー（Ｒａｗ）画像データを取得する。
（Ｓ３０２）次に、汚れ検出部２２１は、Ｒａｗ画像データ内の各画素を並び替えてＥＰＩを生成する。
（Ｓ３０３）次に、汚れ検出部２２１は、生成したＥＰＩに対しハフ変換等の画像処理を行い、傾きを検出する。
（Ｓ３０４）次に、汚れ検出部２２１は、検出した傾きの量に応じて汚れ領域を検出し、汚れ除去部２２２へ検出した汚れ領域を出力する。汚れ領域は、例えば、傾きが所定の値以上と判定した場合に、その傾きで囲まれた領域を汚れ領域とする。
（Ｓ３０５）汚れ除去部２２２は、汚れ領域とＲａｗ画像データから、汚れ領域を汚れ領域以外の画素を用いて再構成を行い、汚れ領域を除去した画像を出力する。
［１−３−１．ＥＰＩ生成］
次に、Ｓ３０２のＥＰＩの生成について詳細に説明する。図４、図５は、ＥＰＩの生成を説明する図である。
図４に示すように、メインレンズ１０２は、メインレンズ１０２を仮想的に分割した部分開口１０２ａ、１０２ｂ、１０２ｃを有する。また図５に示すように、マイクロレンズアレイ１０３は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃを有する。また、撮像素子１０４は、マイクロレンズ１０３ａを通過した光を受光する撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、マイクロレンズ１０３ｂを通過した光を受光する撮像素子１０４ｂａ、１０４ｂｂ、１０４ｂｃ、マイクロレンズ１０３ｃを通過した光を受光する撮像素子１０４ｃａ、１０４ｃｂ、１０４ｃｃを有し、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれを通過した光を３方向、すなわち３画素分に分離して記録できる。
この、光の３方向は、メインレンズ１０２内を分割した部分開口１０２ａ、１０２ｂ、１０２ｃのいずれから光が入射したかという情報であり、視差方向に相当する。ＥＰＩ４０１は、撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、１０４ｂａ、１０４ｂｂ、１０４ｂｃ、１０４ｃａ、１０４ｃｂ、１０４ｃｃを、横方向を空間方向に、縦方向を視差方向に並び替えた画像である。
ここで、撮像素子１０４ａａに入射する光は、マイクロレンズ１０３ａを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
同様に、撮像素子１０４ｂａに入射する光は、マイクロレンズ１０３ｂを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
また、撮像素子１０４ｃａに入射する光は、マイクロレンズ１０３ｃを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
従って、メインレンズ１０２内の部分開口１０２ａを通過した光で画像、すなわち、部分開口画像を構成するには、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃ毎に、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より上の画素を集めることで合成できる。この時、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃの位置が、そのまま部分開口画像の画像座標となり、空間方向に相当する。
同様に、メインレンズ１０２内の部分開口１０２ｂを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心の画素を集める事で合成でき、メインレンズ１０２内の部分開口１０２ｃを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より下の画素を集める事で合成できる。
なお、ＥＰＩは、図４で説明したように、メインレンズ１０２の部分開口が３つ部分開口を有するものとして説明したが、これに限らない。部分開口は、２つ以上であればよい。
図６は、ライトフィールドカメラ２００で撮影した際の、任意の部分開口画像５００の全体像を示す図である。ｘ軸は空間方向、ｙ軸は空間方向である。
図７は、図６の部分開口画像５００の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。図７では、部分開口画像５００のｙ＝９０となる１ライン付近の複数の部分開口画像のうち、３つの部分開口画像５１１、５１２、５１３を代表例として視差方向であるｕ軸に順に並べて表示した。部分開口画像５１１、５１２、５１３には汚れ５１４、５１５が存在する。
図８は、複数の部分開口画像から生成されるＥＰＩを示す図である。ｘ軸は空間方向、ｕ軸は視差方向である。ＥＰＩ５２０は、複数の部分開口画像を、ｙ座標が一定、ここではｙ＝９０、で１ラインずつ取り出して視差方向順に縦に並べた画像である。図８において、斜めに傾いた領域５２１、５２２が生成される。
なお、本実施の形態では、部分開口画像を作成後、ＥＰＩを作成したが、撮像素子１０４から部分開口画像を生成せず、直接ＥＰＩを生成してもよい。その場合、ＥＰＩの各画素が、撮像素子１０４のどの画素から生成できるかを事前に計算しておけばよい。
また、本実施の形態では、マイクロレンズの位置が空間方向、撮像素子内のマイクロレンズ中心位置からの相対位置が視差方向として説明したが、撮像素子１０４の配置を変える事で、空間方向と視差方向が逆転する場合もある。具体的には、本実施の形態では、マイクロレンズの焦点面に撮像素子が配置されている構成であるが、マイクロレンズを、メインレンズの焦点が合う像側焦点面を複眼的に撮影する位置に配置してもよい。
［１−３−２．傾き検出と汚れ領域検出］
次に、ＥＰＩ画像傾きを検出するＳ３０３と汚れ領域を検出するＳ３０４ついて詳細に説明する。
ライトフィールドカメラ２００で被写体１０１にピントを合わせて撮影すると、ピントがあった距離に存在する被写体１０１は、視差がない状態で撮影される。逆に、ピントが合った距離から遠い、メインレンズ１０２付近の汚れは大きな視差のある状態で撮影される。
部分開口画像５１１内のメインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、部分開口画像５１２や５１３では、メインレンズ１０２に着いた汚れ５１４や５１５は、空間方向に視差量分だけずれた位置に存在する。
従って、ＥＰＩ５２０において、ピントの合った被写体１０１の画像は視差方向に縦に並ぶが、メインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、ＥＰＩ５２０において領域５２１、５２２のように斜めに傾いて並ぶ。
このＥＰＩ５２０上の領域５２１、５２２の傾きは、ピントが合った被写体１０１の距離である視差ゼロ、からの距離である視差量、で変化するため、ハフ変換等で直線検出をした後、予め決めておいた閾値を超える傾きで囲まれた領域を、メインレンズ１０２付近の汚れとして検出する。
例えば、ＥＰＩ５２０をエッジ強度の強い画素で二値化した後、各エッジ強度の強い画素に対し、原点から直線に引いた法線の長さｒと角度θとを表す（ｒ、θ）空間に変換して投票し、投票の累積値が高いパラメータ（ｒ、θ）を直線として求める。
次に、ＥＰＩ５２０上の傾きは視差量で決まるため、被写体１０１までピントを合わせた際のフォーカス値からメインレンズ１０２付近の視差量に対する傾きが１０度と計算された場合、ＥＰＩ５２０上の直線の傾きが１０度以上で囲まれた直線同士で囲まれた領域５２１や領域５２２を汚れ領域として検出する。
なお、ＥＰＩ上の傾きは、ハフ変換以外で傾きを求めてもよい。例えばＥＰＩを輝度値等で領域分割した後、領域毎にエッジ検出して、エッジの傾きに対するヒストグラムから領域毎の傾きを求めてもよい。ＥＰＩ上の傾きを算出する方法としては、これらの方法に限定されない。
［１−３−３．汚れ除去］
次に、Ｓ３０５の汚れ除去について詳細に説明する。汚れ領域が検出できると、汚れ領域を汚れ領域以外の画素を使って再構成すればよい。
図９Ａは汚れ除去を行わない場合の出力画像を示す図であり、図９Ｂは、汚れ除去を行った場合の再構成画像を示す図である。図９Ａの汚れ除去を行わない場合と比較して、図９Ｂに示すように汚れが除去された画像が再構成できたことがわかる。
この場合、図８のＥＰＩ５２０において、領域５２１、５２２以外の領域に対し、視差方向、即ち縦方向、に画素を加算して出来た空間方向、即ちｘ座標の１ラインが、あるｙ座標におけるｘ座標の１ラインに相当するので、残りのｙ座標も同様に計算して求めることで再構成できる。
また、縦方向がすべて汚れ領域の場合、メインレンズ１０２内のどの部分空間から見ても汚れが映っている状況に相当する。その際は、マスク処理等で該当の座標を記憶し、マスク領域以外で汚れ領域を除去して一旦画像を再構成する。その後、インペインティング（ＩｎＰａｉｎｔｉｎｇ）アルゴリズムなどの画像処理で、マスク以外の周辺からマスク領域内の画素を補完して求める。ＩｎＰａｉｎｔｉｎｇアルゴリズムとは、マスク領域境界付近のピクセルを利用してマスク内の領域を再構成する処理で、パッチベースの方法や境界付近の画像を折り返す方法、ナビエーストーク方程式（Ｎａｖｉｅｒ−Ｓｔａｋｅｓ ｅｑｕａｔｉｏｎｓ）を用いた方法等がある。
［１−４．効果等］
次に、特許文献２で開示されているブロックマッチングの位置合わせで視差量を抽出し汚れ領域を検出する場合と、本実施の形態のＥＰＩの傾きで汚れ領域を検出する場合の比較を行った。図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図であり、図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図であり、図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
図１０Ａにおいて、ＥＰＩ１００１の領域６０１は、汚れ領域が狭い場合である。図１０Ｂにおいて、ＥＰＩ１００２の領域６０２は、汚れ領域が広い場合である。図１０Ｃにおいて、ＥＰＩ１００３の領域６０３ａ、６０３ｂ、６０３ｃは、汚れ領域が繰り返しパターンで出現する場合である。
本実施の形態におけるライトフィールドカメラ２００の汚れ領域の検出では、被写体までピントを合わせた際のフォーカス値からメインレンズ付近の視差量に対する傾きが自動的に決まるため、汚れの大きさや繰り返しパターンに左右されず、閾値以上の傾きの直線で囲まれた領域６０１、６０２、６０３ａ、６０３ｂ、６０３ｃは比較的容易に検出可能である。
つまり、本実施の形態におけるライトフィールドカメラ２００による汚れ検出では、ＥＰＩの汚れ領域の大きさや繰り返しに関係なく検出できる。
一方、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合を、図１１及び図１２を用いて、Ｌ画像とＲ画像を用いたブロックマッチングによる視差計算を一例として説明する。図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図であり、図１２は、汚れがパターンとなって現れる場合を説明する図である。
図１１は、位置合わせを計算するブロック６１１よりも汚れ領域６１０が大きい場合の２視点画像を示す図である。基準となるＬ画像上の汚れ領域６１０が位置合わせを計算するブロック６１１よりも大きい場合、視差を求める対象のＲ画像上のブロックの位置は、ブロック６１２ａかブロック６１２ｂかどちらか区別ができない。従って、視差を正しく求める事ができず、視差量から汚れ領域を検出する事ができない。
図１２は、汚れがパターンとなって現れる場合の２視点画像である。図１１と同様に、基準となるＬ画像上の繰り返し汚れ領域６２０に対して位置合わせを計算するブロックがブロック６２１の場合、視差を求める対象のＲ画像上のブロック位置は、ブロック６２２ａかブロック６２２ｂかどちらか区別ができない。
以上より、図１１、図１２に示したような汚れが存在する場合、実施の形態１におけるライトフィールドカメラ２００の汚れ検出に比べて、位置合わせでは正しく汚れを検出できない。したがって、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合では、汚れが検出できず、画質を向上させることができない。
以上のように、実施の形態における撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
これにより、メインレンズ付近の汚れを取り除いた画像を生成でき、車載カメラや監視カメラにおいて画像認識を行う場合、レンズ付近の汚れにより認識精度が低下するのを防ぐ事ができる。
本開示は、ライトフィールドカメラでメインレンズ付近の汚れを除去して撮影を行う撮像装置に適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラ、内視鏡等の医療用カメラなどに適用可能である。
１００，２００ ライトフィールドカメラ
１０１ 被写体
１０２ メインレンズ
１０２ａ，１０２ｂ，１０２ｃ 部分開口
１０３ マイクロレンズアレイ
１０３ａ，１０３ｂ，１０３ｃ マイクロレンズ
１０４，１０４ａａ，１０４ａｂ，１０４ａｃ，１０４ｂａ，１０４ｂｂ，１０４ｂｃ，１０４ｃａ，１０４ｃｂ，１０４ｃｃ 撮像素子
２１０ 撮像部
２２０ 信号処理部
２２１ 汚れ検出部
２２２ 汚れ除去部
４０１ ＥＰＩ
５００，５１１，５１２，５１３ 部分開口画像
５１４，５１５ 汚れ
５２０ ＥＰＩ
５２１，５２２，６０１，６０２，６０３ａ，６０３ｂ，６０３ｃ 領域
６１０，６２０ 汚れ領域
６１１，６１２ａ，６１２ｂ，６２１，６２２ａ，６２２ｂ ブロック
１００１，１００２，１００３ ＥＰＩ
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ ｃａｍｅｒａ）あるいはプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）とも呼ばれるカメラが登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
また、特許文献１には、ライトフィールドカメラにおいて、多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しないことによって生じる画像劣化を抑制する構成が開示されている。
さらに、特許文献２には、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を精度良く決定する画像処理方法が開示されている。
特開２０１３−１１０７１１号公報 特開２０１３−１７９５６４号公報
Ｒｅｎ． Ｎｇ， ｅｔ ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
本開示は、メインレンズ付近に付着する、大きな汚れや繰り返しの汚れを除去する撮像装置を提供する。
本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域の画素を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
本開示における撮像装置は、メインレンズ付近に付着した汚れ等を除去した画像を生成できる。
図１は、従来のライトフィールドカメラの構成を示す図である。 図２は、実施の形態１におけるライトフィールドカメラの構成を示す図である。 図３は、実施の形態１における信号処理部の動作を説明するフローチャートである。 図４は、実施の形態１におけるＥＰＩの生成を説明する図である。 図５は、実施の形態１におけるＥＰＩの生成を説明する別の図である。 図６は、実施の形態１におけるライトフィールドカメラで撮影した際の、任意の部分開口画像の全体像を示す図である。 図７は、図６の任意の部分開口画像の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。 図８は、実施の形態１における複数の部分開口画像から生成されるＥＰＩを示す図である。 図９Ａは、従来の汚れ除去を行わない場合の出力画像を示す図である。 図９Ｂは、実施の形態１における汚れ除去を行った場合の再構成画像を示す図である。 図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図である。 図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図である。 図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。 図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図である。 図１２は、汚れがパターンとなって現れる場合を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
[１−１．課題]
まず、従来のライトフィールドカメラの課題について説明する。図１は、従来のライトフィールドカメラの構成を示す図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、メインレンズ１０２、マイクロレンズアレイ１０３、は撮像素子１０４で構成される。被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。
この時、撮像素子１０４には光の方向毎に区別されて記録される。そのため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含んで記録される。従って、光の進行方向を考慮して撮像信号を処理する事で、撮影後に任意の焦点位置の画像を生成することができる。
従来のライトフィールドカメラ１００において、例えばメインレンズ１０２付近に汚れが付着した場合、ライトフィールドカメラ１００で撮影した画像に、メインレンズ１０２付近に付着した汚れが含まれてしまい、画質が劣化してしまう。
［１−２．構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図２は、実施の形態１におけるライトフィールドカメラの構成図である。図２において、ライトフィールドカメラ２００は、撮像部２１０と、信号処理部２２０で構成される。撮像部２１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部２２０は、汚れ検出部２２１と汚れ除去部２２２で構成され、ＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
撮像素子１０４で受光した光を電気信号に変換した画素は、汚れ検出部２２１に送られ、撮像素子１０４の画素を、メインレンズ１０２内の複数の部分開口に分離し視差方向へ順番に並べたエピポーラ平面画像(ＥＰＩ：Ｅｐｉｐｏｌａｒａ Ｐｌａｎｅ Ｉｍａｇｅ）から汚れ領域を検出する。
汚れ除去部２２２は、汚れ検出部２２１から送られる撮像素子１０４の画素と、汚れ検出部２２１で検出された汚れ領域を受け、汚れ領域を汚れ領域以外の画素を用いて画像を再構成する。
［１−３．動作］
次に、ライトフィールドカメラ２００のメインレンズ１０２付近の汚れの除去について説明する。メインレンズ付近の汚れとは、メインレンズ１０２上に付着している塵、埃、水滴、等の汚れだけではなく、メインレンズ１０２の外側に存在する汚れも含む。メインレンズ１０２の外側に存在する汚れとしては、例えば、メインレンズ１０２の外部にレンズを保護するためのプラスチック又はガラス等で構成されるレンズプロテクター上やフィルター上、あるいは近辺に存在する汚れも含む。さらに、被写体１０１とライトフィールドカメラ２００の間でライトフィールドカメラ２００の直近に置かれた障害物等も含む。
図３は、信号処理部２２０の動作を説明するフローチャートである。
（Ｓ３０１）汚れ検出部２２１は、撮像素子１０４から、受光した光を電気信号に変換された各画素の値で構成されるロー（Ｒａｗ）画像データを取得する。
（Ｓ３０２）次に、汚れ検出部２２１は、Ｒａｗ画像データ内の各画素を並び替えてＥＰＩを生成する。
（Ｓ３０３）次に、汚れ検出部２２１は、生成したＥＰＩに対しハフ変換等の画像処理を行い、傾きを検出する。
（Ｓ３０４）次に、汚れ検出部２２１は、検出した傾きの量に応じて汚れ領域を検出し、汚れ除去部２２２へ検出した汚れ領域を出力する。汚れ領域は、例えば、傾きが所定の値以上と判定した場合に、その傾きで囲まれた領域を汚れ領域とする。
（Ｓ３０５）汚れ除去部２２２は、汚れ領域とＲａｗ画像データから、汚れ領域を汚れ領域以外の画素を用いて再構成を行い、汚れ領域を除去した画像を出力する。
［１−３−１．ＥＰＩ生成］
次に、Ｓ３０２のＥＰＩの生成について詳細に説明する。図４、図５は、ＥＰＩの生成を説明する図である。
図４に示すように、メインレンズ１０２は、メインレンズ１０２を仮想的に分割した部分開口１０２ａ、１０２ｂ、１０２ｃを有する。また図５に示すように、マイクロレンズアレイ１０３は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃを有する。また、撮像素子１０４は、マイクロレンズ１０３ａを通過した光を受光する撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、マイクロレンズ１０３ｂを通過した光を受光する撮像素子１０４ｂａ、１０４ｂｂ、１０４ｂｃ、マイクロレンズ１０３ｃを通過した光を受光する撮像素子１０４ｃａ、１０４ｃｂ、１０４ｃｃを有し、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれを通過した光を３方向、すなわち３画素分に分離して記録できる。
この、光の３方向は、メインレンズ１０２内を分割した部分開口１０２ａ、１０２ｂ、１０２ｃのいずれから光が入射したかという情報であり、視差方向に相当する。ＥＰＩ４０１は、撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、１０４ｂａ、１０４ｂｂ、１０４ｂｃ、１０４ｃａ、１０４ｃｂ、１０４ｃｃを、横方向を空間方向に、縦方向を視差方向に並び替えた画像である。
ここで、撮像素子１０４ａａに入射する光は、マイクロレンズ１０３ａを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
同様に、撮像素子１０４ｂａに入射する光は、マイクロレンズ１０３ｂを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
また、撮像素子１０４ｃａに入射する光は、マイクロレンズ１０３ｃを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
従って、メインレンズ１０２内の部分開口１０２ａを通過した光で画像、すなわち、部分開口画像を構成するには、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃ毎に、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より上の画素を集めることで合成できる。この時、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃの位置が、そのまま部分開口画像の画像座標となり、空間方向に相当する。
同様に、メインレンズ１０２内の部分開口１０２ｂを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心の画素を集める事で合成でき、メインレンズ１０２内の部分開口１０２ｃを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より下の画素を集める事で合成できる。
なお、ＥＰＩは、図４で説明したように、メインレンズ１０２の部分開口が３つ部分開口を有するものとして説明したが、これに限らない。部分開口は、２つ以上であればよい。
図６は、ライトフィールドカメラ２００で撮影した際の、任意の部分開口画像５００の全体像を示す図である。ｘ軸は空間方向、ｙ軸は空間方向である。
図７は、図６の部分開口画像５００の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。図７では、部分開口画像５００のｙ＝９０となる１ライン付近の複数の部分開口画像のうち、３つの部分開口画像５１１、５１２、５１３を代表例として視差方向であるｕ軸に順に並べて表示した。部分開口画像５１１、５１２、５１３には汚れ５１４、５１５が存在する。
図８は、複数の部分開口画像から生成されるＥＰＩを示す図である。ｘ軸は空間方向、ｕ軸は視差方向である。ＥＰＩ５２０は、複数の部分開口画像を、ｙ座標が一定、ここではｙ＝９０、で１ラインずつ取り出して視差方向順に縦に並べた画像である。図８において、斜めに傾いた領域５２１、５２２が生成される。
なお、本実施の形態では、部分開口画像を作成後、ＥＰＩを作成したが、撮像素子１０４から部分開口画像を生成せず、直接ＥＰＩを生成してもよい。その場合、ＥＰＩの各画素が、撮像素子１０４のどの画素から生成できるかを事前に計算しておけばよい。
また、本実施の形態では、マイクロレンズの位置が空間方向、撮像素子内のマイクロレンズ中心位置からの相対位置が視差方向として説明したが、撮像素子１０４の配置を変える事で、空間方向と視差方向が逆転する場合もある。具体的には、本実施の形態では、マイクロレンズの焦点面に撮像素子が配置されている構成であるが、マイクロレンズを、メインレンズの焦点が合う像側焦点面を複眼的に撮影する位置に配置してもよい。
［１−３−２．傾き検出と汚れ領域検出］
次に、ＥＰＩ画像傾きを検出するＳ３０３と汚れ領域を検出するＳ３０４ついて詳細に説明する。
ライトフィールドカメラ２００で被写体１０１にピントを合わせて撮影すると、ピントがあった距離に存在する被写体１０１は、視差がない状態で撮影される。逆に、ピントが合った距離から遠い、メインレンズ１０２付近の汚れは大きな視差のある状態で撮影される。
部分開口画像５１１内のメインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、部分開口画像５１２や５１３では、メインレンズ１０２に着いた汚れ５１４や５１５は、空間方向に視差量分だけずれた位置に存在する。
従って、ＥＰＩ５２０において、ピントの合った被写体１０１の画像は視差方向に縦に並ぶが、メインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、ＥＰＩ５２０において領域５２１、５２２のように斜めに傾いて並ぶ。
このＥＰＩ５２０上の領域５２１、５２２の傾きは、ピントが合った被写体１０１の距離である視差ゼロ、からの距離である視差量、で変化するため、ハフ変換等で直線検出をした後、予め決めておいた閾値を超える傾きで囲まれた領域を、メインレンズ１０２付近の汚れとして検出する。
例えば、ＥＰＩ５２０をエッジ強度の強い画素で二値化した後、各エッジ強度の強い画素に対し、原点から直線に引いた法線の長さｒと角度θとを表す（ｒ、θ）空間に変換して投票し、投票の累積値が高いパラメータ（ｒ、θ）を直線として求める。
次に、ＥＰＩ５２０上の傾きは視差量で決まるため、被写体１０１までピントを合わせた際のフォーカス値からメインレンズ１０２付近の視差量に対する傾きが１０度と計算された場合、ＥＰＩ５２０上の直線の傾きが１０度以上で囲まれた直線同士で囲まれた領域５２１や領域５２２を汚れ領域として検出する。
なお、ＥＰＩ上の傾きは、ハフ変換以外で傾きを求めてもよい。例えばＥＰＩを輝度値等で領域分割した後、領域毎にエッジ検出して、エッジの傾きに対するヒストグラムから領域毎の傾きを求めてもよい。ＥＰＩ上の傾きを算出する方法としては、これらの方法に限定されない。
［１−３−３．汚れ除去］
次に、Ｓ３０５の汚れ除去について詳細に説明する。汚れ領域が検出できると、汚れ領域を汚れ領域以外の画素を使って再構成すればよい。
図９Ａは汚れ除去を行わない場合の出力画像を示す図であり、図９Ｂは、汚れ除去を行った場合の再構成画像を示す図である。図９Ａの汚れ除去を行わない場合と比較して、図９Ｂに示すように汚れが除去された画像が再構成できたことがわかる。
この場合、図８のＥＰＩ５２０において、領域５２１、５２２以外の領域に対し、視差方向、即ち縦方向、に画素を加算して出来た空間方向、即ちｘ座標の１ラインが、あるｙ座標におけるｘ座標の１ラインに相当するので、残りのｙ座標も同様に計算して求めることで再構成できる。
また、縦方向がすべて汚れ領域の場合、メインレンズ１０２内のどの部分空間から見ても汚れが映っている状況に相当する。その際は、マスク処理等で該当の座標を記憶し、マスク領域以外で汚れ領域を除去して一旦画像を再構成する。その後、インペインティング（ＩｎＰａｉｎｔｉｎｇ）アルゴリズムなどの画像処理で、マスク以外の周辺からマスク領域内の画素を補完して求める。ＩｎＰａｉｎｔｉｎｇアルゴリズムとは、マスク領域境界付近のピクセルを利用してマスク内の領域を再構成する処理で、パッチベースの方法や境界付近の画像を折り返す方法、ナビエーストーク方程式（Ｎａｖｉｅｒ−Ｓｔａｋｅｓ ｅｑｕａｔｉｏｎｓ）を用いた方法等がある。
［１−４．効果等］
次に、特許文献２で開示されているブロックマッチングの位置合わせで視差量を抽出し汚れ領域を検出する場合と、本実施の形態のＥＰＩの傾きで汚れ領域を検出する場合の比較を行った。図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図であり、図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図であり、図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
図１０Ａにおいて、ＥＰＩ１００１の領域６０１は、汚れ領域が狭い場合である。図１０Ｂにおいて、ＥＰＩ１００２の領域６０２は、汚れ領域が広い場合である。図１０Ｃにおいて、ＥＰＩ１００３の領域６０３ａ、６０３ｂ、６０３ｃは、汚れ領域が繰り返しパターンで出現する場合である。
本実施の形態におけるライトフィールドカメラ２００の汚れ領域の検出では、被写体までピントを合わせた際のフォーカス値からメインレンズ付近の視差量に対する傾きが自動的に決まるため、汚れの大きさや繰り返しパターンに左右されず、閾値以上の傾きの直線で囲まれた領域６０１、６０２、６０３ａ、６０３ｂ、６０３ｃは比較的容易に検出可能である。
つまり、本実施の形態におけるライトフィールドカメラ２００による汚れ検出では、ＥＰＩの汚れ領域の大きさや繰り返しに関係なく検出できる。
一方、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合を、図１１及び図１２を用いて、Ｌ画像とＲ画像を用いたブロックマッチングによる視差計算を一例として説明する。図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図であり、図１２は、汚れがパターンとなって現れる場合を説明する図である。
図１１は、位置合わせを計算するブロック６１１よりも汚れ領域６１０が大きい場合の２視点画像を示す図である。基準となるＬ画像上の汚れ領域６１０が位置合わせを計算するブロック６１１よりも大きい場合、視差を求める対象のＲ画像上のブロックの位置は、ブロック６１２ａかブロック６１２ｂかどちらか区別ができない。従って、視差を正しく求める事ができず、視差量から汚れ領域を検出する事ができない。
図１２は、汚れがパターンとなって現れる場合の２視点画像である。図１１と同様に、基準となるＬ画像上の繰り返し汚れ領域６２０に対して位置合わせを計算するブロックがブロック６２１の場合、視差を求める対象のＲ画像上のブロック位置は、ブロック６２２ａかブロック６２２ｂかどちらか区別ができない。
以上より、図１１、図１２に示したような汚れが存在する場合、実施の形態１におけるライトフィールドカメラ２００の汚れ検出に比べて、位置合わせでは正しく汚れを検出できない。したがって、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合では、汚れが検出できず、画質を向上させることができない。
以上のように、実施の形態における撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
これにより、メインレンズ付近の汚れを取り除いた画像を生成でき、車載カメラや監視カメラにおいて画像認識を行う場合、レンズ付近の汚れにより認識精度が低下するのを防ぐ事ができる。
本開示は、ライトフィールドカメラでメインレンズ付近の汚れを除去して撮影を行う撮像装置に適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラ、内視鏡等の医療用カメラなどに適用可能である。
１００，２００ ライトフィールドカメラ
１０１ 被写体
１０２ メインレンズ
１０２ａ，１０２ｂ，１０２ｃ 部分開口
１０３ マイクロレンズアレイ
１０３ａ，１０３ｂ，１０３ｃ マイクロレンズ
１０４，１０４ａａ，１０４ａｂ，１０４ａｃ，１０４ｂａ，１０４ｂｂ，１０４ｂｃ，１０４ｃａ，１０４ｃｂ，１０４ｃｃ 撮像素子
２１０ 撮像部
２２０ 信号処理部
２２１ 汚れ検出部
２２２ 汚れ除去部
４０１ ＥＰＩ
５００，５１１，５１２，５１３ 部分開口画像
５１４，５１５ 汚れ
５２０ ＥＰＩ
５２１，５２２，６０１，６０２，６０３ａ，６０３ｂ，６０３ｃ 領域
６１０，６２０ 汚れ領域
６１１，６１２ａ，６１２ｂ，６２１，６２２ａ，６２２ｂ ブロック
１００１，１００２，１００３ ＥＰＩ

Claims (3)

  1. 光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
    メインレンズと、
    撮像素子と、
    前記メインレンズと前記撮像素子の間に配置されるマイクロレンズと、
    前記撮像素子上の画素を、前記メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、前記メインレンズ付近の汚れ領域を検出する汚れ検出部と、
    前記汚れ領域を前記汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える、
    撮像装置。
  2. 前記汚れ検出部は、ハフ変換を用いて、前記直線の傾きを算出する、
    請求項１に記載の撮像装置。
  3. 前記汚れ検出部は、前記エピポーラ平面画像を領域分割し、領域毎のエッジ情報から前記直線の傾きを算出する、
    請求項１に記載の撮像装置。
JP2016504869A 2014-02-28 2014-12-04 撮像装置 Pending JPWO2015128918A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014037859 2014-02-28
JP2014037859 2014-02-28
PCT/JP2014/006064 WO2015128918A1 (ja) 2014-02-28 2014-12-04 撮像装置

Publications (1)

Publication Number Publication Date
JPWO2015128918A1 true JPWO2015128918A1 (ja) 2017-03-30

Family

ID=54008292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016504869A Pending JPWO2015128918A1 (ja) 2014-02-28 2014-12-04 撮像装置

Country Status (4)

Country Link
US (1) US20160307303A1 (ja)
EP (1) EP3113480A4 (ja)
JP (1) JPWO2015128918A1 (ja)
WO (1) WO2015128918A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264761A1 (en) * 2016-06-23 2018-01-03 Thomson Licensing A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera
WO2020019131A1 (zh) * 2018-07-23 2020-01-30 太平洋未来科技（深圳）有限公司 光线信息的确定方法、装置及电子设备
KR20210046971A (ko) 2019-10-21 2021-04-29 삼성전자주식회사 복수-입력 폴디드 카메라 및 이를 포함하는 모바일 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3209108B2 (ja) * 1996-08-23 2001-09-17 松下電器産業株式会社 ２次元コード読み取り装置
JP4529837B2 (ja) * 2005-08-04 2010-08-25 カシオ計算機株式会社 撮像装置、画像補正方法及びプログラム
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
JP5207057B2 (ja) * 2008-11-28 2013-06-12 サクサ株式会社 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
WO2012001975A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
JP2013179564A (ja) * 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置
WO2014198351A1 (en) * 2013-06-12 2014-12-18 Vidinoti Sa Method and apparatus for identifying local features
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method

Also Published As

Publication number Publication date
EP3113480A4 (en) 2017-02-22
US20160307303A1 (en) 2016-10-20
EP3113480A1 (en) 2017-01-04
WO2015128918A1 (ja) 2015-09-03

Similar Documents

Publication Publication Date Title
JP5387856B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP6585006B2 (ja) 撮影装置および車両
JP6643122B2 (ja) 距離画像装置、撮像装置、および距離画像補正方法
US20120242855A1 (en) Device and method including function for reconstituting an image, and storage medium
KR101725045B1 (ko) 화상처리장치 및 그 제어방법
JP2017519440A (ja) 深度推定のための画像センサ
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP2007074079A (ja) 画像入力装置
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
KR20100040643A (ko) 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
JP6611531B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
WO2015128918A1 (ja) 撮像装置
WO2015132831A1 (ja) 撮像装置
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
US20150268385A1 (en) Image processing method and imaging device
US10602066B2 (en) Imaging device, imaging method, program, and non-transitory recording medium
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
JP2014155071A5 (ja)
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP6362070B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US9596402B2 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
JP6774279B2 (ja) 撮像装置及びその制御方法、情報処理装置、及び情報処理方法
JP2009211254A (ja) 画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same