JPWO2019220722A1 - 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 - Google Patents

固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 Download PDF

Info

Publication number
JPWO2019220722A1
JPWO2019220722A1 JP2020518985A JP2020518985A JPWO2019220722A1 JP WO2019220722 A1 JPWO2019220722 A1 JP WO2019220722A1 JP 2020518985 A JP2020518985 A JP 2020518985A JP 2020518985 A JP2020518985 A JP 2020518985A JP WO2019220722 A1 JPWO2019220722 A1 JP WO2019220722A1
Authority
JP
Japan
Prior art keywords
polarized
pixel
polarization
pixels
pixel group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020518985A
Other languages
English (en)
Inventor
康孝 平澤
康孝 平澤
穎 陸
穎 陸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019220722A1 publication Critical patent/JPWO2019220722A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

偏光撮像部２０は、複数の画素を含む画素群毎にマイクロレンズを設けて、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで偏光画像を取得する。情報処理部３０の偏光状態算出部３１は、偏光撮像部２０とメインレンズ１５を用いて取得された被写体の偏光画像と、メインレンズに応じて予め補正パラメータ記憶部３２に記憶されているマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を精度よく取得する。

Description

この技術は、固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法に関し、偏光状態を精度よく取得できるようにする。
近年、被写体の三次元形状を取得することが行われており、三次元形状の取得では、アクティブな方法やパッシブな方式が用いられている。アクティブな方法では、光などのエネルギーを放射して、被写体からのエネルギーの反射量に基づいて三次元計測を行う。したがって、エネルギーを放射するエネルギー放射部を設ける必要があり、さらに、エネルギー放射のためのコストや消費電力の増加をまねくことから、手軽に用いることができない。このアクティブな方法に対してパッシブな方法では、画像の特徴を利用して計測するものであり、エネルギー放射部を設ける必要がなく、エネルギー放射のためのコストや消費電力の増加をまねくこともない。パッシブな方法を用いた三次元形状の取得では、例えばステレオカメラを用いてデプスマップを生成することが行われている。また、複数の偏光方向の偏光画像を取得して法線マップを生成する偏光イメージングなども行われている。
偏光画像の取得では、撮像部の前に偏光板を配置して、撮像部の光軸方向を回転軸として偏光板を回転させて撮像を行うことで、複数の偏光方向の偏光画像を取得できる。また、特許文献１では、撮像部の各画素上に異なる偏光方向の偏光子を配置することで、１度の撮像で複数偏光方向の偏光画像を取得することが記載されている。
特開２００９−０５５６２４号公報
ところで、撮像部の各画素上に異なる偏光方向の偏光子を配置する方法では、複数の異なる位置の画素を偏光方向毎に用いて複数偏光方向の偏光画像が生成されている。異なる位置の画素は、被写体上の異なる位置に対応しているため、形状が急激に変化する被写体やテクスチャを持った被写体および被写体のエッジ等では、得られる偏光状態の精度が低下するおそれがある。
そこで、この技術では偏光状態を精度よく取得できる固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法を提供する。
この技術の第１の側面は、
複数の画素を含む画素群毎にマイクロレンズを設け、
前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置にある。
この技術においては、複数の画素を含む画素群毎にマイクロレンズを設けて、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成とする。また、画素群は偏光方向が等しい２つの画素を有する構成としてもよい。画素群を２×２画素の二次元領域内の画素とした場合、画素群は偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と２つの無偏光画素で構成する。画素群をｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素とした場合、１画素離れた偏光画素を等しい偏光方向とする。また、画素群毎にカラーフィルタを設け、隣接する画素群のカラーフィルタは透過する光の波長が異なる構成としてもよい。画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで白黒偏光画像あるいはカラー偏光画像を生成する。
この技術の第２の側面は、
偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を算出する偏光状態算出部
を備える情報処理装置にある。
この技術においては、偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、偏光状態算出部で被写体の偏光状態を算出する。また、画素群は偏光方向が等しい２つの画素を有しており、画素群毎の偏光方向が等しい一方の画素を用いて一方の視点画像の生成と他方の画素を用いて他方の視点画像の生成を行い、一方の視点画像と他方の視点画像に基づき被写体までの距離を示すデプス情報をデプス情報生成部で生成してもよく、算出された被写体の偏光状態に基づき、被写体の法線を示す法線情報を法線情報生成部で生成してもよい。さらに、デプス情報と法線情報を生成したとき、生成されたデプス情報を法線情報に基づいて精度の高いデプス情報と情報統合部で生成してもよい。
この技術の第３の側面は、
偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を偏光状態算出部で算出すること
を含む情報処理方法にある。
この技術の第４の側面は、
偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて、偏光状態が明らかな光源を撮像して得られた偏光画像に基づいて算出された前記光源の偏光状態を、明らかとされている前記光源の偏光状態に補正する補正パラメータを補正パラメータ生成部で生成すること
を含むキャリブレーション方法にある。
この技術においては、補正パラメータ生成部で、光源の偏光状態の切り替え制御と固体撮像装置の撮像制御を行い、複数の前記偏光状態毎の偏光画像を固体撮像装置で取得させる。固体撮像装置は、偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた構成であり、メインレンズを用いて、偏光状態が明らかな光源を撮像して偏光画像を取得する。補正パラメータ生成部は、取得された偏光画像に基づいて算出した光源の偏光状態を、明らかとされている光源の偏光状態に補正する補正パラメータを生成する。
この技術によれば、固体撮像装置は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行う。また、情報処理装置は、固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態が算出される。したがって、偏光状態を精度よく取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
システムの構成を例示した図である。 偏光画像と観測対象との関係について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光撮像部の画素構造の一部を例示した図である。 偏光撮像部の他の画素配置を示した図である。 偏光撮像部の動作を説明するための図である。 各画素に入射される光の通過位置を示した図である。 情報処理部の第１の実施の形態の動作を示すフローチャートである。 補正パラメータを生成するキャリブレーション装置の構成を例示した図である。 同一の偏光特性を持つ画素の組を設けた画素配置を例示した図である。 情報処理部の第２の実施の形態の構成を示す図である。 複数の視点画像の生成を説明するための図である。 情報処理部の第２の実施の形態の動作を例示したフローチャートである。 情報処理部の第３の実施の形態の構成を示した図である。 偏光度と天頂角の関係を示す図である。 情報統合処理を説明するための図である。 情報処理部の第３の実施の形態の動作を例示したフローチャートである。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．システムの構成
２．偏光撮像部の構成と動作
３．情報処理部の構成と動作
３−１．情報処理部の第１の実施の形態
３−２．補正パラメータの生成について
３−３．情報処理部の第２の実施の形態
３−４．情報処理部の第３の実施の形態
３−５．情報処理部の他の実施の形態
４．応用例
＜１．システムの構成＞
図１は、本技術の固体撮像装置と情報処理装置を用いたシステムの構成を例示している。システム１０は、メインレンズ１５と偏光撮像部２０と情報処理部３０を有している。なお、偏光撮像部２０は本技術の固体撮像装置、情報処理部３０は本技術の情報処理装置にそれぞれ相当する。
偏光撮像部２０はメインレンズ１５を用いて被写体の撮像を行い、複数の偏光方向の偏光画像を取得して情報処理部３０へ出力する。情報処理部３０は、偏光撮像部２０で取得された偏光画像と、メインレンズ１５に応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を算出する。
＜２．偏光撮像部の構成と動作＞
ここで、偏光画像と観測対象との関係について説明する。図２に示すように、例えば光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部４１は偏光板４２を介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板４２の偏光方向に応じて被写体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板４２の平面上として、偏光板４２の偏光方向をｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板４２は、偏光方向が１８０度の周期を有しており、１８０度回転させると元の偏光状態に戻る。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板４２の偏光方向を仮に変化させると、観測される輝度Ｉは式（１）の偏光モデル式であらわすことができる。すなわち、被写体ＯＢの偏光状態を算出できる。なお、図３は、輝度と偏光角との関係を例示している。
Figure 2019220722
偏光撮像部２０は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有するように構成する。画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで、被写体の偏光状態を精度よく算出できるようにする。
図４は 偏光撮像部２０の画素構造の一部を例示している。偏光撮像部２０の画素は例えば２×２画素を１つの画素群として、１つの画素群を構成する画素２０１ａ乃至２０１ｄでは入射面に偏光子２０２ａ乃至２０２ｄが配置されている。偏光子２０２ａ乃至２０２ｄは、例えばワイヤグリッドなどが用いられている。各画素の偏光子は異なる偏光方向とされており、例えば画素２０１ａに設けられた偏光子２０２ａは０度の偏光光を透過する。また、画素２０１ｂの偏光子２０２ｂは１３５度の偏光光、画素２０１ｃの偏光子２０２ｃは４５度の偏光光、画素２０１ｄの偏光子２０２ｄは９０度の偏光光を透過する。すなわち、画素２０１ａは０度の偏光光に応じた観測値（画素値あるいは輝度値）を出力する偏光方向が０度の偏光画素であり、画素２０１ｂは１３５度の偏光光に応じた観測値を出力する偏光方向が１３５度の偏光画素である。また、画素２０１ｃは４５度の偏光光に応じた観測値を出力する偏光方向が４５度の偏光画素であり、画素２０１ｄは、９０度の偏光光に応じた観測値を出力する偏光方向が９０度の偏光画素である。
このように偏光子を画素の入射面側に設けて、１つの画素群について４つの偏光方向の偏光画素を設ければ、偏光方向毎の観測値が得られるので、画素群毎に偏光状態を算出できる。また、同じ偏光方向の偏光画素の観測値を用いて他の偏光方向の偏光画素の位置の観測値を算出する補間処理を行えば、画素毎に偏光状態を算出できる。
各画素群にはマイクロレンズ２０３が配置されており、マイクロレンズ２０３を通った光が画素群の各画素に入射される。なお、マイクロレンズ２０３は、複数の画素を含む画素群毎に設けられていればよく、画素群は２×２画素の二次元領域内の画素に限られない。また、図４では偏光子で透過される偏光光が０度，４５度，９０度，１３５度である場合を例示しているが、偏光状態の算出が可能な構成すなわち異なる３偏光方向（偏光方向に無偏光を含めても良い）であればどのような角度であってもよい。図５は、偏光撮像部の他の画素配置を示している。図５の（ａ），（ｂ）は、偏光方向が４５度または１３５度の角度差を有する２つの偏光画素と２つの無偏光画素で画素群を構成した場合を例示している。また、偏光撮像部２０はカラー偏光画像を取得してもよく、図５の（ｃ）は、赤色偏光画像と緑色偏光画像と青色偏光画像を取得する場合の画素配置を例示している。カラー偏光画像を取得する場合、隣接する画素群で透過する光の波長が異なるようにカラーフィルタを設ける。なお、図５の（ｃ）では、画素群を１つの色単位として色配列をベイヤー配列とした場合を例示している。
図６は、偏光撮像部の動作を説明するための図である。図６の（ａ）はマイクロレンズのない従来の偏光撮像部の光路を示しており、図６の（ｂ）はマイクロレンズを用いた本技術の偏光撮像部の光路を示している。
被写体ＯＢからの光はメインレンズ１５によって集光されて偏光撮像部２０に入射される。なお、図６は第１の偏光方向の偏光画素２０１ｅと第１の方向とは異なる第２の偏光方向の偏光画素２０１ｆを例示している。
図６の（ａ）に示す従来の構成では、メインレンズ１５の焦点面が偏光撮像部２０の撮像面（センサ面）とされていることから、偏光画素２０１ｅに入射される光と偏光画素２０１ｆに入射される光は、被写体ＯＢの異なる位置を示している。したがって、偏光画素２０１ｅと偏光画素２０１ｆの観測値を用いた場合、精度よく被写体の偏光状態を算出することができない。
図６の（ｂ）に示す本技術の構成では、画素群毎にマイクロレンズ２０３を設けて、マイクロレンズ２０３の位置はメインレンズ１５の焦点面の位置とする。この場合、被写体ＯＢにおける所望の位置からメインレンズ１５の上側を通過して集光された光は、マイクロレンズ２０３を介して偏光画素２０１ｆに入射する。また、被写体ＯＢにおける所望の位置からメインレンズ１５の下側を通過して集光された光は、マイクロレンズ２０３を介して偏光画素２０１ｅに入射する。すなわち、偏光撮像部２０では所謂ライトフィールドカメラと同様な動作が行われて、偏光画素２０１ｅと偏光画素２０１ｆの観測値は、被写体ＯＢにおける所望の位置の偏光状態を示す。したがって、偏光画素２０１ｅと偏光画素２０１ｆの観測値を用いて、従来よりも精度よく被写体の偏光状態を算出できるようになる。
＜３．情報処理部の構成と動作＞
次に、情報処理部の構成と動作について説明する。マイクロレンズを設けた画素群では、図６の（ｂ）に示すように、画素群内の画素に入射する光は、画素毎にメインレンズ１５の異なる部分を通過して集光した光である。図７は、２×２画素の画素群にマイクロレンズ２０３を設けた場合の各画素に入射される光の通過位置を示している。例えば画素２０１ａにはメインレンズ１５の右下の１／４の領域ＬＡ4を通過して集光された光が入射する。また、画素２０１ｂにはメインレンズ１５の左下の１／４の領域ＬＡ3を通過して集光された光、画素２０１ｃにはメインレンズ１５の右上の１／４の領域ＬＡ2を通過して集光された光、画素２０１ｄにはメインレンズ１５の左上の１／４の領域ＬＡ1を通過して集光された光がそれぞれ入射する。このように、画素に入射する光は、メインレンズの異なる領域を通過することから、光の経路の違いに応じた偏光状態の変化が加わる可能性がある。そこで、情報処理部３０は、メインレンズ１５で生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出する。
＜３−１．情報処理部の第１の実施の形態＞
情報処理部３０は、図１に示すように偏光状態算出部３１と補正パラメータ記憶部３２を有している。偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行う。
偏光状態算出部３１、偏光状態の計算として偏光状態を示すストークスベクトルＳを算出する。ここで、偏光方向が０度である偏光画素の観測値をＩ0、偏光方向が４５度である偏光画素の観測値をＩ45、偏光方向が９０度である偏光画素の観測値をＩ90、偏光方向が１３５度である偏光画素の観測値をＩ135とすると、ストークスベクトルと観測値の関係は式（２）となる。
Figure 2019220722
ストークスベクトルＳにおいて、成分ｓ0は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ1は、偏光方向が０度と９０度である観測値の差、成分ｓ2は偏光方向が４５度と１３５度である観測値の差を示している。
ところで、図６の（ｂ）に示したように，画素群の各画素に入射する光はメインレンズ１５の異なる部分を通過してきた光である。図７は、画素群の各画素に入射される光のメインレンズ通過位置を示している。例えば画素２０１ａにはメインレンズ１５の右下の１／４の領域ＬＡ4を通過してきた光が入射する。また、画素２０１ｂにはメインレンズ１５の左下の１／４の領域ＬＡ3を通過してきた光、画素２０１ｃにはメインレンズ１５の右上の１／４の領域ＬＡ2を通過してきた光、画素２０１ｄにはメインレンズ１５の左上の１／４の領域ＬＡ1を通過してきた光がそれぞれ入射する。このように、画素に入射する光は、メインレンズの異なる領域を通過することから、入射する光の経路の違いにより、それぞれ異なる偏光状態の変化が加わる可能性がある。そこで，偏光状態算出部３１は、補正パラメータ記憶部３２からマイクロレンズ毎に対応する補正パラメータを取得して、ストークスベクトルＳの計算では、取得した補正パラメータを用いる。式（３）は、偏光状態の計算式を示している。偏光状態算出部３１は、マイクロレンズ２０３が設けられた画素群の各画素の観測値Ｉ0，Ｉ45，Ｉ90，Ｉ135と、メインレンズ１５に応じてマイクロレンズ毎に予め設定されている補正パラメータＰを用いて、画素群の画素で示される被写***置のストークスベクトルＳを算出する。なお、補正パラメータの詳細については後述する。
Figure 2019220722
図８は、情報処理部の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ２に進む。
ステップＳＴ２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ３に進む。
ステップＳＴ３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いて式（３）の演算を行い、ストークスベクトルＳを算出する。
このように、情報処理部の第１の実施の形態によれば、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。
＜３−２．補正パラメータの生成について＞
次に、補正パラメータの生成について説明する。
ストークスベクトルＳである直線偏光光を照明光として出射する偏光照明部を、メインレンズ１５を用いて偏光撮像部２０で撮像した場合、ストークスベクトルＳと偏光画像の各画素の観測値との関係は式（４）となる。
Figure 2019220722
また、偏光画素で生成された観測値は、一般的にＩ0＋Ｉ90＝Ｉ45＋Ｉ135であるから、式（４）は式（５）とすることができる。また、式（５）の行列Ａの逆行列は式（６）となる。
Figure 2019220722
式（６）における４列目を除いた式（７）に示す行列Ｂを用いると、ストークスベクトルＳである照明光を観測した場合の観測値は、式（８）に基づいて算出できる。
Figure 2019220722
また、ストークスベクトルＳである照明光がレンズを通過する場合、レンズを通過した照明光をストークスベクトルＳ’＝［ｓ0，ｓ1，ｓ2］Ｔとすると、レンズ通過前のストークスベクトルＳとレンズ通過後のストークスベクトルＳ’＝［ｓ0 '，ｓ1 '，ｓ2 '］Ｔの関係は、式（９）の関係となる。なお、式（９）の行列Ｍはミュラー行列であり、照明光がレンズを通過したときの偏光状態の変化を示しており、式（９）は式（１０）として示すことができる。
Figure 2019220722
したがって、ストークスベクトルＳである照明光を偏光撮像部２０で観測した場合の観測値は、式（１１）に基づいて算出できる。
Figure 2019220722
ここで、２×２画素の画素群毎にマイクロレンズを設ける場合、各画素に入射する光はメインレンズ１５の異なる領域を通過することから、それぞれの画素に対して異なるミュラー行列が対応する。ここで、図７に示す左上のレンズ領域ＬＡ1に対応するミュラー行列をＭ１、右上のレンズ領域ＬＡ2に対応ミュラー行列をＭ２、左下のレンズ領域ＬＡ3に対応するミュラー行列をＭ３、右下のレンズ領域ＬＡ4に対応するミュラー行列をＭ４とする。この場合、ストークスベクトルＳの光がレンズの各部分を通った場合の各偏光方向の観測値Ｉn＝［Ｉ0 n, Ｉ45 n, Ｉ90 n, Ｉ135 n］（ｎ＝１，２，３，４)は式（１２）で算出される。
Figure 2019220722
しかし、上述したように画素２０１ａに入射する照明光はレンズの右下１／４の領域ＬＡ4を通過してきた光である。さらに、画素２０１ｂに入射する照明光はレンズの左下１／４の領域ＬＡ3を通過した光、画素２０１ｃに入射する照明光はレンズの右上１／４の領域ＬＡ2を通過した光、画素２０１ｄに入射する照明光は、レンズの左上１／４の領域ＬＡ1を通過した光である。したがって、実際の観測値は式（１３）となる。なお、式（１３）においてｍrc nはミュラー行列Ｍnのｒ行ｃ列の要素である。また、式（１３）の各行は独立であることから、行間で共通のｍrc nはあらわれない。
Figure 2019220722
例えば画素２０１ａの観測値Ｉ0 4は式（１４）に基づき算出できる。また、ストークスベクトルＳの照明光に対して６組の観測値Ｉ0 4が得られれば、式（１４）におけるｍrc 4を算出できる。同様にして、要素ｍrc 1，ｍrc 2，ｍrc 3を算出すれば、観測値に基づきストークスベクトルＳを算出できる。すなわち、要素ｍrc 1，ｍrc 2，ｍrc 3，ｍrc 4を算出して補正パラメータＰとする
Figure 2019220722
図９は、補正パラメータを生成するキャリブレーション装置の構成を例示している。キャリブレーション装置５０は、偏光画像を取得するために用いる上述のメインレンズ１５と偏光撮像部２０、偏光照明部５１、および補正パラメータ生成部５２を有している。偏光照明部５１は、偏光方向が明らかである直線偏光光を照明光としてメインレンズ１５の方向に出射する。偏光撮像部２０はメインレンズ１５を用いて偏光照明部５１を撮像して偏光画像を取得する。補正パラメータ生成部５２は、偏光照明部５１を制御して異なるストークスベクトルＳの照明光を切り替えて出力させる。また、補正パラメータ生成部５２は、偏光撮像部２０を制御して偏光照明部５１から出力される照明光を切り替える毎に偏光画像を取得させる。さらに、補正パラメータ生成部５２は、複数の異なるストークスベクトルＳの照明光毎に取得された偏光画像を用いて、マイクロレンズ毎に補正パラメータを生成する。
具体的には、偏光照明部５１は、６種類のストークスベクトルＳの直線偏光光を切り替えて照明光として出射できる構成として、補正パラメータ生成部５２は、６種類のストークスベクトルＳの照明光毎に偏光撮像部２０で偏光画像を取得させる。補正パラメータ生成部５２は、６種類の異なるストークスベクトルＳの照明光の撮像画像の観測値と照明光のストークスベクトルＳに基づいて、上述のように要素ｍrc 1，ｍrc 2，ｍrc 3，ｍrc 4を算出して補正パラメータとする。
ところで、図７に示す構成である場合、偏光光がレンズを通過したときに偏光状態が変わる要因は屈折のみである。屈折のミュラー行列Ｍは、式（１５）となる。
Figure 2019220722
したがって、屈折のミュラー行列を用いることで、補正パラメータの算出が容易となる。すなわち、屈折のミュラー行列を用いることで上述の式（１１）は式（１６）となり、式（１２）は式（１７）となることから、補正パラメータの算出が容易である。
Figure 2019220722
式（１７）におけるａn，ｂn，ｃn（ｎ＝１，２，３，４）はレンズの各部分に対応するミュラー行列の要素である。また、偏光特性は、上述の式（１）および図３から明らかなように１８０度の対象性を有しており、１８０度の対象性を有する光学系で生じる偏光状態の変化は同じである。このため、メインレンズの左上の領域ＬＡ1と右下の領域ＬＡ4に対応するミュラー行列は同じとなり、右上の領域ＬＡ2と左下の領域ＬＡ3に対応するミュラー行列は同じになる。つまり「（ａ1，ｂ1，ｃ1）＝（ａ4，ｂ4，ｃ4），（ａ2，ｂ2，ｃ2）＝（ａ3，ｂ3，ｃ3）」である。したがって、１つの偏光方向の偏光光で２つの式が得られるようになる。この場合、式（１７）の未知数は５つ（例えばａ1，ｂ1，ａ2，ｂ2，ｃ2）であることから、３種類のストークスベクトルＳである照明光の観測値が得られれば補正パラメータを生成できる。
なお、式（１７）の行列の擬似逆行列を補正パラメータ記憶部３２に保持することで偏光状態算出部３１はストークスベクトルＳを計算できるが、行列を構成する５つの未知数のみ保持しておいて，実際の偏光状態の計算時に擬似逆行列を計算することも可能である。さらに、補正パラメータは、全てのマイクロレンズに対して保持する場合に限らず、一部のマイクロレンズに対して保持するようにしてもよい。この場合、対応する補正パラメータが記憶されていないマイクロレンズに関しては、周囲に位置するマイクロレンズの補正パラメータを用いた補間処理等によって、補正パラメータを算出してもよい。
＜３−３．情報処理部の第２の実施の形態＞
次に、情報処理部の第２の実施の形態について説明する。第２の実施の形態では、偏光撮像部２０で取得された偏光画像に基づきデプス情報を生成する。また、偏光画像に基づきデプス情報を生成する場合、偏光撮像部におけるマイクロレンズ毎の画素群では、同一の偏光特性を持つ画素の組を設ける。
図１０は、同一の偏光特性を持つ画素の組を設けた画素配置を例示している。図１０の（ａ）は、同一の偏光特性を持つ画素の組が同じ行の無偏光画素ＰＮ01，ＰＮ02である場合を示している。図１０の（ｂ）は、画素群がｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素、例えば３×３画素の二次元領域内の画素とされており、同一の偏光特性を持つ画素の組が１画素離れた偏光方向の等しい同じ行の偏光画素ＰＰ01，ＰＰ02である場合を例示している。なお、同一の偏光特性を持つ画素の組は、画素群の中段の１画素離れている偏光画素の組に限らず、上段や下段の偏光画素の組であってもよい。また、同一の偏光特性を持つ画素の組は、同じ列の画素であってもよい。
図１１は、情報処理部の第２の実施の形態の構成を示している。情報処理部３０は、偏光状態算出部３１と補正パラメータ記憶部３２とデプス情報生成部３３を有している。
偏光状態算出部３１と補正パラメータ記憶部３２は第１の実施の形態と同様に構成されており、偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行う。
デプス情報生成部３３は、偏光撮像部２０で取得された偏光画像から複数の視点画像を生成して、視点画像に基づき被写体までの距離を算出する。図１２は複数の視点画像の生成を説明するための図である。デプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像を生成して、他方の画素を用いて第２画像を生成する。デプス情報生成部３３は、２×２画素の各画素群から同一の偏光特性を持つ画素の組の例えば一方の無偏光画素ＰＮ01を用いて第１画像Ｇ01を生成して、他方の無偏光画素ＰＮ02を用いて第２画像Ｇ02を生成する。無偏光画素ＰＮ01と無偏光画素ＰＮ02の入射光は、上述したようにメインレンズ１５の異なる領域を通過した光であり、無偏光画素ＰＮ01と無偏光画素ＰＮ02は視点が異なる画素である。すなわち、各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いた第１画像と他方の画素を用いた第２画像は、ステレオカメラの２つの視点画像に相当する。したがって、ステレオカメラの２つの視点画像に相当する第１画像と第２画像を用いて、従来と同様にステレオマッチング処理を行い被写体までの距離（デプス）を算出して、算出した距離を示すデプス情報を出力する。
図１３は、情報処理部の第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ１２に進む。
ステップＳＴ１２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ１３に進む。
ステップＳＴ１３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いてストークスベクトルＳを算出してステップＳＴ１４に進む。
ステップＳＴ１４で情報処理部は複数視点画像を生成する。情報処理部３０のデプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像と他方の画素を用いて第２画像を、複数視点画像として生成してステップＳＴ１５に進む。
ステップＳＴ１５で情報処理部はデプス情報を生成する。デプス情報生成部３３は、ステップＳＴ１４で生成した複数視点画像を用いてステレオマッチング処理等を行い被写体までの距離を算出して、算出した距離を示すデプス情報を生成する。
なお、第２の実施の形態の動作は、ステップＳＴ１２の処理がステップＳＴ１３の処理前、ステップＳＴ１４の処理がステップＳＴ１５の処理前に行われていればよく、図１３に示す順序に限られない。
このように、情報処理部の第２の実施の形態によれば、偏光画像に生じたレンズによる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。また、第２の実施の形態によれば、デプス情報を生成することができる。
＜３−４．情報処理部の第３の実施の形態＞
次に、情報処理部の第３の実施の形態について説明する。第３の実施の形態では、第２の実施の形態よりも精度の高いデプス情報を生成する。
図１４は、情報処理部の第３の実施の形態の構成を示している。情報処理部３０は、偏光状態算出部３１、補正パラメータ記憶部３２、デプス情報生成部３３、および法線情報生成部３４と情報統合部３５を有している。
偏光状態算出部３１と補正パラメータ記憶部３２は第１の実施の形態と同様に構成されており、偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行い、算出した偏光状態を法線情報生成部３４へ出力する。
デプス情報生成部３３は、第１の実施の形態と同様に構成されており、偏光撮像部２０で取得された偏光画像から複数の視点画像を生成して、視点画像に基づき被写体までの距離の算出を行い、算出した距離を示すデプス情報を情報統合部３５へ出力する。
法線情報生成部３４は、偏光状態算出部３１で算出された偏光状態に基づき被写体の法線を算出する。ここで、図２に示す偏光板４２の偏光方向を変化させて最低輝度Ｉminと最高輝度Ｉmaxが得られると、式（１８）に基づき偏光度ρを算出できる。また、偏光度ρは、式（１８）に示すように被写体ＯＢの相対屈折率ｎｒとｚ軸から法線に向かう角度である天頂角θを用いて算出できる。なお、この場合のｚ軸は、被写体ＯＢの観測対象点から撮像部４１に向かう光線方向を示す視線軸である。
Figure 2019220722
偏光度と天頂角の関係は、例えば図１５に示す特性となり、この特性を利用して、偏光度ρに基づき天頂角θを算出できる。なお、図１５に示す特性は、式（１８）から明らかなように相対屈折率ｎｒに依存しており、相対屈折率ｎｒが大きくなるに伴い偏光度が大きくなる。
したがって、法線情報生成部３４は、式（１８）を用いて算出した偏光度ρに基づき天頂角θを算出する。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとして、天頂角θと方位角φを示す法線情報を生成して情報統合部３５へ出力する。
情報統合部３５は、デプス情報生成部３３で静止江されたデプス情報と法線情報生成部３４で生成された法線情報を統合して、デプス情報生成部３３で算出された距離よりも精度の高いデプス情報を生成する。
情報統合部３５は、例えばデプス情報においてデプス値が取得できていない場合、法線情報で示された被写体の表面形状とデプス情報で示されたデプス値に基づき、デプス値が得られている画素を起点として被写体の表面形状を辿る。情報統合部３５は、表面形状を辿ることで、デプス値が得られていない画素に対応するデプス値を算出する。また、情報統合部３５は、推定したデプス値をデプス情報生成部３３で生成されたデプス情報に含めることで、デプス情報生成部３３で生成されたデプス情報以上の精度を有するデプス情報を生成して出力する。
図１６は、情報統合処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての統合処理について説明する。図１６の（ａ）に示すように、被写体ＯＢを撮像して、デプス情報生成部３３で図１６の（ｂ）に示すデプス値、法線情報生成部３４で図１６の（ｃ）に示す法線が算出されたとする。また、デプス情報では、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が格納されていないとする。情報統合部３５は、法線情報に基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から偏光撮像部２０の方向に近づく傾斜面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプス情報に格納する。左端から３番目の画素は、この画素の法線方向に基づき偏光撮像部２０と対向する面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプス情報に格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から偏光撮像部２０から離れる方向の傾斜面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプスマップに格納する。同様に左端から５番目の画素のデプス値を推定して、例えば「２（メートル）」としてデプスマップに格納する。
このように、情報統合部３５は、デプス情報と法線情報の統合処理を行い、デプス情報で示されたデプス値を起点として法線情報に基づき表面形状を辿ることで、デプス値を推定する。したがって、情報統合部３５は、デプス情報生成部３３で生成された図１６の（ｂ）に示すデプス情報で一部のデプス値が欠損していても、欠損しているデプス値を補うことが可能となる。したがって、図１６の（ｂ）に示すデプス情報以上の精度である図１６の（ｄ）に示すデプス情報を生成できる。
図１７は、情報処理部の第３の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ２２に進む。
ステップＳＴ２２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ２３に進む。
ステップＳＴ２３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いてストークスベクトルＳを算出してステップＳＴ２４に進む。
ステップＳＴ２４で情報処理部は複数視点画像を生成する。情報処理部３０のデプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像と他方の画素を用いて第２画像を、複数視点画像として生成してステップＳＴ２５に進む。
ステップＳＴ２５で情報処理部はデプス情報を生成する。デプス情報生成部３３は、ステップＳ２４で生成した複数視点画像を用いてステレオマッチング処理等を行い被写体までの距離を算出して、算出した距離を示すデプス情報を生成してステップＳＴ２６に進む。
ステップＳＴ２６で情報処理部は法線情報を生成する。情報処理部３０の法線情報生成部３４は、ステップＳＴ２３で算出された偏光状態から天頂角と方位角を算出して、算出した天頂角と方位角を示す法線情報を生成してステップＳＴ２７に進む。
ステップＳＴ２７で情報処理部は情報統合処理を行う。情報処理部３０の情報統合部３５は、ステップＳＴ２５で生成されたデプス情報とステップＳＴ２６で生成された法線情報の統合処理を行い、ステップＳＴ２５で生成されたデプス情報よりも高い精度のデプス情報を生成する。
なお、第３の実施の形態の動作は、ステップＳＴ２２の処理がステップＳＴ２３の処理前、ステップＳＴ２３の処理がステップＳＴ２６の処理前、ステップＳＴ２４の処理がステップＳＴ２５の処理前、ステップＳＴ２５，２６の処理がステップＳＴ２７の処理前に行われていればよく、図１７に示す順序に限られない。
このように、情報処理部の第３の実施の形態によれば、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。また、算出された被写体の偏光状態に基づき精度よく法線情報を生成できる。さらに、法線情報と偏光撮像部で取得された偏光画像に基づき生成されたデプス情報の統合処理によって、高い精度のデプス情報を生成できるようになる。
＜３−５．情報処理部の他の実施の形態＞
情報処理部の第２および第３の実施の形態ではデプス情報を生成したが、情報処理部では、デプス情報を生成することなく偏光状態の算出と法線情報の生成を行う構成であってもよい。
また、情報処理部に画像処理部を設けて、画像処理部は偏光状態の算出結果を用いて、被写体画像の画像処理例えば反射成分の調整や除去等を行うようにしてもよい。上述したように、偏光状態算出部３１で算出されたストークスベクトルＳは、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を示している。したがって、画像処理部は、偏光状態算出部３１で算出されたストークスベクトルＳと式（７）に示す行列Ｂを用いて式（８）の演算を行い、算出された偏光方向毎の観測値を用いて式（１）の偏光モデル式を求める。この偏光モデル式の振幅は鏡面反射成分を示しており、最小値は拡散反射成分を示すことから、偏光状態算出部３１で算出されたストークスベクトルＳに基づき、例えば鏡面反射成分の調整や除去等を精度よく行えるようになる。
また、偏光撮像部２０と情報処理部３０は、個別に設ける場合に限らず、偏光撮像部２０と情報処理部３０を一体に構成して、偏光撮像部２０と情報処理部３０の一方に他方の構成を含めてもよい。
＜４．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光状態情報に生じたレンズによる偏光状態の変化を補正できるので、補正後の偏光状態情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、所謂パッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の固体撮像装置は以下のような構成も取ることができる。
（１） 複数の画素を含む画素群毎にマイクロレンズを設け、
前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置。
（２） 前記画素群は偏光方向が等しい２つの画素を有する（１）に記載の固体撮像装置。
（３） 前記画素群は２×２画素の二次元領域内の画素であり、
前記画素群は、偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と、２つの無偏光画素で構成した（２）に記載の固体撮像装置。
（４） 前記画素群はｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素であり、
１画素以上離れた偏光画素を等しい偏光方向とした（２）に記載の固体撮像装置。
（５） 前記画素群毎にカラーフィルタを設け、
隣接する画素群のカラーフィルタは透過する光の波長が異なる（１）乃至（４）の何れかに記載の固体撮像装置。
この技術の固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法において、固体撮像装置は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行う。また、情報処理装置は、固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を算出する。したがって、偏光状態を精度よく取得できるようになる。このため、周辺環境を３次元で把握する分野や反射成分の調整を行う分野等に適している。
１０・・・システム
１５・・・メインレンズ
２０・・・偏光撮像部
３０・・・情報処理部
３１・・・偏光状態算出部
３２・・・補正パラメータ記憶部
３３・・・デプス情報生成部
３４・・・法線情報生成部
３５・・・情報統合部
４１・・・撮像部
４２・・・偏光板
５０・・・キャリブレーション装置
５１・・・偏光照明部
５２・・・補正パラメータ生成部
２０１ａ〜２０１ｆ・・・画素
２０２ａ〜２０２ｄ・・・偏光子
２０３・・・マイクロレンズ

Claims (13)

  1. 複数の画素を含む画素群毎にマイクロレンズを設け、
    前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
    前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置。
  2. 前記画素群は偏光方向が等しい２つの画素を有する
    請求項１に記載の固体撮像装置。
  3. 前記画素群は２×２画素の二次元領域内の画素であり、
    前記画素群は、偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と、２つの無偏光画素で構成した
    請求項２に記載の固体撮像装置。
  4. 前記画素群はｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素であり、
    １画素以上離れた偏光画素を等しい偏光方向とした
    請求項２に記載の固体撮像装置。
  5. 前記画素群毎にカラーフィルタを設け、
    隣接する画素群のカラーフィルタは透過する光の波長が異なる
    請求項１に記載の固体撮像装置。
  6. 偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を算出する偏光状態算出部
    を備える情報処理装置。
  7. 前記偏光画像から多視点画像を生成して、前記多視点画像に基づき前記被写体までの距離を示すデプス情報を生成するデプス情報生成部をさらに備える
    請求項６に記載の情報処理装置
  8. 前記偏光状態算出部で算出された前記被写体の偏光状態に基づき、前記被写体の法線を示す法線情報を生成する法線情報生成部と、
    前記法線情報生成部で生成された法線情報に基づき前記デプス情報生成部で生成されたデプス情報より精度の高いデプス情報を生成する情報統合部とをさらに備える
    請求項７に記載の情報処理装置
  9. 前記画素群は偏光方向が等しい２つの画素を有しており、
    前記デプス情報生成部は、前記画素群毎の前記偏光方向が等しい一方の画素を用いて一方の視点画像を生成して、前記画素群毎の前記偏光方向が等しい他方の画素を用いて他方の視点画像を生成して、前記一方の視点画像と前記他方の視点画像に基づき前記被写体までの距離を示すデプス情報を生成する
    請求項７に記載の情報処理装置
  10. 前記偏光状態算出部で算出された前記被写体の偏光状態に基づき、前記被写体の法線を示す法線情報を生成する法線情報生成部をさらに備える
    請求項７に記載の情報処理装置
  11. 偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を偏光状態算出部で算出すること
    を含む情報処理方法。
  12. 偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて、偏光状態が明らかな光源を撮像して得られた偏光画像に基づいて算出された前記光源の偏光状態を、明らかとされている前記光源の偏光状態に補正する補正パラメータを補正パラメータ生成部で生成すること
    を含むキャリブレーション方法。
  13. 前記光源の偏光状態の切り替え制御と前記固体撮像装置の撮像制御を前記補正パラメータ生成部で行い、複数の前記偏光状態毎の偏光画像を前記固体撮像装置で取得させて、該取得された偏光画像に基づいて前記補正パラメータを生成することを含む
    請求項１２に記載のキャリブレーション方法。
JP2020518985A 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 Pending JPWO2019220722A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018096043 2018-05-18
JP2018096043 2018-05-18
PCT/JP2019/005778 WO2019220722A1 (ja) 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法

Publications (1)

Publication Number Publication Date
JPWO2019220722A1 true JPWO2019220722A1 (ja) 2021-07-01

Family

ID=68539984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518985A Pending JPWO2019220722A1 (ja) 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法

Country Status (4)

Country Link
US (1) US20210235060A1 (ja)
JP (1) JPWO2019220722A1 (ja)
CN (1) CN112106350A (ja)
WO (1) WO2019220722A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243721B2 (ja) * 2018-06-05 2023-03-22 ソニーグループ株式会社 情報生成装置と情報生成方法およびプログラム
CN113966605B (zh) * 2019-06-11 2023-08-18 富士胶片株式会社 摄像装置
CN112672008B (zh) * 2020-12-14 2022-09-06 杭州联吉技术有限公司 一种镜片的调整方法及装置
CN115855064B (zh) * 2023-02-15 2023-05-30 成都理工大学工程技术学院 一种基于imu多传感器融合的室内行人定位融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
JP2013038503A (ja) * 2011-08-04 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7582857B2 (en) * 2006-04-18 2009-09-01 The Trustees Of The University Of Pennsylvania Sensor and polarimetric filters for real-time extraction of polarimetric information at the focal plane
US9464938B2 (en) * 2014-02-06 2016-10-11 The Boeing Company Systems and methods for measuring polarization of light in images
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US9741163B2 (en) * 2015-12-22 2017-08-22 Raytheon Company 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
US11561084B2 (en) * 2017-04-19 2023-01-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
JP2013038503A (ja) * 2011-08-04 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法

Also Published As

Publication number Publication date
WO2019220722A1 (ja) 2019-11-21
CN112106350A (zh) 2020-12-18
US20210235060A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
JPWO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
CN107113370B (zh) 图像记录设备及记录图像方法
US9383549B2 (en) Imaging system
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107077722B (zh) 图像记录设备及用于记录图像的方法
JP2010128820A (ja) 立体画像処理装置、方法及びプログラム並びに立体撮像装置
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN115516283A (zh) 偏振成像摄像头
CN113748313A (zh) 三维测量***及三维测量方法
JP7195801B2 (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
KR20140030183A (ko) 화상 처리 장치 및 화상 처리 프로그램
EP3958056A1 (en) Interchangeable lens, information processing device, information processing method, and program
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
US9307133B1 (en) System and method of imaging for increasing image resolution
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN118334116A (zh) Led灯珠标定方法、装置、设备及介质
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP6598550B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN115035199A (zh) 一种全景图标定***、方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230829