JP7230824B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7230824B2
JP7230824B2 JP2019556113A JP2019556113A JP7230824B2 JP 7230824 B2 JP7230824 B2 JP 7230824B2 JP 2019556113 A JP2019556113 A JP 2019556113A JP 2019556113 A JP2019556113 A JP 2019556113A JP 7230824 B2 JP7230824 B2 JP 7230824B2
Authority
JP
Japan
Prior art keywords
polarization
specific color
color
pixel
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019556113A
Other languages
English (en)
Other versions
JPWO2019102698A1 (ja
Inventor
哲平 栗田
穎 陸
雄飛 近藤
康孝 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019102698A1 publication Critical patent/JPWO2019102698A1/ja
Application granted granted Critical
Publication of JP7230824B2 publication Critical patent/JP7230824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)

Description

この技術は、画像処理装置、画像処理方法およびプログラムに関する。
従来、被写体の撮像画と偏光画像を同時に取得することが行われている。例えば、特許文献１では、色成分毎の画素における単一特定色成分の画素に異なる少なくとも３種の角度の透過軸である偏光子を設けて、単一特定色成分の画素値から偏光特性を取得して、色成分毎の画素値を用いて補間を行い、色成分毎の撮像画を取得することが行われている。また、特許文献１では、カラー輝度鏡面反射成分の算出において、単一特定色成分と偏光度が等しいと仮定して、単一特定色成分と異なる色成分の鏡面反射成分が算出されている。
特開２０１０－１６６５８０号公報
ところで、特許文献１は色毎の偏光度が等しいと仮定していることから、色毎の偏光度が異なる場合には、鏡面反射成分の算出等を精度よく行うことができない。
そこで、この技術では、色毎に偏光特性を検出できる画像処理装置と画像処理方法とプログラムおよび固体撮像装置を提供することを目的とする。
この技術の第１の側面は、
特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性を検出する非特定色偏光特性検出部
を備える画像処理装置にある。
この技術において、画像処理装置では、無偏光画素の画素信号を用いて特定色の無偏光成分画像信号と、非特定色の無偏光画素の画素信号を用いて非特定色の無偏光成分画像信号が生成される。また、特定色の偏光画素の画素信号を用いて前記特定色の偏光成分画像信号と、非特定色の偏光画素の画素信号を用いて非特定色の偏光成分画像信号が生成される。色毎の無偏光成分画像信号と偏光成分画像信号は、色と偏光方向が等しい画素の画素信号を用いてフィルタ処理を行い生成される。フィルタ処理では、例えば対象画素位置の画素と周辺画素から色と偏光方向が等しい画素を用いてフィルタ処理を行うことにより算出した色および偏光方向毎の対象画素位置の低周波成分と、対象画素位置の画素信号と対象画素位置の画素と色および偏光方向が等しい対象画素位置の低周波成分を用いて算出した対象画素位置の高周波成分に基づき、対象画素位置における色および偏光方向毎の画素信号を生成する。
画像処理装置は、例えば特定色の３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素の画素信号を用いて特定色の偏光特性を検出する。また、画像処理装置では、特定色の偏光特性と、特定色と異なる非特定色の無偏光画素の画素信号と、非特定色であって特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、非特定色の偏光特性を検出する。例えば、画像処理装置は、特定色と非特定色の方位角を等しいとして、無偏光成分画像信号と偏光成分画像信号と特定色の偏光特性に基づき非特定色の偏光度を算出して、非特定色の偏光特性を検出する。
また、画像処理装置は、特定色の偏光特性と非特定色の偏光特性に基づき、鏡面反射を白色として色バランス係数を算出して、算出した色バランス係数を用いて、無偏光成分画像信号または偏光成分画像信号のホワイトバランス調整を行う。また、偏光特性に基づく色バランス係数と白色被写体を白色に再現する色情報に基づく色バランス係数との差分量、または鏡面反射の反射量に基づき色バランス係数の調整を行い、調整後の色バランス係数を用いてホワイトバランス調整を行うようにしてもよい。
この技術の第２の側面は、
特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づき、非特定色偏光特性検出部で前記非特定色の偏光特性を検出すること
を含む画像処理方法にある。
この技術の第３の側面は、
偏光画素と無偏光画素を含む画像の処理をコンピュータで実行させるプログラムであって、
特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づき、前記非特定色の偏光特性を検出する手順
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第４の側面は、
偏光特性の検出が可能に構成した特定色の画素と、無偏光画素と前記特定色よりも偏光方向が少ない種類である偏光画素で構成した前記特定色と異なる非特定色の画素を有する固体撮像装置にある。
この技術によれば、特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性が検出される。したがって、色毎に偏光特性を精度よく検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態の構成を例示した図である。 固体撮像装置の構成の一部を示した図である。 特定色が緑色で非特定色が赤色と青色である場合の画素配列を例示した図である。 成分分割前の画像と分割後の画像を示した図である。 無偏光成分画像生成部３２-1の動作を説明するための図である。 偏光成分画像生成部３３-1の動作を説明するための図である。 緑色成分画像を示す図である。 赤色成分画像と青色成分画像を示す図である。 偏光特性（偏光モデル）を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第２の実施の形態の構成を例示した図である。 無偏光成分画像生成部３２-2の動作を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 第３の実施の形態の構成を例示した図である。 固体撮像装置の画素配列を例示した図である。 無偏光成分画像生成部３２-3の動作を説明するための図である。 無偏光成分画像と偏光成分画像を示した図である。 第４の実施の形態の構成を例示した図である。 色バランス係数を説明するための図である。 第４の実施の形態の動作を示すフローチャートである。 第５の実施の形態の構成を例示した図である。 第５の実施の形態の動作を示すフローチャートである。 画素配列の一部を例示した図（その１）である。 画素配列の一部を例示した図（その２）である。 固体撮像装置の画素構成を例示した図である。 固体撮像装置におけるイメージセンサの動作を説明するための図である。 固体撮像装置の画素と読出信号線を示した図である。 画素信号の読み出し動作を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１－１．第１の実施の形態の構成
１－２．第１の実施の形態の具体例とその動作
２．第２の実施の形態
２－１．第２の実施の形態の構成
２－２．第２の実施の形態の具体例とその動作
３．第３の実施の形態
３－１．第３の実施の形態の構成
３－２．第３の実施の形態の具体例とその動作
４．第４の実施の形態
４－１．第４の実施の形態の構成
４－２．第４の実施の形態の具体例とその動作
５．第５の実施の形態
５－１．第５の実施の形態の構成
５－２．第５の実施の形態の具体例とその動作
６．他の実施の形態
７．固体撮像装置の他の構成
７－１．画素配列について
７－２．信号読み出しについて
８．適用例
＜１．第１の実施の形態＞
＜１－１．第１の実施の形態の構成＞
図１は、第１の実施の形態の構成を例示している。撮像システム１０-1は固体撮像装置２０と画像処理装置３０-1を有している。画像処理装置３０-1は、偏光成分分割部３１，無偏光成分画像生成部３２-1，偏光成分画像生成部３３-1，特定色偏光特性検出部３４-1，非特定色偏光特性検出部３５を有している。
固体撮像装置２０は、偏光特性の検出が可能に構成した特定色の画素と、無偏光画素と特定色よりも偏光方向が少ない種類である偏光画素で構成した特定色と異なる非特定色の画素を有している。固体撮像装置２０は、各画素から画素信号を読み出してアナログ／デジタル変換（Ａ／Ｄ変換）等を行い、偏光ＲＡＷ画像の画像信号として画像処理装置３０-1へ出力する。また、固体撮像装置２０は、画像処理装置３０-1へ出力する画像信号に対してホワイトバランス調整を行ってもよい。
画像処理装置３０-1の偏光成分分割部３１は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を、無偏光画素と偏光画素の信号に分割して無偏光画像信号と偏光画像信号を生成する。偏光成分分割部３１は、無偏光画素信号を無偏光成分画像生成部３２-1へ出力して、偏光画像信号を偏光成分画像生成部３３-1へ出力する。
無偏光成分画像生成部３２-1は、無偏光画像信号から特定色の信号を用いて特定色の無偏光成分画像信号と、無偏光画像信号から非特定色の信号を用いて非特定色の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-1は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-1へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-1は、偏光画像信号から特定色の信号を用いて特定色の偏光成分画像信号と、偏光画像信号から非特定色の信号を用いて非特定色の偏光成分画像信号を生成する。偏光成分画像生成部３３-1は、特定色の偏光成分画像信号を特定色偏光特性検出部３４-1へ出力して、非特定色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-1は、特定色の無偏光成分画像信号および偏光成分画像信号に基づいて、特定色の偏光特性を検出する。また、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、特定色偏光特性検出部３４-1で検出された特定色の偏光特性と、非特定色の無偏光画素の画素信号と、非特定色であって特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、非特定色の偏光特性を検出する。
＜１－２．第１の実施の形態の具体例とその動作＞
図２は、固体撮像装置の構成の一部を示している。固体撮像装置２０は、イメージセンサ２１の光入射面にカラーモザイクフィルタ２２と偏光子２３が設けられている。イメージセンサ２１は、カラーモザイクフィルタ２２と偏光子２３を介して入射した入射光に対して画像毎に光電変換を行い、画素信号を生成する。また、イメージセンサ２１は、各画素から画素信号を読み出してアナログ／デジタル変換等を行い、偏光ＲＡＷ画像の画像信号として画像処理装置３０-1へ出力する。カラーモザイクフィルタ２２は、例えば赤色と緑色と青色の色単位領域がベイヤー配列として設けられている。なお、色単位領域は１画素領域に限らず複数画素領域（例えば２×２画素の領域）であってもよい。偏光子２３は、特定色の画素に対して、偏光特性の検出が可能に設けられている。例えば、３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素を用いた構成となるように設けられている。また、偏光子２３は、非特定色の画素が無偏光画素と１偏光方向の偏光画素を用いた構成となるように設けられている。
図３は、特定色が緑色で非特定色が赤色と青色である場合の画素配列を例示している。例えば、２×２画素が色単位領域とされており、４×４画素領域が赤色と緑色と青色の色単位領域からなるベイヤー配列の画素配列繰り返し単位とされている。また、画素配列繰り返し単位における中央部分の２つの緑色画素と１つの赤色画素と青色画素で構成される２×２画素の領域が偏光画素とされており、上側の２画素と下型の２画素は偏光方向が異なり、上側の２画素は例えば透過軸が９０度、下側２画素は透過軸が１３５度の角度とされている。すなわち、画素配列繰り返し単位において、特定色である緑色画素は偏光方向が異なる２つの偏光画素と６つの無偏光画素で構成されており、非特定色である赤色画素と青色画素は１つの偏光画素と３つの無偏光画素で構成されている。
固体撮像装置２０は、無偏光画素および偏光画素で生成された画素信号に対してホワイトバランス調整等を行い画像処理装置３０-1へ出力する。ホワイトバランス調整では、白色被写体を白色に再現する色情報に基づく色バランス係数を用いる。具体的には、照明光源に応じて予め設定される色バランス係数（ホワイトバランスゲイン）ｇR，ｇG，ｇBを用いて式（１）乃至式（３）の演算を行う。なお、信号ＤＲsはホワイトバランス調整前の赤色画素信号、信号ＤＲｗはホワイトバランス調整後の赤色画素信号である。同様に、信号ＤＧs，ＤＢsはホワイトバランス調整前の緑色画素信号と青色画素信号、信号ＤＧｗ，ＤＢｗはホワイトバランス調整後の緑色画素信号と青色画素信号である。なお、ホワイトバランス調整は、画像処理装置３０-1で行うようにしてもよい。
ＤＲｗ＝ｇR×ＤＲs ・・・（１）
ＤＧｗ＝ｇG×ＤＧs ・・・（２）
ＤＢｗ＝ｇB×ＤＢs ・・・（３）
画像処理装置３０-1の偏光成分分割部３１は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を無偏光画素の信号と偏光画素の信号に分割して、無偏光画像信号と偏光画像信号を生成する。また偏光成分分割部３１は、無偏光画像信号と偏光画像信号の解像度（画素数）を等しくする。固体撮像装置２０の画素配列が図３に示す構成である場合、２×２画素の色単位領域は、偏光画素が１画素で無偏光画素が３画素であることから、３画素の無偏光画素を１画素に統合する。例えば２×２画素の色単位領域における無偏光の３画素の画素平均値を算出して１画素の画素値とする。
図４は、偏光成分分割前の画像と分割後の画像を示しており、図４の（ａ）は偏光ＲＡＷ画像、図４の（ｂ）は無偏光画像、図４の（ｃ）は偏光画像を示している。偏光成分分割部３１は、偏光ＲＡＷ画像における２×２画素の色単位領域毎に、丸印で示す無偏光画素を統合して無偏光画像の１画素とする。また、偏光成分分割部３１は、偏光ＲＡＷ画像における２×２画素の色単位領域毎に、偏光画素を抽出して偏光画像の１画素とする。したがって、偏光ＲＡＷ画像から縦方向および横方向の解像度（画素数）が１／２倍でベイヤー配列の無偏光画像と偏光画像が得られる。偏光成分分割部３１は、無偏光画像信号を無偏光成分画像生成部３２-1へ出力して、偏光画像信号を偏光成分画像生成部３３-1へ出力する。
無偏光成分画像生成部３２-1は、偏光成分分割部３１から供給された無偏光画像信号を用いて、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-1は，例えば補間処理を行い、対象画素位置の画素値を周辺に位置する同色の画素の画素値を用いて算出する。
図５は、無偏光成分画像生成部３２-1の動作を説明するための図であり、図５の（ａ）は無偏光画像を示している。無偏光成分画像生成部３２-1は、例えば対象画素位置Ｐs1の赤色成分の画素値ＤＲs1を算出する場合、周辺に位置する赤色画素ＰＲ0の画素値ＤＲ0と、赤色画素ＰＲ1～ＰＲ3の画素値ＤＲ1～ＤＲ3を用いて式（４）の演算を行う。無偏光成分画像生成部３２-1は、周辺に位置する赤色画素の平均画素値を対象画素位置Ｐs1の赤色成分の画素値ＤＲs1とする。また、無偏光成分画像生成部３２-1は、例えば対象画素位置Ｐs2の緑色成分の画素値ＤＧs2を算出する場合、周辺に位置する緑色画素ＰＧ0の画素値ＤＧ0と、緑色画素ＰＧ1の画素値ＤＧ1を用いて式（５）の演算を行う。無偏光成分画像生成部３２-1は、周辺に位置する緑色画素の平均画素値を対象画素位置Ｐs2の緑色成分の画素値ＤＧs2とする。
ＤＲs1＝（ＤＲ0＋ＤＲ1＋ＤＲ2＋ＤＲ3）／４ ・・・（４）
ＤＧs2＝（ＤＧ0＋ＤＲ1）／２ ・・・（５）
なお、補間処理は図５に示す方法に限られない。例えば対象画素位置Ｐs1の赤色成分の画素値ＤＲs1を算出する場合、無偏光成分画像生成部３２-1は対象画素位置Ｐs1を挟んで対向する赤色成分の２画素を用いて補間処理を行ってもよい。また、無偏光成分画像生成部３２-1は、対象画素位置Ｐs2の緑色成分の画素値ＤＧs2を算出する場合、無偏光成分画像生成部３２-1は上下左右に隣接する緑色成分の４画素を用いて補間処理を行ってもよい。
無偏光成分画像生成部３２-1は、無偏光画像信号を用いて色毎に補間処理を行い、図５の（ｂ）に示すように、無偏光画像と解像度（画素数）等しい色毎の無偏光成分画像を生成する。無偏光成分画像生成部３２-1は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-1へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-1は、偏光成分分割部３１から供給された偏光画像信号を用いて、色毎の偏光成分画像信号を生成する。また、複数の偏光方向を含む色では、偏光方向毎に偏光成分画像信号を生成する。偏光成分画像生成部３３-1は，例えばフィルタ処理を行い、対象画素位置の画素値を周辺に位置する同じ色および偏光方向の画素値を用いて算出する。図６は、偏光成分画像生成部３３-1の動作を説明するための図である。図６の（ａ）は偏光画像、図６の（ｂ）はフィルタ係数を例示している。また、偏光画像に対して対象画素位置の画素値を周辺に位置する同じ色および偏光方向の画素値を用いてフィルタ処理を行い、図６の（ｃ）～（ｆ）に示すように、色毎および偏光方向毎の偏光画像を生成する。偏光成分画像生成部３３-1は、特定色の偏光方向毎の偏光成分画像信号を特定色偏光特性検出部３４-1へ出力して、非特定色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-1は、無偏光成分画像生成部３２-1で得られた特定色の無偏光成分画像信号と偏光成分画像生成部３３-1で得られた特定色の偏光方向毎の偏光成分画像信号に基づき、特定色の偏光特性を検出する。
偏光特性を示す偏光モデルは、式（６）として示されることが知られている。なお、式（６）において、「ｙ」は偏光角が「ｘ」であるときの観測輝度（画素値）であり、「ｃ」は式（７）に示すように無偏光画素の画素値Ｉcである。また、「ａ」，「ｂ」は、式（８）（９）に基づいて算出されるパラメータ値である。式（８）（９）における「Ｋ」は、無偏光画素と偏光画素との感度差を吸収するゲインである。画素値Ｉ0は透過軸が所定角度度であるときの画素値であり、画素値Ｉ1は透過軸が所定角度に対して４５度の角度差を有している場合の画素値である。感度差を吸収するゲインは、予めキャリブレーション等によって画素毎または複数画素からなる領域毎に設定されている。
ｙ＝ａ・ｓｉｎ（２ｘ）＋ｂ・ｃｏｓ（２ｘ）＋ｃ ・・・（６）
ｃ＝Ｉc ・・・（７）
ａ＝ｃ－ＫＩ0 ・・・（８）
ｂ＝ｃ－ＫＩ1 ・・・（９）
偏光度ρは式（１０）に基づいて算出して、方位角φは式（１１）に基づいて算出する。
Figure 0007230824000001
 したがって、式（１２）に示す偏光特性（偏光モデル）を得ることができる。
ｙ＝ｃ（１＋ρｃｏｓ（２（ｘ－φ））） ・・・（１２）
ここで、画素配列が図３に示す配列である場合、特定色は緑色である。また、無偏光成分画像生成部３２-1によって緑色の無偏光成分画像が得られており、偏光成分画像生成部３３-1によって透過軸が９０度と１３５度の角度である緑色の偏光成分画像が得られている。なお、図７は緑色成分画像を示しており、図７の（ａ）は無偏光成分画像、図７の（ｂ）は透過軸の角度が９０度の偏光成分画像、図７の（ｃ）は透過軸の角度が１３５度の偏光成分画像である。特定色偏光特性検出部３４-1は、緑色の無偏光画素の画素値をＩc、透過軸の角度が１３５度である偏光画素の画素値をＩ0、透過軸の角度が９０度である偏光画素の画素値をＩ1として、画素毎に偏光モデルを検出する。特定色偏光特性検出部３４-1は、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、無偏光成分画像生成部３２-1で得られた非特定色の無偏光成分画像信号と偏光成分画像生成部３３-1で得られた非特定色の偏光成分画像信号、および特定色偏光特性検出部３４-1で検出された特定色の偏光特性に基づき、非特定色の偏光特性を検出する。
非特定色偏光特性検出部３５は、特定色と非特定色で方位角φが等しいとして、非特定色の偏光特性を検出する。特定色と非特定色で方位角φが等しい場合、式（１２）において未知のパラメータはパラメータｃと偏光度ρとなる。したがって、非特定色偏光特性検出部３５は、無偏光成分画像生成部３２-1で得られた非特定色の無偏光画素の画素値Ｉcをパラメータｃとして、式（１０）に基づいて偏光度ρを算出する。
ここで、画素配列が図３に示す配列である場合、非特定色は赤色と青色とされている。また、無偏光成分画像生成部３２-1によって赤色と青色の無偏光成分画像が得られており、偏光成分画像生成部３３-1によって透過軸の角度が９０度である赤色の偏光成分画像と透過軸の角度が１３５度である青色の偏光成分画像が得られている。なお、図８は赤色成分画像と青色成分画像を示しており、図８の（ａ）は赤色の無偏光成分画像、図８の（ｂ）は赤色の偏光成分画像、図８の（ｃ）は青色の無偏光成分画像、図８の（ｄ）は青色の偏光成分画像である。
非特定色偏光特性検出部３５は、赤色の無偏光画素を画素値Ｉc、赤色の偏光画素の透過軸（９０度）を偏光角ｘ、赤色の偏光画素の画素値を観測輝度ｙとして、赤色についての偏光度ρを画素毎に算出する。同様に、非特定色偏光特性検出部３５は、青色の無偏光画素を画素値Ｉc、青色の偏光画素の透過軸（１３５度）を偏光角ｘ、画素値を観測輝度ｙとして、青色についての偏光度ρを画素毎に算出する。したがって、非特定色偏光特性検出部３５では、非特定色の偏光方向が特定色よりも少ない種類でも、非特定色について偏光特性を検出できる。
図９は偏光特性（偏光モデル）を例示しており、図９の（ａ）は特定色偏光特性検出部３４-1で検出された特定色（緑色成分）の偏光モデルを示している。また、図９の（ｂ）は非特定色偏光特性検出部３４-1で検出された非特定色（例えば赤色成分）の偏光モデルを示しており、図９の（ｃ）は非特定色偏光特性検出部３４-1で検出された非特定色（例えば青色成分）の偏光モデルを示している。なお、図９において黒丸印は偏光画素で得られた画素値を示している。また、緑色の無偏光画素は画素値ｃG、赤色の無偏光画素は画素値ｃR、青色の無偏光画素は画素値ｃBである。
図１０は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は偏光成分を分割する。画像処理装置３０-1は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を無偏光画素の信号と偏光画素の信号に分割して、無偏光画像信号と偏光画像信号を生成してステップＳＴ２に進む。
ステップＳＴ２で画像処理装置は無偏光成分画像を生成する。画像処理装置３０-1は、ステップＳＴ１で得られた無偏光画像信号から色毎の無偏光成分画像信号を生成してステップＳＴ３に進む。
ステップＳＴ３で画像処理装置は偏光成分画像を生成する。画像処理装置３０-1は、ステップＳＴ１で得られた偏光画像信号から色毎および偏光方向毎の偏光成分画像信号を生成してステップＳＴ４に進む。
ステップＳＴ４で画像処理装置は特定色の偏光特性を検出する。画像処理装置３０-1は、ステップＳＴ３で生成された特定色の偏光成分画像信号とステップＳＴ２で生成された特定色の無偏光成分画像信号に基づき、特定色の偏光特性を検出してステップＳＴ５に進む。
ステップＳＴ５で画像処理装置は非特定色の偏光特性を検出する。画像処理装置３０-1は、ステップＳＴ４で検出された特定色の偏光特性と、ステップＳＴ２で生成された非特定色の無偏光成分画像信号と、ステップＳＴ３で生成された非特定色の偏光成分画像信号とに基づき、非特定色の偏光特性を検出する。
このように、第１の実施の形態によれば、色毎の偏光度が異なるような場合であっても、色毎に精度よく偏光特性を検出できるようになる。さらに、非特定色の画素では、特定色よりも偏光画素の偏光方向を少ない種類にできるので、偏光画素を設けたことによる画質の劣化を軽減できる。
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、固体撮像装置２０で取得された画像に対して、画像処理装置３０-1から出力される無偏光画像の解像度（画素数）が垂直方向および水平方向に（１／２）倍となっている。これに対して、第２の実施の形態では、画像処理装置から出力される無偏光画像や偏光画像の解像度を固体撮像装置から供給された偏光ＲＡＷ画像と等しくする。
＜２－１．第２の実施の形態の構成＞
図１１は、第２の実施の形態の構成を例示している。撮像システム１０-2は固体撮像装置２０と画像処理装置３０-2を有している。画像処理装置３０-2は、無偏光成分画像生成部３２-2，偏光成分画像生成部３３-2，特定色偏光特性検出部３４-2，非特定色偏光特性検出部３５を有している。
固体撮像装置２０は、第１の実施の形態と同様に構成されており、ホワイトバランス調整が行われている偏光ＲＡＷ画像の画像信号を画像処理装置３０-2へ出力する。
画像処理装置３０-2の無偏光成分画像生成部３２-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。また、無偏光成分画像生成部３２-2は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-2へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成する。また、偏光成分画像生成部３３-2は、特定色の偏光方向毎の偏光成分画像信号を特定色偏光特性検出部３４-2へ出力して、非特定色の偏光方向毎の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-2は、特定色の無偏光成分画像信号および偏光成分画像信号に基づいて、特定色の偏光特性を検出する。また、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、特定色偏光特性検出部３４-1で検出された特定色の偏光特性と、非特定色の無偏光画素の画素信号と、非特定色であって特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、非特定色の偏光特性を検出する。
＜２－２．第２の実施の形態の具体例とその動作＞
固体撮像装置２０は、上述の図２に示す構成を有しており、例えば図３に示す画素配列とされている。
画像処理装置３０-2の無偏光成分画像生成部３２-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-2は、対象画素位置を基準とした周辺領域から色毎に無偏光画素の画素値を用いて、対象画素位置における色毎の無偏光低周波成分を算出する。また、無偏光成分画像生成部３２-2は、対象画素位置の画素値を対象画素位置と同じ色の無偏光低周波成分で除算して対象画素位置の高周波成分を算出する。さらに、無偏光成分画像生成部３２-2は、対象画素位置の高周波成分と、対象画素位置の色毎の無偏光低周波成分を乗算して、対象画素位置における色毎の無偏光画素値を算出する。
図１２は、無偏光成分画像生成部３２-2の動作を説明するための図であり、図１２の（ａ）は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画素配置を示しており、図１２の（ｂ）はフィルタ係数を例示している。例えば、図１２の（ａ）に示す無偏光の青色画素が対象画素位置Ｐsである場合、対象画素位置を基準とした周辺領域から、同じ色の無偏光画素の画素値を用いて図１２の（ｂ）に示すフィルタ係数を用いてフィルタ処理を行い、色毎の無偏光低周波成分を算出する。例えば、対象画素位置の緑色の無偏光低周波成分を算出する場合、対象画素位置を基準とした周辺領域における緑色の無偏光画素の画素値に対して、緑色の無偏光画素に対応するフィルタ係数を乗算して、乗算結果の総和を乗算に用いたフィルタ係数の総和で除算して、対象画素位置における緑色の無偏光画素の低周波成分を算出する。
無偏光成分画像生成部３２-2は、対象画素位置の画素値を対象画素位置と同じ色かつ同じ偏光方向の低周波成分で除算して対象画素位置の高周波成分を算出する。例えば、図１２の（ａ）に示す無偏光の青色画素が対象画素位置Ｐsである場合、対象画素位置Ｐsである無偏光の青色画素の画素値を、対象画素位置で算出した青色画素の無偏光低周波成分で除算して高周波成分を算出する。
さらに、無偏光成分画像生成部３２-2は、対象画素位置の高周波成分と対象画素位置の色毎の無偏光低周波成分を個々に乗算して、色毎の無偏光画素値を算出する。例えば、対象画素位置の緑色の無偏光画素値を算出する場合、対象画素位置で算出した高周波成分と対象画素位置で算出した緑色の無偏光低周波成分を乗算して緑色の無偏光画素値を算出する。
このように、無偏光成分画像生成部３２-2は、対象画素位置で算出した色毎の無偏光低周波成分と、対象画素位置で算出した高周波成分を乗算して、水平および垂直方向の解像度（画素数）を低下させることなく色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-2は、特定色の無偏光画像信号を特定色偏光特性検出部３４-2へ出力して、非特定色の無偏光画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光画像信号を生成する。偏光成分画像生成部３３-2は、対象画素位置を基準とした周辺領域から色毎および偏光方向毎に偏光画素の画素値を用いて、対象画素位置における色毎および偏光方向毎の偏光低周波成分を算出する。また、偏光成分画像生成部３３-2は、対象画素位置の画素値を対象画素位置と同じ色かつ同じ偏光方向の低周波成分で除算して対象画素位置の高周波成分を算出する。さらに、偏光成分画像生成部３３-2は、対象画素位置の高周波成分と、対象画素位置の色毎および偏光方向毎の偏光低周波成分を乗算して、対象画素位置における色毎および偏光方向毎の偏光画素値を算出する。
例えば、図１２の（ａ）に示す無偏光の青色画素が対象画素位置Ｐsである場合、対象画素位置を基準とした周辺領域から、同じ色および同じ偏光方向の偏光画素の画素値を用いて図１２の（ｂ）に示すフィルタ係数を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光低周波成分を算出する。例えば、対象画素位置の赤色の偏光低周波成分を算出する場合、対象画素位置を基準とした周辺領域における赤色の偏光画素の画素値に対して、赤色の偏光画素に対応するフィルタ係数を乗算して、乗算結果の総和を乗算に用いたフィルタ係数の総和で除算して、対象画素位置における赤色の偏光画素の低周波成分を算出する。
偏光成分画像生成部３３-2は、対象画素位置の画素値を対象画素位置と同じ色かつ同じ偏光方向の低周波成分で除算して対象画素位置の高周波成分を算出する。例えば、図１２の（ａ）に示す無偏光の青色画素が対象画素位置Ｐsである場合、対象画素位置Ｐsである無偏光の青色画素の画素値を、対象画素位置で算出した青色画素の無偏光低周波成分で除算して高周波成分を算出する。
さらに、偏光成分画像生成部３３-2は、対象画素位置の高周波成分と対象画素位置の色毎および偏光方向毎の偏光低周波成分を個々に乗算して、色毎および偏光方向毎の偏光画素値を算出する。例えば、対象画素位置の赤色の偏光画素値を算出する場合、対象画素位置で算出した高周波成分と対象画素位置で算出した赤色の偏光低周波成分を乗算して赤色の偏光画素値を算出する。
このように、偏光成分画像生成部３３-2は、対象画素位置で算出した色毎および偏光方向毎の偏光低周波成分と、対象画素位置で算出した高周波成分を乗算して、水平および垂直方向の解像度（画素数）を低下させることなく色毎および偏光方向毎の偏光成分画像信号を生成する。偏光成分画像生成部３３-2は、特定色の偏光画像信号を特定色偏光特性検出部３４-2へ出力して、非特定色の偏光画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-2は、無偏光成分画像生成部３２-2で得られた特定色の無偏光画像信号と偏光成分画像生成部３３-2で得られた特定色の偏光画像信号に基づき、第１の実施の形態と同様な処理を行い、特定色の偏光特性を検出する。特定色偏光特性検出部３４-2は、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、無偏光成分画像生成部３２-2で得られた非特定色の無偏光画像信号と偏光成分画像生成部３３-2で得られた非特定色の偏光画像信号、および特定色偏光特性検出部３４-2で検出された特定色の偏光特性に基づき、第１の実施の形態と同様な処理を行い、非特定色の偏光特性を検出する。
図１３は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置は無偏光成分画像を生成する。画像処理装置３０-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で無偏光画素の信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成してステップＳＴ１２に進む。
ステップＳＴ１２で画像処理装置は偏光成分画像を生成する。画像処理装置３０-2は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で同じ偏光方向である偏光画素の信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成してステップＳＴ１３に進む。
ステップＳＴ１３で画像処理装置は特定色の偏光特性を検出する。画像処理装置３０-2は、ステップＳＴ１２で生成された特定色の偏光成分画像信号とステップＳＴ１１で生成された特定色の無偏光成分画像信号に基づき、特定色の偏光特性を検出してステップＳＴ１４に進む。
ステップＳＴ１４で画像処理装置は非特定色の偏光特性を検出する。画像処理装置３０-2は、ステップＳＴ１３で検出された特定色の偏光特性と、ステップＳＴ１１で生成された非特定色の無偏光成分画像信号と、ステップＳＴ１２で生成された非特定色の偏光成分画像信号とに基づき、非特定色の偏光特性を検出する
このような第２の実施の形態によれば、第１の実施の形態と同様に、色毎の偏光度が異なるような場合であっても、色毎に精度よく偏光特性を検出できるようになる。また、非特定色の画素では、特定色よりも偏光画素の偏光方向を少ない種類にできるので、偏光画素を設けたことによる画質の劣化を軽減できる。さらに、解像度の低下を招くことなく色毎の無偏光画像や色毎および偏光方向毎の偏光画像を生成できる。
＜３－１．第３の実施の形態の構成＞
図１４は、第３の実施の形態の構成を例示している。撮像システム１０-3は固体撮像装置２０と画像処理装置３０-3を有している。画像処理装置３０-3は、無偏光成分画像生成部３２-3，偏光成分画像生成部３３-3，特定色偏光特性検出部３４-3，非特定色偏光特性検出部３５を有している。
固体撮像装置２０は、第１の実施の形態と同様に構成されており、画素配列が第１の実施の形態と異なる。図１５は、固体撮像装置の画素配列を例示しており、緑色画素の偏光方向が４方向で、赤色画素と青色画素の偏光方向が１方向である場合を例示している。固体撮像装置２０は、ホワイトバランス調整が行われている偏光ＲＡＷ画像の画像信号を画像処理装置３０-3へ出力する。
画像処理装置３０-3は、固体撮像装置２０の画素配列にかかわらず色毎の無偏光画像と色毎および偏光方向毎の偏光画像の生成および色毎の偏光特性の検出を行う。
画像処理装置３０-3の無偏光成分画像生成部３２-3は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-3は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-3へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-3は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成する。偏光成分画像生成部３３-3は、特定色の偏光成分画像信号を特定色偏光特性検出部３４-3へ出力して、非特定色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-3は、特定色の偏光成分画像信号または特定色の無偏光成分画像信号と偏光成分画像信号に基づいて、特定色の偏光特性を検出する。また、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、非特定色の無偏光成分画像信号と偏光成分画像信号と特定色の偏光特性に基づいて非特定色の偏光特性を検出する。
＜３－２．第３の実施の形態の具体例とその動作＞
固体撮像装置２０は、上述の図２に示す構成を有しており、例えば図１５に示す画素配列とされている。
画像処理装置３０-3の無偏光成分画像生成部３２-3は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-3は、２×２画素である色領域単位の中央位置を対象画素位置として、対象画素位置の周辺に位置する同じ色および無偏光画素値を用いて、対象画素位置における色毎に無偏光画素値を算出する。
図１６は、無偏光成分画像生成部３２-3の動作を説明するための図であり、図１６の（ａ）は、固体撮像装置２０から供給された画像信号の画素配置を示しており、図１６の（ｂ）はフィルタ係数を例示している。例えば、図１６の（ａ）に示すように２×２画素である青色の色領域単位の中央位置が対象画素位置Ｐsである場合、対象画素位置を基準として、周辺に位置する同じ色および無偏光画素値を用いて図１６の（ｂ）に示すフィルタ係数を用いてフィルタ処理を行い、対象画素位置の非特定色画素の無偏光画素値を算出する。具体的には、対象画素位置を基準として、周辺に位置する無偏光の青色画素の画素値と、この無偏光の青色画素に対応するフィルタ係数を乗算して、乗算結果の総和を乗算に用いたフィルタ係数の総和で除算して、対象画素位置における無偏光の青色画素の画素値を算出する。また、同様な処理を無偏光の赤色画素を用いて行い、対象画素位置における赤色画素の無偏光画素値を算出する。
図１７は、無偏光成分画像と偏光成分画像を示している。無偏光成分画像生成部３２-3は、対象画素位置で非特定色である無偏光画素値を算出することで、水平および垂直方向の解像度（画素数）が１／２倍とされた図１７の（ａ）に示す赤色の無偏光成分画像と図１７の（ｂ）に示す青色の無偏光成分画像を生成する。無偏光成分画像生成部３２-3は、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-3は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色成分毎および偏光方向毎の偏光成分画像信号を生成する。偏光成分画像生成部３３-3は、無偏光成分画像生成部３２-3と同様に、２×２画素である色領域単位の中央位置を対象画素位置として、対象画素位置の周辺に位置する同じ色および同じ偏光方向の偏光画素値を用いて、対象画素位置における色毎および偏光方向毎の偏光画素値を算出する。
例えば、図１６の（ａ）に示すように２×２画素である青色の色領域単位の中央位置が対象画素位置Ｐsである場合、偏光成分画像生成部３３-3は、対象画素位置を基準として、周辺に位置する同じ色および同じ偏光方向の偏光画素の画素値を用いて図１６の（ｂ）に示すフィルタ係数を用いてフィルタ処理を行い、対象画素位置の偏光画素値を色毎および偏光方向毎に算出する。具体的には、対象画素位置Ｐsを基準として、周辺に位置する同じ偏光方向の青色画素の偏光画素値と、この同じ偏光の青色画素に対応するフィルタ係数を乗算して、乗算結果の総和を乗算に用いたフィルタ係数の総和で除算して、対象画素位置における青色画素の偏光画素値に算出する。また、同様な処理を赤色画素および緑色画素を用いて行い、対象画素位置における赤色画素および偏光方向毎の緑色画素の偏光画素値を算出する。
このように、偏光成分画像生成部３３-3は、対象画素位置で色毎および偏光方向毎の偏光画素の画素値を算出することで、水平および垂直方向の解像度（画素数）が１／２倍とされた図１７の（ｃ）～（ｈ）に示す色毎および偏光方向毎の偏光画像を生成する。なお、図１７の（ｃ）～（ｆ）は緑色の偏光方向毎の偏光成分画像、図１７の（ｇ）は赤色の偏光成分画像、図１７の（ｈ）は青色の偏光成分画像を示している。偏光成分画像生成部３３-3は、特定色である緑色の偏光成分画像信号を特定色偏光特性検出部３４-3へ出力して、非特定色である赤色と青色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-3は、偏光成分画像生成部３３-3で得られた特定色の偏光成分画像信号に基づき、特定色の偏光特性を検出する。偏光成分画像生成部３３-3では、図１７の（ｃ）～（ｈ）に示すように４つの偏光方向の偏光成分画像が生成されている。したがって、上述の式（６）のパラメータａ，ｂ，ｃを式（１３）乃至式（１５）に基づいて算出する。
ａ＝（Ｉ45－Ｉ135）／２ ・・・（１３）
ｂ＝（Ｉ0－Ｉ90）／２ ・・・（１４）
ｃ＝（Ｉ0＋Ｉ45＋Ｉ90＋Ｉ135）／４ ・・・（１５）
また、上述のように、偏光度ρは式（１０）に基づいて算出して、方位角φは式（１１）に基づいて算出する。上述の式（１２）に示す偏光特性を得ることができる。特定色偏光特性検出部３４-3は、検出した特定色の偏光特性を非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、無偏光成分画像生成部３２-3で得られた非特定色の無偏光成分画像信号と偏光成分画像生成部３３-3で得られた非特定色の偏光成分画像信号、および特定色偏光特性検出部３４-3で検出された特定色の偏光特性に基づき、第１の実施の形態と同様な処理を行い、非特定色の偏光特性を検出する。
なお、無偏光成分画像生成部３２-3では、非特定色の無偏光成分画像信号が生成されており、特定色の無偏光成分画像信号は生成されていない。しかし、透過軸が４５度の角度差を有する４つの偏光方向の偏光画像を用いて、画素位置毎に偏光画素値の平均値を算出すれば、特定色の無偏光画素が設けられていなくとも特定色の無偏光成分画像を生成できる。
なお、第３の実施の形態の動作は、図１３を示すフローチャートと同様な処理を行い、第２の実施の形態とは異なる上述のフィルタ処理を行い、無偏光成分画像や偏光成分画像の生成および色毎の偏光特性を検出する。
このような第３の実施の形態によれば、第１の実施の形態と同様に、色毎の偏光度が異なるような場合であっても、色毎に精度よく偏光特性を検出できるようになる。また、非特定色の画素では、特定色よりも偏光画素の偏光方向を少ない種類にできるので、偏光画素を設けたことによる画質の劣化を軽減できる。さらに、色領域単位毎に無偏光成分画像や偏光成分画像の生成および色毎の偏光特性を検出できるので、固体撮像装置の種々の画素配列に対応できる。
＜４．第４の実施の形態＞
上述の第１乃至第３の実施の形態では、ホワイトバランス調整が行われた偏光ＲＡＷ画像の画像信号を用いて色毎の偏光特性の検出と偏光成分画像や無偏光成分画像の生成を行っているが、これらの処理は、ホワイトバランス調整が行われていない画像信号を用いてもよい。第４の実施の形態では、ホワイトバランス調整が行われていない画像信号を用いる場合について説明する。
＜４－１．第４の実施の形態の構成＞
図１８は、第４の実施の形態の構成を例示している。撮像システム１０-4は固体撮像装置２０と画像処理装置３０-4を有している。画像処理装置３０-4は、無偏光成分画像生成部３２-4，偏光成分画像生成部３３-4，特定色偏光特性検出部３４-4，非特定色偏光特性検出部３５、色バランス係数算出部３６、色バランス調整部３８を有している。
固体撮像装置２０は、第１乃至第３の実施の形態と同様な画素配列とされており、ホワイトバランス調整が行われていない偏光ＲＡＷ画像の画像信号を画像処理装置３０-4へ出力する。
画像処理装置３０-4の無偏光成分画像生成部３２-4は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-4は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-4へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-4は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成する。偏光成分画像生成部３３-4は、特定色の偏光成分画像信号を特定色偏光特性検出部３４-4へ出力して、非特定色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-4は、特定色の無偏光成分画像信号および偏光成分画像信号に基づいて、特定色の偏光特性を検出して非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、非特定色の無偏光成分画像と偏光成分画像信号と特定色の偏光特性に基づいて非特定色の偏光特性を検出する。非特定色偏光特性検出部３５は、検出した非特定色の偏光特性と特定色偏光特性検出部３４-4で検出されている特定色の偏光特性を色バランス係数算出部３６へ出力する。
色バランス係数算出部３６は、特定色の偏光特性と非特定色の偏光特性に基づき色バランス係数を算出して、色バランス調整部３８へ出力する。
色バランス調整部３８は、色バランス係数算出部３６で算出された色バランス係数を用いて、無偏光成分画像や偏光成分画像のホワイトバランス調整を行う。
＜４－２．第４の実施の形態の具体例とその動作＞
固体撮像装置２０は、上述の図２に示す構成を有しており、例えば図３や図１５に示す画素配列とされている。
画像処理装置３０-4の無偏光成分画像生成部３２-4は、第２または第３の実施の形態の無偏光成分画像生成部３２-2，３２-3の何れかと同様な処理を行う。同様に、偏光成分画像生成部３３-4、特定色偏光特性検出部３４-4、非特定色偏光特性検出部３５は、第２乃至第３の実施の形態の何れかと同様な処理を行う。なお、第１の実施の形態の偏光成分分割部３１を設けて、第１の実施の形態と同様な処理を行うようにしてもよい。非特定色偏光特性検出部３５は、検出した非特定色の偏光特性と特定色偏光特性検出部３４-4で検出されている特定色の偏光特性を色バランス係数算出部３６へ出力する。また、特定色偏光特性検出部３４-4と非特定色偏光特性検出部３５は、色成分毎の無偏光成分画像信号と色成分毎および偏光方向毎の偏光成分画像信号を色バランス調整部３８へ出力する。
色バランス係数算出部３６は、特定色の偏光特性と非特定色の偏光特性に基づき色バランス係数を算出する。色バランス係数算出部３６は、偏光特性に基づき色バランス係数を算出する場合に、鏡面反射成分を白色とする。
上述の式（１２）に示す偏光特性の振幅ｃρは鏡面反射成分を示しており、鏡面反射成分が白色であるときは、特定色の偏光特性の振幅と非特定色の偏光特性の振幅が等しい。したがって、色バランス係数算出部３６は、非特定色の偏光特性の振幅を特定色の偏光特性の振幅と等しくするゲインを色バランス係数として算出する。
図１９は、色バランス係数を説明するための図である。鏡面反射成分を白色としたとき、特定色と非特定色の偏光特性の振幅は等しいことから、特定色が上述のように緑色である場合、緑色偏光画像の振幅ｃGρGに対して赤色偏光画像の振幅ｃRρRと青色偏光画像の振幅ｃBρBは、式（１６）の関係となる。なお、緑色の無偏光画素は画素値ｃG、赤色の無偏光画素は画素値ｃR、青色の無偏光画素は画素値ｃBであり、緑色は偏光度ρG、赤色は偏光度ρR、青色は偏光度ρBである。したがって、色バランス係数算出部３６は、ゲインｇR，ｇBを色バランス係数として算出する。
ｃGρG ＝ ｇRｃRρR ＝ ｇBｃBρB ・・・（１６）
したがって、色バランス係数算出部３６は、特定色の偏光特性と非特定色の偏光特性に基づき、式（１７）と式（１８）の演算を行い、色バランス係数ｇR，ｇBを算出して色バランス調整部３８へ出力する。
ｇR＝（ｃGρG）／（ｃRρR） ・・・（１７）
ｇB＝（ｃGρG）／（ｃBρB） ・・・（１８）
色バランス調整部３８は、色バランス係数算出部３６で算出された色バランス係数を用いて非特定色の無偏光画像や偏光画像のゲイン調整を行い、ホワイトバランス調整が行われた色毎の無偏光成分画像信号や色毎および偏光方向毎の偏光成分画像信号を生成する。
図２０は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置は無偏光成分画像を生成する。画像処理装置３０-4は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で無偏光画素の信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成してステップＳＴ２２に進む。
ステップＳＴ２２で画像処理装置は偏光成分画像を生成する。画像処理装置３０-4は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で同じ偏光方向である偏光画素の信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成してステップＳＴ２３に進む。
ステップＳＴ２３で画像処理装置は特定色の偏光特性を検出する。画像処理装置３０-4は、ステップＳＴ２２で生成された特定色の偏光成分画像信号とステップＳＴ２１で生成された特定色の無偏光成分画像信号に基づき、特定色の偏光特性を検出してステップＳＴ２４に進む。
ステップＳＴ２４で画像処理装置は非特定色の偏光特性を検出する。画像処理装置３０-4は、ステップＳＴ２３で検出された特定色の偏光特性と、ステップＳＴ２１で生成された非特定色の無偏光成分画像信号と、ステップＳＴ２２で生成された非特定色の偏光成分画像信号とに基づき、非特定色の偏光特性を検出してステップＳＴ２５に進む。
ステップＳＴ２５で画像処理装置は色バランス係数を算出する。画像処理装置３０-4は、ステップＳＴ２３で検出された特定色の偏光特性と、ステップＳＴ２４で検出した非特定色の偏光特性に基づき、非特定色の偏光特性の振幅を特定色の偏光特性と等しくするゲインを色バランス係数として算出してステップＳＴ２６に進む。
ステップＳＴ２６で画像処理装置は色バランス調整を行う。画像処理装置３０-4は、ステップＳＴ２５で算出された色バランス係数を用いて、ステップＳＴ２１で生成された非特定色の無偏光成分画像信号のゲイン調整を行う。また、画像処理装置３０-4は、ステップＳＴ２５で算出された色バランス係数を用いて、ステップＳＴ２２で生成された非特定色の偏光成分画像信号のゲイン調整を行ってもよい。
このように、第４の実施の形態によれば、第１の実施の形態と同様に、色毎の偏光度が異なるような場合であっても、色毎に精度よく偏光特性を検出できるようになる。また、非特定色の画素では、特定色よりも偏光画素の偏光方向を少ない種類にできるので、偏光画素を設けたことによる画質の劣化を軽減できる。さらに、偏光特性に基づいて色バランス係数を算出できるので、照明光源が不明である場合や白色の被写体が撮像領域に含まれていない場合でも精度よくホワイトバランス調整が行われた画像信号を得られるようになる。
＜５．第５の実施の形態＞
第５の実施の形態では、偏光特性に基づく色バランス係数と、白色被写体を白色に再現する色情報に基づく色バランス係数を取得できる場合について説明する。
＜５－１．第５の実施の形態の構成＞
図２１は、第５の実施の形態の構成を例示している。撮像システム１０-5は固体撮像装置２０と画像処理装置３０-5を有している。画像処理装置３０-5は、無偏光成分画像生成部３２-5，偏光成分画像生成部３３-5，特定色偏光特性検出部３４-5，非特定色偏光特性検出部３５、色バランス係数算出部３６、色バランス係数調整部３７、色バランス調整部３８を有している。
固体撮像装置２０は、第１乃至第３の実施の形態と同様な画素配列とされており、ホワイトバランス調整が行われていない偏光ＲＡＷ画像の画像信号を画像処理装置３０-5へ出力する。
画像処理装置３０-5の無偏光成分画像生成部３２-5は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成する。無偏光成分画像生成部３２-5は、特定色の無偏光成分画像信号を特定色偏光特性検出部３４-5へ出力して、非特定色の無偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
偏光成分画像生成部３３-5は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成する。偏光成分画像生成部３３-5は、特定色の偏光成分画像信号を特定色偏光特性検出部３４-5へ出力して、非特定色の偏光成分画像信号を非特定色偏光特性検出部３５へ出力する。
特定色偏光特性検出部３４-5は、特定色の無偏光成分画像信号および偏光成分画像信号に基づいて、特定色の偏光特性を検出して非特定色偏光特性検出部３５へ出力する。
非特定色偏光特性検出部３５は、非特定色の無偏光成分画像と偏光成分画像信号と特定色の偏光特性に基づいて非特定色の偏光特性を検出する。非特定色偏光特性検出部３５は、検出した非特定色の偏光特性と特定色偏光特性検出部３４-5で検出されている特定色の偏光特性を色バランス係数算出部３６へ出力する。
色バランス係数算出部３６は、特定色の偏光特性と非特定色の偏光特性に基づき色バランス係数を算出して、色バランス調整部３８へ出力する。
色バランス係数調整部３７は、白色被写体を白色に再現する色情報に基づく色バランス係数と色バランス係数算出部３６で算出された色バランス係数を用いて色バランス係数の調整を行い、調整色バランス係数を生成する。なお、色情報に基づく色バランス係数は、固体撮像装置２０から取得してもよく、画像処理装置３０-5に記憶されていてもよい。色バランス係数調整部３７は、調整色バランス係数を色バランス調整部３８へ出力する。
色バランス調整部３８は、色バランス係数調整部３７で生成された調整色バランス係数を用いて、無偏光画像や偏光画像のホワイトバランス調整を行う。
＜５－２．第５の実施の形態の具体例とその動作＞
固体撮像装置２０は、上述の図２に示す構成を有しており、例えば図３や図１５に示す画素配列とされている。
画像処理装置３０-5の無偏光成分画像生成部３２-5は、第２または第３の実施の形態の無偏光成分画像生成部３２-2，３２-3の何れかと同様な処理を行う。同様に、偏光成分画像生成部３３-5、特定色偏光特性検出部３４-5、非特定色偏光特性検出部３５は、第２乃至第３の実施の形態の何れかと同様な処理を行う。なお、第１の実施の形態の偏光成分分割部３１を設けて、第１の実施の形態と同様な処理を行うようにしてもよい。非特定色偏光特性検出部３５は、検出した非特定色の偏光特性と特定色偏光特性検出部３４-5で検出されている特定色の偏光特性を色バランス係数算出部３６へ出力する。また、特定色偏光特性検出部３４-5と非特定色偏光特性検出部３５は、色成分毎の無偏光成分画像信号と色成分毎および偏光方向毎の偏光成分画像信号を色バランス調整部３８へ出力する。
色バランス係数算出部３６は、第４の実施の形態と同様にして、特定色の偏光特性と非特定色の偏光特性に基づき色バランス係数を算出する。色バランス係数算出部３６は、算出した偏光特性に基づく色バランス係数を色バランス係数調整部３７へ出力する。
色バランス係数調整部３７は、色情報に基づく色バランス係数と色バランス係数算出部３６で算出された偏光特性に基づく色バランス係数を用いて色バランス係数の調整を行い、調整色バランス係数を生成する。
例えば、色バランス係数調整部３７は、色情報に基づく赤色の色バランス係数ｇR1と色バランス係数算出部３６で算出された偏光特性に基づく赤色の色バランス係数ｇR2との差分絶対値を算出する。色バランス係数調整部３７は、差分絶対値が閾値以内である場合、偏光特性に基づく赤色の色バランス係数ｇR2を調整色バランス係数ｇRとして、差分絶対値が閾値を超える場合、色情報に基づく赤色の色バランス係数ｇR1を調整色バランス係数ｇRとする。また、色バランス係数調整部３７は、青色に対しても同様な処理を行い、調整色バランス係数ｇBも同様に設定する。
このような処理を行えば、照明光源が不明である場合や白色の被写体が撮像領域に含まれていない場合でも、偏光特性に基づき調整色バランス係数を生成できる。また、鏡面反射成分が少なく、偏光特性に基づく色バランス係数の精度が低下するような場合、色情報に基づく色バランス係数が調整色バランス係数として用いられるので、調整色バランス係数の精度が大きく低下することを防止できる。
また、色バランス係数調整部３７は、色情報に基づく色バランス係数と偏光特性に基づく色バランス係数との平均値を調整色バランス係数としてもよい。
さらに、色バランス係数調整部３７は、ブレンド比αを設定して、例えば式（１９）に示すように赤色に対する調整色バランス係数ｇRを設定して、青色に対する調整色バランス係数も同様に設定してもよい。
ｇR＝（１－α）ｇR1＋αｇR2 ・・・（１９）
この場合、ブレンド比αが１に近づくに伴い、偏光特性に基づく色バランス係数の割合が高くなる。ブレンド比αは、例えば鏡面反射に応じて設定して、鏡面反射量が多くなるに伴い、偏光特性に基づく色バランス係数の信頼度が高いとしてブレンド比αを１に近づける。例えば、ブレンド比αは、式（２０）に示すように、鏡面反射量ｓと画素信号の飽和レベルＤmaxを用いて算出する。
α＝ｓ／Ｄmax ・・・（２０）
色バランス調整部３８は、色バランス係数調整部３７で生成された調整色バランス係数を用いて非特定色の無偏光画像や偏光画像のゲイン調整を行い、ホワイトバランス調整が行われた色毎の無偏光成分画像信号や色毎および偏光方向毎の偏光成分画像信号を生成する。
なお、色バランス係数調整部３７は、色情報に基づく色バランス係数と色バランス係数算出部３６で算出された偏光特性に基づく色バランス係数をユーザに提示して、ユーザ指示に基づき調整色バランス係数を生成してもよい。
図２２は、第５の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で画像処理装置は無偏光成分画像を生成する。画像処理装置３０-5は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で無偏光画素の信号を用いてフィルタ処理を行い、色毎の無偏光成分画像信号を生成してステップＳＴ３２に進む。
ステップＳＴ３２で画像処理装置は偏光成分画像を生成する。画像処理装置３０-5は、固体撮像装置２０から供給された偏光ＲＡＷ画像の画像信号から、同じ色で同じ偏光方向である偏光画素の信号を用いてフィルタ処理を行い、色毎および偏光方向毎の偏光成分画像信号を生成してステップＳＴ３３に進む。
ステップＳＴ３３で画像処理装置は特定色の偏光特性を検出する。画像処理装置３０-5は、ステップＳＴ３２で生成された特定色の偏光成分画像信号とステップＳＴ３１で生成された特定色の無偏光成分画像信号に基づき、特定色の偏光特性を検出してステップＳＴ３４に進む。
ステップＳＴ３４で画像処理装置は非特定色の偏光特性を検出する。画像処理装置３０-5は、ステップＳＴ３３で検出された特定色の偏光特性と、ステップＳＴ３１で生成された非特定色の無偏光成分画像信号と、ステップＳＴ３２で生成された非特定色の偏光成分画像信号とに基づき、非特定色の偏光特性を検出してステップＳＴ３５に進む。
ステップＳＴ３５で画像処理装置は色バランス係数を算出する。画像処理装置３０-5は、ステップＳＴ３３で検出された特定色の偏光特性と、ステップＳＴ３４で検出した非特定色の偏光特性に基づき、非特定色の偏光特性の振幅を特定色の偏光特性と等しくするゲインを色バランス係数として算出してステップＳＴ３６に進む。
ステップＳＴ３６で画像処理装置は色バランス係数の調整を行う。画像処理装置３０-5は、色情報に基づく色バランス係数とステップＳＴ３５で算出した偏光特性に基づく色バランス係数を用いて、調整色バランス係数を生成してステップＳＴ３７に進む。
ステップＳＴ３７で画像処理装置は色バランス調整を行う。画像処理装置３０-5は、ステップＳＴ３６で生成された調整色バランス係数を用いて、ステップＳＴ３１で生成された非特定色の無偏光成分画像信号のゲイン調整を行う。また、画像処理装置３０-5は、ステップＳＴ３６で生成された調整色バランス係数を用いて、ステップＳＴ３２で生成された非特定色の偏光成分画像信号のゲイン調整を行ってもよい。
このように、第５の実施の形態によれば、第１の実施の形態と同様に、色毎の偏光度が異なるような場合であっても、色毎に精度よく偏光特性を検出できるようになる。また、非特定色の画素では、特定色よりも偏光画素の偏光方向を少ない種類にできるので、偏光画素を設けたことによる画質の劣化を軽減できる。さらに、偏光特性に基づいて色バランス係数を算出できるので、照明光源が不明である場合や白色の被写体が撮像領域に含まれていない場合でも精度よくホワイトバランス調整が行われた画像信号を得られるようになる。また、鏡面反射成分が少なく偏光特性に基づく色バランス係数の精度が低下するような場合でも、色情報に基づく色バランス係数を用いてホワイトバランス調整を精度よく行うことができる。
＜６．他の実施の形態＞
画像処理装置で用いる画像信号は、上述の画素配列の固体撮像装置で生成された画像信号に限られない。例えば、固体撮像装置は、後述する＜７．固体撮像装置の他の構成＞で示す画素配列であってもよい。また、画素色は原色系に限らず補色系の色であってもよい。
また、上述の実施の形態では、特定色と非特定色の偏光特性と無偏光成分画像信号と偏光成分画像信号を出力する構成を示しているが、偏光特性のみを出力する構成であってもよい。また、第４と第５の実施の形態はホワイトバランス調整後の画像信号を出力する構成を示しているが、色バランス係数とホワイトバランス調整前の画像信号を出力する構成等であってもよい。さらに、フィルタ処理は、実施の形態の説明で示したフィルタ処理に限らず、他の実施の形態で説明したフィルタ処理を用いてもよい。例えば第１の実施の形態の偏光画像や無偏光画像の生成において、第２の実施の形態の偏光画像や無偏光画像の生成におけるフィルタ処理を用いてもよい。また、上述の実施の形態よりも画質の良好な無偏光成分画像信号と偏光成分画像信号を生成できるフィルタ処理を行えば、特定色と非特定色の偏光特性をさらに精度よく検出できる。
また、上述の動作を示すフローチャートは、図に示すステップ順に処理を行う順序処理に限られない。例えば、無偏光画像と偏光画像の生成は何れを先に行ってもよく、並列処理で行ってもよい。また、パイプライン処理を行い、例えば処理に必要とされる画素信号が得られる毎に画素毎のフィルタ処理や偏光特性の算出を行うようにしてもよい。
＜７．固体撮像装置の他の構成＞
固体撮像装置２０は、図３や図１５に示す画素配列で、各画素の信号を順に読み出す構成に限られない。次に、固体撮像装置の他の構成として、画素配列および画素信号の読み出しについて説明する。
＜７－１．画素配列について＞
固体撮像装置２０の画素配列は、上述のように、偏光特性の検出が可能に構成した特定色の画素と、無偏光画素と特定色よりも偏光方向が少ない種類である偏光画素で構成した特定色と異なる非特定色の画素を有する構成であればよい。
図２３，２４は、画素配列の一部（４×４画素の画素配列繰り返し単位）を例示している。図２３の（ａ）は、特定色が緑色であり、２×２画素の色画素領域は偏光方向が異なる４方向の偏光画素で構成されている。また、非特定色は赤色と青色であり、２×２画素の色画素領域は１方向の偏光画素と３つの無偏光画素で構成されている。
図２３の（ｂ）は、特定色が緑色であり、２×２画素の色画素領域は偏光方向が異なる３方向の偏光画素と１つの無偏光画素で構成されている。また、非特定色は赤色と青色であり、２×２画素の色画素領域は１方向の偏光画素と３つの無偏光画素で構成されている。
図２３の（ｃ）は、特定色が緑色であり、２×２画素の色画素領域は偏光方向が異なる２方向の偏光画素と２つの無偏光画素で構成されている。また、非特定色は赤色と青色であり、２×２画素の色画素領域は１方向の偏光画素と３つの無偏光画素で構成されている。
また、図２３の（ｄ）～（ｆ）は、４×４画素の画素配列繰り返し単位に含まれる特定色の２つの色領域単位の一方にのみ偏光画素を設けた場合を例示している。
このような図２３の（ａ）～（ｆ）に示す画素配列に固体撮像装置２０が構成されていても、画像処理装置は上述のような処理を行うことで、偏光特性を精度よく色毎に検出できる。また、画像処理装置は無偏光画像と偏光画像を色毎に取得できる。
また、画素配列は図２４に示す構成であってもよい。図２４の（ａ）は、特定色が緑色と赤色であり、非特定色が青色である場合を例示している。図２４の（ｂ）は、色領域単位が１画素単位である場合の画素配列を例示している。図２４の（ｃ）（ｄ）は、三原色（赤色と緑色と青色）の画素に加えて例えば白色画素を設けた場合を例示している。この場合、特定色は白色であり非特定色は赤色と緑色と青色となる。なお、白色画素に限らず赤外線領域に感度を有する画素を設けてもよい。また、図２４の（ｅ）に示すように、画素配列方向が例えば４５度の傾きを有する構成であってもよい。
このように、固体撮像装置２０の画素配列は、特定色の偏光特性が算出可能で、非特定色は、特定色よりも偏光方向が少ない種類である偏光画素と無偏光画素を有する構成であればよい。
＜７－２．信号読み出しについて＞
ところで、偏光画素では偏光子が設けられたことにより、無偏光画素に比べて感度が低下する。したがって、第１の実施の形態では感度差を吸収するゲインＫを用いて偏光特性が検出されている。そこで、固体撮像装置の他の構成では、無偏光画素と偏光画素で感度差を生じていない画像信号を生成する場合について説明する。
図２５は、固体撮像装置の画素構成を例示している。イメージセンサ２１は、複数個の画素がアレイ状例えば二次元マトリクス状に配列された画素アレイ部２１１と、画素アレイ部２１１の駆動制御等を行う垂直走査回路２１２および水平走査回路２１３を有している。なお、説明を簡単とするため、画素アレイ部２１１では、行方向および列方向の一部の画素のみを示している。また、画素アレイ部２１１の画素では画素色と偏光方向を示している。
画素アレイ部２１１の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット線と選択線を介して垂直走査回路２１２と接続されており、信号線を介して水平走査回路２１３と接続されている。
垂直走査回路２１２は、偏光画素のリセット線を介してリセット信号を偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。また、垂直走査回路２１２は、無偏光画素のリセット線を介してリセット信号を無偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。その後、垂直走査回路２１２は、選択線を介して読出信号を偏光画素および無偏光画素の電荷転送用のトランジスタへ出力して、リセット信号が出力されてから読出信号が出力されるまでの露光期間中に蓄積された電荷を信号電流として信号線に出力させる。水平走査回路２１３は、各画素から読み出された信号電流をデジタルの画素信号に変換する処理やノイズ除去等を行い、処理後の画素信号を水平方向の画素順に画像処理装置３０へ出力する。また、垂直走査回路２１２と水平走査回路２１３は、上述の処理をライン毎に行う。さらに、垂直走査回路２１２は、偏光画素または無偏光画素の露光期間を制御して偏光画素と無偏光画素の感度を一致させる。例えば、垂直走査回路２１２は、無偏光画素のリセット信号のタイミングを制御して、無偏光画素が偏光画素の感度と等しくなるように無偏光画素の露光期間を調整して、偏光画素と無偏光画素の感度を一致させる。
図２６は、固体撮像装置におけるイメージセンサの動作を説明するための図である。固体撮像装置２０は、偏光画素リセット信号と無偏光画素リセット信号の出力を独立に制御することで、例えば無偏光の被写体を撮像した場合に、偏光画素と無偏光画素の信号レベルが等しくなるように無偏光画素の露光期間を調整する。
図２６の（ａ）は偏光画素と無偏光画素から蓄積電荷に応じた信号を読み出すための読み出し信号ＳＣaを示している。図２６の（ｂ）は、偏光画素に対するリセット信号ＳＣbpを示しており、図２６の（ｃ）は偏光画素における蓄積電荷量を示している。偏光画素は、リセット信号ＳＣbpによって蓄積電荷が排出されたのち、リセット信号ＳＣbpが終了した時点ｔ１から偏光画素において入射光に応じて電荷の蓄積が行われる。
図２６の（ｄ）は、無偏光画素に対するリセット信号ＳＣbn、図２６の（ｅ）は、無偏光画素における蓄積電荷量を示している。無偏光画素は、リセット信号ＳＣbnによって蓄積電荷が排出されたのち、リセット信号ＳＣbnが終了した時点ｔ２から無偏光画素において、入射光に応じて電荷の蓄積が行われる。
偏光画素と無偏光画素は、読み出し信号ＳＣaによって時点ｔ３で蓄積された電荷の読み出しが行われる。すなわち偏光画素では時点ｔ１～ｔ３の期間が露光時間Ｔepとなり、無偏光画素では時点ｔ２～ｔ３の期間が露光時間Ｔenとなる。したがって、偏光画素に対する無偏光画素の感度に応じて露光時間Ｔepに対して露光時間Ｔenを短くすることで、偏光画素と無偏光画素で感度差を有していても、偏光画素の信号レベルＳＬpと無偏光画素の信号レベルＳＬnが等しい画像信号を生成できる。
なお、固体撮像装置２０は、水平走査回路２１３で偏光画素と無偏光画素の感度が一致するように画素信号の利得調整を行うようにしてもよい。
このような固体撮像装置によれば、偏光画素と無偏光画素で感度差を生じていない撮像画像の画像信号を生成できるようになるので、画像処理装置は、偏光画素と無偏光画素の感度差を考慮する必要がなく偏光特性の検出等を容易に行える。
ところで、固体撮像装置がＣＭＯＳイメージセンサを用いた構成である場合、画素信号を加算して読み出すことが可能である。また、画素信号を加算して読み出す場合、高フレームレートで画素信号の読み出しを行うことが可能となり、画素信号のＳ／Ｎ比を向上させることも可能となる。
次に、固体撮像装置で画素から信号を加算して読み出す場合の動作について説明する。図２７は固体撮像装置の画素と読出信号線を示している。図２７の（ａ）は、固体撮像装置２０における画素配列の一部を例示している。また、図２７の（ｂ）は、読出信号線を示している。固体撮像装置２０の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット信号によってリセット用のトランジスタを駆動して蓄積電荷を排出する。その後、各画素は、読出信号によって電荷転送用のトランジスタを駆動して、リセット終了から読出開始までの露光期間中に蓄積された電荷を画素信号として読出信号線に出力する。読出信号線はアナログ／デジタル変換（Ａ／Ｄ）部と接続されており、各画素から読み出されたアナログ画素信号をデジタル画素信号に変換して、ノイズ除去等を行ったのち画像処理装置３０へ出力する。
図２８は、画素信号の読み出し動作を説明するための図である。固体撮像装置２０は、同一の読出信号線に接続されている同一列の画素における同じ色と偏光方向の画素から画素信号を順次加算して読み出す。図２８の（ａ）は、固体撮像装置２０における画素配列の一部を例示している。例えば、図２８の（ｂ）に示すように、固体撮像装置２０は読出信号線ＶＳＬ０を介して、無偏光画素である２つの赤色画素から画素信号を加算して読み出して、無偏光画素である１つの赤色画素のデジタル画素信号を生成する。また、固体撮像装置２０は、読出信号線ＶＳＬ１を介して、無偏光画素である２つの赤色画素から画素信号を加算して読み出して、無偏光画素である１つの赤色画素のデジタル画素信号を生成する。また、固体撮像装置２０は、読出信号線ＶＳＬ２を介して、無偏光画素である２つの緑色画素から画素信号を加算して読み出して、無偏光画素である１つの緑色画素のデジタル画素信号を生成する。さらに、固体撮像装置２０は、読出信号線ＶＳＬ３を介して、無偏光画素である２つの緑色画素から画素信号を加算して読み出して、無偏光画素である１つの緑色画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
次に、固体撮像装置２０は、次ラインの画素信号を生成する。例えば、図２８の（ｃ）に示すように、固体撮像装置２０は、読出信号線ＶＳＬ０を介して、無偏光画素である２つの赤色画素から画素信号を加算して読み出して、無偏光画素である１つの赤色画素のデジタル画素信号を生成する。また、固体撮像装置２０は、読出信号線ＶＳＬ１を介して、偏光画素（透過軸の角度：９０度）である２つの赤色画素から画素信号を加算して読み出して、偏光画素（透過軸の角度：９０度）である１つの赤色画素のデジタル画素信号を生成する。また、固体撮像装置２０は、読出信号線ＶＳＬ２を介して、偏光画素（透過軸の角度：９０度）である２つの緑色画素から画素信号を加算して読み出して、偏光画素（透過軸の角度：９０度）である１つの緑色画素のデジタル画素信号を生成する。さらに、固体撮像装置２０は、読出信号線ＶＳＬ３を介して、無偏光画素である２つの緑色画素から画素信号を加算して読み出して、偏光画素である１つの緑色画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
さらに、固体撮像装置２０は、例えば、図２８の（ｄ）（ｅ）に示すように、固体撮像装置２０は、読出信号線ＶＳＬ０～ＶＳＬ３を介して、無偏光画素である２つの画素から画素信号を加算して読み出して、無偏光画素である１つの画素のデジタル画素信号を生成して、同一偏光方向の偏光画素である２つの画素から画素信号を加算して読み出して、偏光画素である１つの画素のデジタル画素信号を生成する。このように、固体撮像装置２０は、信号加算の対象となる画素を垂直方向に順次移動して、ライン毎に画素信号を生成する。したがって、固体撮像装置２０から出力される画像信号は、図２８の（ｆ）に示すように、垂直方向の解像度が１／２となる。この場合、画像処理装置では、水平方向の解像度を１／２として、出力画像のアスペクト比が変化しないように処理してもよい。
このように、画素を加算して読み出すことで、フレームレートが高くＳ／Ｎ比の良好な偏光ＲＡＷ画像の画像信号を固体撮像装置２０から画像処理装置３０-1（３０-2～３０-5）へ出力できる。
＜８．適用例＞
また、本開示に係る技術は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。
図３０は、撮像部１２０３１の設置位置の例を示す図である。
図３０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術の固体撮像装置２０は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。また、本開示に係る技術の画像処理装置３０は、以上説明した構成のうち、車外情報検出ユニット１２０３０に適用され得る。このように、本開示に係る技術を車両制御システムに適用すれば、偏光特性を色毎に精度よく取得できるので、反射除去や被写体の立体形状の認識等を行うことで、ドライバの疲労軽減や自動運転に必要な情報を高精度に取得することが可能になる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性を検出する非特定色偏光特性検出部
を備える画像処理装置。
（２） 前記非特定色偏光特性検出部は、前記特定色と前記非特定色の方位角を等しいとして前記非特定色の偏光特性を検出する（１）に記載の画像処理装置。
（３） 前記非特定色偏光特性検出部は、前記特定色の偏光特性と、前記非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光度を算出する（２）に記載の画像処理装置。
（４） 前記特定色の３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素の画素信号を用いて前記特定色の偏光特性を検出する特定色偏光特性検出部をさらに備える（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記特定色の偏光画素または無偏光画素の画素信号を用いて前記特定色の無偏光成分画像信号と、前記非特定色の無偏光画素の画素信号を用いて前記非特定色の無偏光成分画像信号を生成する無偏光成分画像生成部と、
前記特定色の偏光画素の画素信号を用いて前記特定色の偏光成分画像信号と、前記非特定色の偏光画素の画素信号を用いて前記非特定色の偏光成分画像信号を生成する偏光成分画像生成部とをさらに備える（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記無偏光成分画像生成部と前記偏光成分画像生成部は、色と偏光方向が等しい画素の画素信号を用いてフィルタ処理を行い、前記無偏光成分画像信号と前記偏光成分画像信号を生成する（５）に記載の画像処理装置。
（７） 前記無偏光成分画像生成部と前記偏光成分画像生成部は、対象画素位置の画素と周辺画素から色と偏光方向が等しい画素を用いてフィルタ処理を行うことにより算出した色および偏光方向毎の前記対象画素位置の低周波成分と、前記対象画素位置の画素信号と前記対象画素位置の画素と色および偏光方向が等しい前記対象画素位置の低周波成分を用いて算出した前記対象画素位置の高周波成分に基づき、前記対象画素位置における色および偏光方向毎の画素信号を生成する（６）に記載の画像処理装置。
（８） 前記特定色と前記非特定色の偏光画素と無偏光画素の画素信号はホワイトバランス調整後の信号である（５）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記特定色の偏光特性と前記非特定色の偏光特性に基づき色バランス係数を算出する色バランス係数算出部をさらに備える（５）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記色バランス係数算出部は、鏡面反射を白色として前記色バランス係数を算出する（９）に記載の画像処理装置。
（１１） 前記色バランス係数算出部で算出された色バランス係数を用いて、前記無偏光成分画像信号または前記偏光成分画像信号のホワイトバランス調整を行う色バランス調整部をさらに備える（９）または（１０）に記載の画像処理装置。
（１２） 前記色バランス係数算出部で算出された前記偏光特性に基づく色バランス係数と、白色被写体を白色に再現する色情報に基づく色バランス係数に応じて、色バランス係数の調整を行う色バランス係数調整部をさらに備え、
前記色バランス調整部は、前記色バランス係数調整部で調整された色バランス係数を用いて前記ホワイトバランス調整を行う（１１）に記載の画像処理装置。
（１３） 前記色バランス係数調整部は、前記偏光特性に基づく色バランス係数と前記色情報に基づく色バランス係数との差分量、または鏡面反射の反射量に基づき前記色バランス係数の調整を行う（１２）に記載の画像処理装置。
この技術の画像処理装置と画像処理方法とプログラムおよび固体撮像装置では、特定色の偏光特性と、特定色と異なる非特定色の無偏光画素の画素信号と、非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、非特定色の偏光特性が検出される。このため、色毎に偏光特性を精度よく検出できるようになる。したがって、偏光情報を利用して制御等を行うことができる機器、例えば車両制御システム等に適している。
１０-1～１０-5 ・・・撮像システム
２０ ・・・固体撮像装置
２１ ・・・イメージセンサ
２２ ・・・カラーモザイクフィルタ
２３ ・・・偏光子
３０-1～３０-5 ・・・画像処理装置
３１ ・・・偏光成分分割部
３２-1～３２-5 ・・・無偏光成分画像生成部
３３-1～３３-5 ・・・偏光成分画像生成部
３４-1～３４-5 ・・・特定色偏光特性検出部
３５ ・・・非特定色偏光特性検出部
３６ ・・・色バランス係数算出部
３７ ・・・色バランス係数調整部
３８ ・・・色バランス調整部

Claims (14)

  1. 特定色の３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素の画素信号を用いて前記特定色の偏光特性を検出する特定色偏光特性検出部と、
    前記特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性を検出する非特定色偏光特性検出部を備える
    画像処理装置。
  2. 前記非特定色偏光特性検出部は、前記特定色と前記非特定色の方位角が等しいとして前記非特定色の偏光特性を検出する
    請求項１に記載の画像処理装置。
  3. 前記非特定色偏光特性検出部は、前記特定色の偏光特性と、前記非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光度を算出する
    請求項２に記載の画像処理装置。
  4. 前記特定色の無偏光画素の画素信号を用いて前記特定色の無偏光成分画像信号を生成し、前記非特定色の無偏光画素の画素信号を用いて前記非特定色の無偏光成分画像信号を生成する無偏光成分画像生成部と、
    前記特定色の偏光画素の画素信号を用いて前記特定色の偏光成分画像信号を生成し、前記非特定色の偏光画素の画素信号を用いて前記非特定色の偏光成分画像信号を生成する偏光成分画像生成部をさらに備える
    請求項１に記載の画像処理装置。
  5. 前記無偏光成分画像生成部と前記偏光成分画像生成部は、色と偏光方向が等しい画素の画素信号を用いてフィルタ処理を行い、前記無偏光成分画像信号と前記偏光成分画像信号を生成する
    請求項４に記載の画像処理装置。
  6. 前記無偏光成分画像生成部と前記偏光成分画像生成部は、対象画素位置の画素と周辺画素から色と偏光方向が等しい画素を用いてフィルタ処理を行うことにより算出した色および偏光方向毎の前記対象画素位置の低周波成分と、前記対象画素位置の画素信号と前記対象画素位置の画素と色および偏光方向が等しい前記対象画素位置の低周波成分を用いて算出した前記対象画素位置の高周波成分に基づき、前記対象画素位置における色および偏光方向毎の画素信号を生成する
    請求項５に記載の画像処理装置。
  7. 前記特定色と前記非特定色の偏光画素と無偏光画素の画素信号はホワイトバランス調整後の信号である
    請求項４に記載の画像処理装置。
  8. 前記特定色の偏光特性と前記非特定色の偏光特性に基づき色バランス係数を算出する色バランス係数算出部をさらに備える
    請求項４に記載の画像処理装置。
  9. 前記色バランス係数算出部は、鏡面反射を白色として前記色バランス係数を算出する
    請求項８に記載の画像処理装置。
  10. 前記色バランス係数算出部で算出された色バランス係数を用いて、前記無偏光成分画像信号または前記偏光成分画像信号のホワイトバランス調整を行う色バランス調整部をさらに備える
    請求項８に記載の画像処理装置。
  11. 前記色バランス係数算出部で算出された前記偏光特性に基づく色バランス係数と、白色被写体を白色に再現する色情報に基づく色バランス係数に応じて、色バランス係数の調整を行う色バランス係数調整部をさらに備え、
    前記色バランス調整部は、前記色バランス係数調整部で調整された色バランス係数を用いて前記ホワイトバランス調整を行う
    請求項１０に記載の画像処理装置。
  12. 前記色バランス係数調整部は、前記偏光特性に基づく色バランス係数と前記色情報に基づく色バランス係数との差分量、または鏡面反射の反射量に基づき前記色バランス係数の調整を行う
    請求項１１に記載の画像処理装置。
  13. 特定色の３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素の画素信号を用いて前記特定色の偏光特性を検出する手順と、
    前記特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性を検出する手順を有する
    画像処理方法。
  14. 特定色の３偏光方向以上の偏光画素または無偏光画素と２偏光方向の偏光画素の画素信号を用いて前記特定色の偏光特性を検出する手順と、
    前記特定色の偏光特性と、前記特定色と異なる非特定色の無偏光画素の画素信号と、前記非特定色であって前記特定色よりも偏光方向が少ない種類である偏光画素の画素信号に基づいて、前記非特定色の偏光特性を検出する手順を有する画像処理方法を
    コンピュータに実行させるためのプログラム。
JP2019556113A 2017-11-21 2018-09-18 画像処理装置、画像処理方法およびプログラム Active JP7230824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017223423 2017-11-21
JP2017223423 2017-11-21
PCT/JP2018/034389 WO2019102698A1 (ja) 2017-11-21 2018-09-18 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019102698A1 JPWO2019102698A1 (ja) 2020-12-03
JP7230824B2 true JP7230824B2 (ja) 2023-03-01

Family

ID=66631530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556113A Active JP7230824B2 (ja) 2017-11-21 2018-09-18 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11605661B2 (ja)
JP (1) JP7230824B2 (ja)
CN (1) CN111357282B (ja)
WO (1) WO2019102698A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405601B2 (en) * 2019-09-17 2022-08-02 Meta Platforms Technologies, Llc Polarization capture device, system, and method
JPWO2021140873A1 (ja) * 2020-01-09 2021-07-15
WO2022019025A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
CN117044220A (zh) * 2021-03-19 2023-11-10 索尼集团公司 信息处理装置、信息处理方法和程序
DE102022201523A1 (de) * 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2016136085A1 (ja) 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833525A (en) 1985-03-29 1989-05-23 Canon Kabushiki Kaisha High speed color balance adjusting device capable of compensating for a flickering light source
US5090807A (en) * 1990-01-10 1992-02-25 Environmental Research Institute Of Michigan Real time optical pre-detection processing of multispectral image data
US8054371B2 (en) 2007-02-19 2011-11-08 Taiwan Semiconductor Manufacturing Company, Ltd. Color filter for image sensor
EP2216999B1 (en) 2007-12-07 2015-01-07 Panasonic Corporation Image processing device, image processing method, and imaging device
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5950196B2 (ja) 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP5783929B2 (ja) * 2012-02-20 2015-09-24 キヤノン株式会社 撮像装置
WO2014125529A1 (ja) * 2013-02-15 2014-08-21 パナソニック株式会社 画像処理装置および内視鏡
JP6192428B2 (ja) * 2013-08-20 2017-09-06 オリンパス株式会社 撮像装置
WO2017081925A1 (ja) * 2015-11-10 2017-05-18 ソニー株式会社 画像処理装置と画像処理方法
JP6693530B2 (ja) 2015-11-19 2020-05-13 ソニー株式会社 画像処理装置と画像処理方法
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2016136085A1 (ja) 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子

Also Published As

Publication number Publication date
CN111357282A (zh) 2020-06-30
JPWO2019102698A1 (ja) 2020-12-03
US11605661B2 (en) 2023-03-14
CN111357282B (zh) 2023-04-18
US20200350353A1 (en) 2020-11-05
WO2019102698A1 (ja) 2019-05-31

Similar Documents

Publication Publication Date Title
JP7230824B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
CN108353153B (zh) 图像处理装置和图像处理方法
JP6693530B2 (ja) 画像処理装置と画像処理方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP6981410B2 (ja) 固体撮像装置、電子機器、レンズ制御方法および車両
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11928848B2 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
CN111480057A (zh) 图像处理装置、图像处理方法和程序
WO2021060118A1 (ja) 撮像装置
US20200402206A1 (en) Image processing device, image processing method, and program
JP2020107932A (ja) 固体撮像素子および撮像装置
WO2020246250A1 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2020075357A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020166284A1 (ja) 撮像装置
WO2023286297A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
TWI842952B (zh) 攝像裝置
US20230394847A1 (en) Image processing system, image processing method, and storage medium
WO2021020156A1 (ja) 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R151 Written notification of patent or utility model registration

Ref document number: 7230824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151