JP2018082424A - 画像形成装置 - Google Patents

Abstract

【課題】偏光撮像において視差の影響を抑制する。
【解決手段】第１偏光で被写体を照明時に得る第１および第２の偏光画像、第２偏光で被写体を照明時に得る第３および第４の偏光画像に基づいて画像を形成し、第１偏光の被写体での鏡面反射に起因して第１偏光画像に現れる複数の第１輝点の像および第２偏光の被写体での鏡面反射に起因して第４偏光画像に現れる複数の第２輝点の像に基づいて平行移動された第１偏光画像、第２偏光画像、第３偏光画像および第４偏光画像から被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第１偏光画像および前記第４偏光画像を平均化した第１平均化画像と、平行移動がなされた前記第２偏光画像および前記第３偏光画像を平均化した第２平均化画像との間の差分を求めることによって前記被写体の画像を形成する。
【選択図】図１

Description

本開示は、画像形成装置に関する。

透明な物体に付着した異物および透明な物体の表面の状態の検出に、偏光を利用した撮像が有効であることが知られている。例えば、下記の特許文献１は、互いに直交する直線偏光を透明な板状部材に順次に照射し、各直線偏光の照射に対応して取得される第１および第２の偏光画像の合成画像を利用して異物を検出する表面観察装置を開示している。

下記の特許文献２および非特許文献１は、半透明の粘膜に覆われた組織表面の微細な構造の観察への偏光撮像の利用を提案している。特許文献２および非特許文献１に記載の技術では、照明光としての直線偏光の偏光面を９０°変えてそれぞれの照明光のもとで平行ニコル画像および直交ニコル画像を取得し、２つの平行ニコル画像を平均化した画像と、２つの直交ニコル画像を平均化した画像とを差分処理する。特許文献２および非特許文献１によれば、このような処理により、被写体の表面の微細な凹凸の強調された画像を得ることが可能である。下記の非特許文献２は、直線偏光の照射部と、透過軸の方向が互いに異なる２つの偏光子とを先端に有し、２つの偏光子に対応して２つのＣＣＤ（charge-coupled device）を有する多眼式の硬性内視鏡を開示している。参考のため、特許文献２および非特許文献１の開示内容の全てを本明細書に援用する。

特開２０１３−０３６９０８号公報 特開２０１５−１６４５１８号公報

Katsuhiro Kanamori, "Image enhancement of surface micro-structure on mucosa for polarimetric endoscopy", Proc. of SPIE, 2015, Vol. 9318, 93180O-1 to 93180O-14 Neil T. Clancy, Shobhit Arya, Ji Qi, Danail Stoyanov, George B. Hanna, and Daniel S. Elson, "Polarised stereo endoscope and narrowband detection for minimal access surgery", Biomedical Optics Express, 1 December 2014, Vol. 5, No. 12, pp 4108-4117

特許文献１に開示されている表面観察装置では、イメージセンサの前面に、マイクロレンズと、偏光パターンが形成された偏光フィルタとが配置されている。このような構成においては、微細な偏光パターンの形成に高度な技術を要し、また、イメージセンサの各受光領域に対応するように各マイクロレンズおよび偏光パターンを精度よく位置合わせする必要がある。他方、非特許文献２において提案されるような多眼式の偏光カメラによれば、イメージセンサの各受光領域と偏光パターンとの間の位置合わせが基本的に不要であるので、より柔軟な設計が可能になる。また、露光量を増加させる観点からも有利である。

しかしながら、多眼式の構成では本質的に視差の発生が避けられない。非特許文献２では、視差をキャンセルするために、各カメラによって取得される複数の画像中の凸部を検出し、画像間で凸部が整合するようにして各画素の画素値を算出している。非特許文献２に開示される技術は、被写体にテクスチャがある場合には有効と考えられるものの、被写体の表面が滑らかな場合には、画像間における凸部の対応づけが困難である。

本開示の一態様に係る画像形成装置は、第１方向に偏光した状態にある第１照明光で被写体を照明する複数の第１光出射部と、前記第１方向と交差する第２方向に偏光した状態にある第２照明光で前記被写体を照明する複数の第２光出射部と、前記第１方向に偏光した状態にある第１反射光を受ける第１領域および前記第２方向に偏光した状態にある第２反射光を受ける第２領域を含む撮像面を有する撮像装置と、前記第１照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第１反射光に関する第１偏光画像および前記第２反射光に関する第２偏光画像、ならびに、前記第２照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第１反射光に関する第３偏光画像および前記第２反射光に関する第４偏光画像に基づいて前記被写体の画像を形成する画像形成回路とを備え、前記複数の第１光出射部のそれぞれの位置を結んだ図形の重心および前記複数の第２光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、前記画像形成回路は、前記第１照明光の前記被写体での鏡面反射に起因して前記第１偏光画像に現れる複数の第１輝点の像および前記第２照明光の前記被写体での鏡面反射に起因して前記第４偏光画像に現れる複数の第２輝点の像に基づいて平行移動された第１偏光画像、第２偏光画像、第３偏光画像および第４偏光画像から前記被写体の画像を形成し、前記画像形成回路は、平行移動がなされた前記第１偏光画像および前記第４偏光画像を平均化した第１平均化画像と、平行移動がなされた前記第２偏光画像および前記第３偏光画像を平均化した第２平均化画像との間の差分を求めることによって前記被写体の画像を形成する。

なお、包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などの不揮発性の記録媒体を含む。

本開示によれば、視差の影響が抑制された偏光撮像が可能となる。本開示の一態様の付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および／または有利な点は、本明細書および図面に開示した様々な態様および特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、本開示の第１の実施形態による画像形成装置の例示的な構成を示す図である。 図２は、被写体２００側から見た、複数の光出射部１２２、および、撮像装置１４０Ａにおける２つの開口ＡＰｈおよびＡＰｖの配置の典型例を示す図である。 図３は、照明制御回路１６２および画像形成回路１６４による典型的な処理の概略を示す図である。 図４Ａは、ある時刻ｔにおける照明装置１２０Ａの動作状態と、時刻ｔにおいて取得される偏光画像１０ｐおよび２０ｃとをあわせて示す図である。 図４Ｂは、時刻ｔよりも後の時刻（ｔ＋１）における照明装置１２０Ａの動作状態と、時刻（ｔ＋１）において取得される偏光画像３０ｃおよび４０ｐとをあわせて示す図である。 図５Ａは、視差補正部１６４ａによる視差補正の処理の例を説明するための図であり、視差補正前の状態を模式的に示す。 図５Ｂは、視差補正部１６４ａによる視差補正の処理の例を説明するための図であり、視差補正後の状態を模式的に示す。 図６は、画像処理部１６４ｂによる典型的な処理の概略を示す図である。 図７は、被写体２００の表面と、光出射部１２２から発せられた光の虚像との間の位置関係を模式的に示す図である。 図８は、被写体２００の表面からの虚像Ｖまでの距離と、撮像素子１４２の撮像面における結像位置のずれの大きさとの間の関係を説明するための図である。 図９は、複数の視点に対応して配置された複数の撮像素子を有する画像形成装置の例を示す図である。 図１０は、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖの配置の他の例を示す図である。 図１１Ａは、時刻ｔにおける照明装置１２０Ｃの動作状態と、時刻ｔにおいて取得される偏光画像１１ｐおよび２１ｃとをあわせて示す図である。 図１１Ｂは、時刻（ｔ＋１）における照明装置１２０Ｃの動作状態と、時刻（ｔ＋１）において取得される偏光画像３１ｃおよび４１ｐとをあわせて示す図である。 図１２は、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖの配置のさらに他の例を示す図である。 図１３Ａは、時刻ｔにおける照明装置１２０Ｄの動作状態と、時刻ｔにおいて取得される偏光画像１２ｐおよび２２ｃとをあわせて示す図である。 図１３Ｂは、時刻（ｔ＋１）における照明装置１２０Ｄの動作状態と、時刻（ｔ＋１）において取得される偏光画像３２ｃおよび４２ｐとをあわせて示す図である。 図１４は、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖの配置のさらに他の例を示す図である。 図１５Ａは、時刻ｔにおける照明装置１２０Ｅの動作状態と、時刻ｔにおいて取得される偏光画像１３ｐおよび２３ｃとをあわせて示す図である。 図１５Ｂは、時刻（ｔ＋１）における照明装置１２０Ｅの動作状態と、時刻（ｔ＋１）において取得される偏光画像３３ｃおよび４３ｐとをあわせて示す図である。 図１６は、照明装置１２０Ａとともに用いられる撮像装置の他の構成例を示す図である。 図１７は、本開示の第２の実施形態による画像形成装置の例示的な構成を示す図である。 図１８は、撮像装置１４０Ｇの４つの開口と、各開口に配置される検光子の透過軸の方向との関係を示す図である。 図１９は、本開示の第２の実施形態による画像形成装置の変形例を示す図である。 図２０は、図１９に示す撮像装置１４０Ｈの拡大図である。

本開示の一態様の概要は以下のとおりである。

［項目１］
第１方向に偏光した状態にある第１照明光で被写体を照明する複数の第１光出射部と、
第１方向と交差する第２方向に偏光した状態にある第２照明光で被写体を照明する複数の第２光出射部と、
第１方向に偏光した状態にある第１反射光を受ける第１領域および第２方向に偏光した状態にある第２反射光を受ける第２領域を含む撮像面を有する撮像装置と、
第１照明光で被写体が照明されているときに撮像装置によって得られる、第１反射光に関する第１偏光画像および第２反射光に関する第２偏光画像、ならびに、第２照明光で被写体が照明されているときに撮像装置によって得られる、第１反射光に関する第３偏光画像および第２反射光に関する第４偏光画像に基づいて被写体の画像を形成する画像形成回路と
を備え、
複数の第１光出射部のそれぞれの位置を結んだ図形の重心および複数の第２光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、
画像形成回路は、第１照明光の被写体での鏡面反射に起因して第１偏光画像に現れる複数の第１輝点の像および第２照明光の被写体での鏡面反射に起因して第４偏光画像に現れる複数の第２輝点の像に基づいて平行移動された第１偏光画像、第２偏光画像、第３偏光画像および第４偏光画像から被写体の画像を形成し、
画像形成回路は、平行移動がなされた第１偏光画像および第４偏光画像を平均化した第１平均化画像と、平行移動がなされた第２偏光画像および第３偏光画像を平均化した第２平均化画像との間の差分を求めることによって被写体の画像を形成する、
画像形成装置。

［項目２］
複数の第１光出射部および複数の第２光出射部は、円状に配置されており、
複数の第１光出射部のそれぞれの位置を通る円の中心と、複数の第２光出射部のそれぞれの位置を通る円の中心とは、一致している、項目１に記載の画像形成装置。

［項目３］
被写体側から見たとき、複数の第１光出射部および複数の第２光出射部は、撮像装置を取り囲んでいる、項目１または２に記載の画像形成装置。

［項目４］
照明制御回路をさらに備え、
複数の第１光出射部のぞれぞれは、第１光源を含み、
複数の第２光出射部のぞれぞれは、第２光源を含み、
照明制御回路は、第１光源と第２光源とを異なるタイミングで点灯させる、項目１から３のいずれかに記載の画像形成装置。

［項目５］
画像形成回路は、
第１偏光画像中の複数の第１輝点の像の重心が第１偏光画像の中央に位置するように第１偏光画像を平行移動させ、かつ、第１偏光画像に対する平行移動と同じ移動方向および移動量で第３偏光画像を平行移動させ、
第４偏光画像中の複数の第２輝点の像の重心が第４偏光画像の中央に位置するように第４偏光画像を平行移動させ、かつ、第４偏光画像に対する平行移動と同じ移動方向および移動量で第２偏光画像を平行移動させる、項目１から４のいずれかに記載の画像形成装置。

［項目６］
第１領域を含む１以上の第１撮像素子および第２領域を含む１以上の第２撮像素子を有する、項目１から５のいずれかに記載の画像形成装置。

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

（第１の実施形態）
図１は、本開示の第１の実施形態による画像形成装置の例示的な構成を示す。図１に示す画像形成装置１００Ａは、概略的には、複数の光出射部１２２を含む照明装置１２０Ａと、撮像装置１４０Ａと、制御回路１６０とを有する。照明装置１２０Ａは、被写体２００を直線偏光で照明し、撮像装置１４０Ａは、直線偏光で照明された被写体２００を撮像する。

複数の光出射部１２２のそれぞれは、光源１２４と、光源１２４の前面に配置された偏光子１２６とを含む。光源１２４としては、例えば、白色発光ダイオードまたは赤外線発光ダイオードなどの公知の発光素子を用いることができ、偏光子１２６としては、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。

複数の光出射部１２２は、透過軸の方向が互いに異なる少なくとも２種の偏光子を含む。したがって、各光出射部１２２からは、偏光子１２６の透過軸の方向に応じた直線偏光ＰＬが出射される。後述するように、照明装置１２０Ａは、制御回路１６０の制御に基づき、複数の光源１２４のうち、前面に配置された偏光子１２６の透過軸の方向が共通する光源１２４を選択的に点灯させることにより、偏光面の異なる光で順次に被写体２００を照明することができる。

ここで、被写体２００は、典型的には、透明または半透明かつ滑らかな表面を有する物体であり、被写体２００として、人または動物の眼球、錠剤の透明パッケージなどを例示することができる。複数の位置から直線偏光ＰＬが照射されると、図１において模式的に示すように、被写体２００には、鏡面反射に起因する複数の輝点ＢＰが生じる。これらの輝点ＢＰの位置は、撮像時に点灯されていた光源１２４の位置を反映する。

撮像装置１４０Ａは、撮像素子１４２と、撮像素子１４２の撮像面上に被写体２００の像を結像させる光学系とを含む。撮像素子１４２としては、ＣＣＤイメージセンサ、ＣＭＯＳ（Complementary MOS）イメージセンサ、および、半導体基板の上方に有機または無機の光電変換層が積層された、いわゆる積層型のイメージセンサなどを用いることができる。すなわち、撮像素子１４２は複数の画素を含む。図１に例示する構成において、撮像装置１４０Ａは、撮像装置１４０Ａの筐体に設けられた２つの開口ＡＰｈおよびＡＰｖに対応して配置された検光子１４６ｈと１４６ｖとを有する。検光子１４６ｈおよび１４６ｖは、互いに異なる方向の透過軸を有し、偏光面が互いに異なる直線偏光を選択的に透過させる。検光子１４６ｈおよび１４６ｖには、光出射部１２２の偏光子１２６と同様に、市販の偏光シートまたは金属ワイヤグリッド偏光子などを用いることができる。

この例では、検光子１４６ｈおよび撮像素子１４２の間に対物レンズ１４８ｈが配置され、検光子１４６ｖおよび撮像素子１４２の間に対物レンズ１４８ｖが配置されている。被写体２００からの反射光のうち、検光子１４６ｈを通過した光は、対物レンズ１４８ｈを通過して撮像素子１４２の撮像面上に結像する。同様に、被写体２００からの反射光のうち、検光子１４６ｖを通過した光は、対物レンズ１４８ｖを通過して撮像素子１４２の撮像面上に結像する。ただし、被写体２００上の同一の点から発せられ、検光子１４６ｈを通過した光と、検光子１４６ｖを通過した光とは、撮像面において互いに異なる位置に結像する。換言すれば、撮像素子１４２の撮像面は、検光子１４６ｈを通過した光が入射する領域Ｒａと、検光子１４６ｖを通過した光が入射する領域Ｒｂとを含む。領域Ｒａに入射する光の信号および領域Ｒｂに入射する光の信号を個別に撮像素子１４２から取得することにより、対物レンズ１４８ｈの位置を視点とする画像と、対物レンズ１４８ｖの位置を視点とする画像とを構築することができる。

ここでは、検光子１４６ｈおよび１４６ｖの透過軸の方向が互いに異なっている。したがって、領域Ｒａおよび領域Ｒｂは、それぞれ、被写体２００からの戻り光のうち、ある方向（例えば水平方向）に偏光した状態にある光および他のある方向（例えば垂直方向）に偏光した状態にある光を受ける領域であるといえる。つまり、領域Ｒａに入射する光の信号は、被写体２００からの戻り光のうち、ある方向（例えば水平方向）に偏光した状態にある光に基づく画像を表現し、領域Ｒｂに入射する光の信号は、被写体２００からの戻り光のうち、他のある方向（例えば垂直方向）に偏光した状態にある光に基づく画像を表現する。このように、撮像装置１４０Ａによれば、ある偏光状態の光に基づく画像の信号と、他のある偏光状態の光に基づく画像の信号とを一括して取得することが可能である。ただし、これらの画像の信号は、開口ＡＰｈおよびＡＰｖの位置に応じた視点による画像の信号であり、したがって、これらの画像の間には視差が存在している。以下、ある特定の偏光状態の光に関する画像を便宜的に「偏光画像」と呼ぶことがある。

後述するように、本開示の典型的な実施形態では、照明装置１２０Ａに含まれる複数の光源１２４のうち、偏光子１２６の透過軸の方向が共通する複数の光源１２４を順次に選択的に点灯させて撮像を実行する。そのため、被写体２００を照明する光の偏光状態に応じた、互いに視点の異なる偏光画像の複数の対を取得することができる。本開示の典型的な実施形態では、照明光の偏光状態を変えて取得される複数の偏光画像に基づいて被写体の画像を形成する。上述したように、偏光画像は、複数の光源１２４のうち、偏光子１２６の透過軸の方向が共通する光源１２４を選択的に点灯させた状態での撮像によって取得される。このとき、図１において模式的に示されるように、被写体２００に、撮像時に点灯されていた光源１２４からの光の像が輝点ＢＰの形で現れる。そのため、取得される偏光画像中に被写体２００上の輝点ＢＰの像が現れる。輝点ＢＰの像が現れる複数の画素位置の複数の画素値のそれぞれは、輝点ＢＰの像が現れない複数の画素位置の複数の画素値のそれぞれより大きい。輝点ＢＰの像の位置は、撮像時に点灯されていた光源１２４の位置を反映する。後に詳しく説明するように、本開示の典型的な実施形態では、取得される画像中の輝点ＢＰの像の位置を利用して視差の補正を実行する。

図１に例示する構成において、制御回路１６０は、照明装置１２０Ａの動作を制御する照明制御回路１６２と、撮像装置１４０Ａからの信号に基づいて被写体２００の画像を形成する画像形成回路１６４とを含む。この例では、画像形成回路１６４は、視差補正部１６４ａおよび画像処理部１６４ｂを含む。視差補正部１６４ａは、互いに視点の異なる偏光画像間の視差をキャンセルする補正を実行する。画像処理部１６４ｂは、複数の偏光画像に基づき、被写体２００の画像を形成する。後述するように、ここで説明する例では、画像処理部１６４ｂは、視差補正部１６４ａの出力に基づき、被写体２００の画像データを生成する。制御回路１６０の動作の典型例は、後に詳しく説明する。

制御回路１６０は、例えばＣＰＵ（Central Processing Unit）を有するマイクロコントローラなどであり得る。照明制御回路１６２、ならびに、画像形成回路１６４の視差補正部１６４ａおよび画像処理部１６４ｂは、単一のマイクロコントローラの一部であってもよいし、それぞれが独立した処理回路であってもよい。例えば、視差補正部１６４ａおよび／または画像処理部１６４ｂが、ＤＳＰ（digital signal processor）、ＡＳＩＣ（application specific integrated circuit）またはＦＰＧＡ（field-programmable gate array）などによって実現されてもよい。

図２は、被写体２００側から見た、複数の光出射部１２２、および、撮像装置１４０Ａにおける２つの開口ＡＰｈおよびＡＰｖの配置の典型例を示す。図２に示す例において、照明装置１２０Ａは、光出射部１２２ｈの対と、光出射部１２２ｖの対とを有する。典型的には、照明装置１２０Ａ中の光出射部１２２ｈおよび光出射部１２２ｖは、同一の平面内に配置される。図２は、光出射部１２２ｈおよび１２２ｖが配置された平面の法線方向に沿って被写体２００側から見たときの、２つの光出射部１２２ｈおよび２つの光出射部１２２ｃの典型的な配置を示している。

ここでは、撮像装置１４０Ａの開口ＡＰｈおよびＡＰｖも、２つの光出射部１２２ｈおよび２つの１２２ｖが配置された平面内に位置している。図２に例示する構成において、２つの光出射部１２２ｈおよび２つの光出射部１２２ｖは、光出射部１２２ｈおよび１２２ｖが配置された平面の法線方向に沿って被写体２００側から見たとき、撮像装置１４０Ａにおける２つの開口ＡＰｈおよびＡＰｖを取り囲むようにして、それぞれ、紙面の上下方向および左右方向に沿って配置されている。

図２は、２つの光出射部１２２ｈの中間点と、２つの光出射部１２２ｖの中間点とが一致している構成を例示している。換言すれば、２つの光出射部１２２ｈのそれぞれの位置を結ぶ図形（ここでは線分）の重心と、２つの光出射部１２２ｖのそれぞれの位置を結ぶ図形（ここでは線分）の重心とは、一致している。図２に例示する構成において、光出射部１２２ｈおよび光出射部１２２ｖは、リング状の配置を有しているということができる。特に、この例では、被写体２００側から見たとき、光出射部１２２ｈおよび光出射部１２２ｖが、図２において破線で示された仮想的な円Ｃの円周上において９０°ずつ回転した位置に交互に配置されており、かつ、これらが撮像装置１４０Ａを取り囲んでいる。複数の光出射部１２２をリング状に配置することにより、被写体２００を均一に照明し得る。

なお、複数の光出射部１２２ｈに含まれ、複数の光出射部１２２ｈの外部に光を出射する複数の第１出射面が複数の第１円の場合、複数の第１円の複数の第１中心が複数の第１出射面の複数の第１中心になる。なお、複数の第１出射面、複数の第１円、複数の第１中心のそれぞれは１対１に対応する。

例えば、図２の例では、複数の光出射部１２２ｈは、図２に向かって上側に位置する光出射部が有する上側の出射面と、図２に向かって下側に位置する光出射部が有する下側の出射面である。複数の第１中心は、上側の出射面たる上側の円形面の中心と下側の出射面たる下側の円形面の中心である。

また、複数の光出射部１２２ｖに含まれ、複数の光出射部１２２ｖの外部に光を出射する複数の第２出射面が複数の第２円の場合、複数の第２円の複数の第２中心が複数の第２出射面の複数の第２中心になる。なお、複数の第２出射面、複数の第２円、複数の第２中心のそれぞれは１対１に対応する。

例えば、図２の例では、複数の光出射部１２２ｖは、図２に向かって左側に位置する光出射部が有する左側の出射面と、図２に向かって右側に位置する光出射部が有する右側の出射面である。複数の第２中心は、左側の出射面たる左側の円形面の中心と右側の出射面たる右側の円形面の中心である。複数の第１中心の幾何学的重心の位置と、複数の第２中心の幾何学的重心の位置は同じであってもよい。

例えば、図２の例において、複数の第１中心の幾何学的重心である上側の円形面の中心と下側の出射面たる下側の円形面の中心の幾何学的重心位置と、複数の第２中心の幾何学的重心である左側の円形面の中心と右側の出射面たる右側の円形面の中心の幾何学的重心位置が同じあってもよい。

なお、複数の光出射部１２２が撮像装置１４０Ａを取り囲むことは必須ではなく、後述する視差補正の原理から明らかなように、例えば、光出射部１２２が光出射部１２２ｈの対と光出射部１２２ｖの対とを有する場合であれば、少なくとも２つの光出射部１２２ｈの中間点と、２つの光出射部１２２ｖの中間点とが一致していればよい。つまり、これらによって規定される円Ｃの外側に撮像装置１４０Ａが位置していてもよい。ただし、小型化の観点からは、複数の光出射部１２２が撮像装置１４０Ａを取り囲むような配置を有していると有利である。また、複数の光出射部１２２が撮像装置１４０Ａを取り囲むような配置を有すると、同軸照明に近い照明を実現し得る。

図２中、光出射部１２２ｈおよび１２２ｖの位置に描かれた円の内側の太い両矢印は、偏光子１２６（図１参照）の透過軸の方向を模式的に示している。図２に示すように、この例では、光出射部１２２ｈの偏光子１２６の透過軸の方向は、紙面の左右方向（例えば水平方向）に平行である。他方、光出射部１２２ｖの偏光子１２６の透過軸の方向としては、光出射部１２２ｈの偏光子１２６の透過軸の方向に交差する方向が選ばれる。ここでは、光出射部１２２ｖの偏光子１２６の透過軸の方向は、紙面の上下方向に平行であり、光出射部１２２ｈの偏光子１２６の透過軸の方向と直交している。以下では、光出射部１２２ｈの偏光子１２６の透過軸の方向と、光出射部１２２ｖの偏光子１２６の透過軸の方向とが互いに直交している構成を例にとって説明する。光出射部１２２ｈと光出射部１２２ｖとの間で偏光子１２６の透過軸の方向が直交することは必須ではないが、これらが直交していると、光の利用効率の面で有利である。なお、本開示の他の図面においても、図２と同様に、円の内側に描かれた太い両矢印によって偏光子１２６の透過軸の方向を示すことがある。

図２に例示する構成において、開口ＡＰｈおよびＡＰｖ（視点といってもよい。）は、光出射部１２２ｈおよび光出射部１２２ｖによって規定される円Ｃの概ね中央に位置し、紙面の左右方向に沿って互いに近接して配置されている。開口ＡＰｈおよびＡＰｖの中心間の距離は、例えば、１．０ｍｍ以上１０ｍｍ以下程度であり得る。図２中、角丸の矩形の内側に描かれた太い両矢印は、開口ＡＰｈおよびＡＰｖに配置された検光子１４６ｈおよび１４６ｖ（図１参照）の透過軸の方向を模式的に示している。以下、本開示の他の図面においても、角丸の矩形の内側に描かれた太い両矢印によって検光子の透過軸の方向を示すことがある。なお、複数の光出射部１２２ｈに含まれ、複数の光出射部１２２ｈの外部に光を出射する複数の第１面と、複数の光出射部１２２ｖに含まれ、複数の光出射部１２２ｖの外部に光を出射する複数の第２面は同一の第１平面に配置されてもよい。また、検光子１４６ｈに含まれ、検光子１４６ｈの外部から光を受光する第３面と、検光子１４６ｖに含まれ、検光子１４６ｖの外部から光を受光する第４面は同一の第２平面に配置されてもよい。さらに、第１平面と第２平面は同じでもよい。

図示するように、検光子１４６ｈの透過軸の方向および検光子１４６ｖの透過軸の方向は、それぞれ、紙面の左右方向および紙面の上下方向に平行である。つまり、検光子１４６ｈの透過軸の方向として、光出射部１２２ｈにおける偏光子１２６の透過軸の方向に平行な方向が選択され、検光子１４６ｖの透過軸の方向として、光出射部１２２ｖにおける偏光子１２６の透過軸の方向に平行な方向が選択されている。このような透過軸の方向の選択により、検光子１４６ｈを通過した光に基づいて、被写体２００からの戻り光のうち、光出射部１２２ｈから照射される直線偏光と偏光面が共通する光に関する偏光画像を得ることができる。また、検光子１４６ｖを通過した光に基づいて、被写体２００からの戻り光のうち、光出射部１２２ｖから照射される直線偏光と偏光面が共通する光に関する偏光画像を得ることができる。なお、検光子１４６ｈの透過軸の方向と、光出射部１２２ｈにおける偏光子１２６の透過軸の方向とが厳密に平行である必要はなく、これらの間で数°程度のずれは許容される。検光子１４６ｖの透過軸の方向と、光出射部１２２ｖにおける偏光子１２６の透過軸の方向に関しても同様である。

（画像形成装置の動作）
以下、図面を参照しながら、画像形成装置１００Ａの動作の例を説明する。以下では、被写体２００として人の眼球の画像を形成する例を説明する。

図３は、照明制御回路１６２および画像形成回路１６４による典型的な処理の概略を示す図である。被写体２００の観察においては、まず、ある第１の方向に偏光した状態にある第１の直線偏光で被写体２００を照明する（ステップＳ１）。例えばある時刻ｔにおいて、照明制御回路１６２（図１参照）は、照明装置１２０Ａ中の複数の光源１２４のうち、偏光子１２６の透過軸の方向が共通する一部の光源１２４を点灯させ、他の残りの光源１２４を消灯させる。照明制御回路１６２は、例えば、光出射部１２２ｈ（図２参照）中の光源１２４を選択的に点灯させる。この場合、紙面の左右方向に偏光した状態にある照明光が２つの光出射部１２２ｈから被写体２００に向けて照射される。

次に、第１の直線偏光の照射のもとで、視点が互いに異なる２つの偏光画像を取得する（ステップＳ２）。図４Ａは、時刻ｔにおける照明装置１２０Ａの動作状態と、時刻ｔにおいて取得される偏光画像１０ｐおよび２０ｃとをあわせて示す。図４Ａの右側には、光出射部１２２ｈからの照明光で被写体２００が照射されているときに撮像装置１４０Ａによって取得される２つの偏光画像１０ｐおよび２０ｃの例が示されている。被写体２００からの反射光は、光出射部１２２ｈから照射される直線偏光と偏光面が共通する成分と、光出射部１２２ｖから照射される直線偏光と偏光面が共通する成分とを含む。偏光画像１０ｐは、被写体２００において反射された光のうち、検光子１４６ｈを通過し、撮像素子１４２の撮像面の領域Ｒａに入射した光に基づく画像である。換言すれば、被写体２００からの戻り光のうち、光出射部１２２ｈから照射される直線偏光と偏光面が共通する光に関する画像である。ここでは、光出射部１２２ｈの偏光子１２６と検光子１４６ｈとの間で透過軸の方向が一致しているので、偏光画像１０ｐを第１の平行ニコル画像と呼んでもよい。

なお、光出射部１２２ｈである複数の第１光出射器が第１方向に偏光した第１光を、第１期間に被写体に照明し、被写体が第１光を反射し、第１反射光および第２反射光を出力する場合、検光子１４６ｈである「第１方向に偏光した光を選択的に透過する第１偏光フィルタ」が、第１反射光を受け取り、第１方向に偏光した第１偏光光を出力してもよい。

なお、撮像素子１４２は撮像素子１４２が含む複数の第１画素が撮像面の領域Ｒａに入射する第１偏光光を検出し、撮像素子１４２は複数の第１画素における複数の第１画素値を含む第１画像、すなわち、偏光画像１０ｐたる第１の平行ニコル画像を出力してもよい。

鏡面反射では偏光状態はほとんど変化せず、光出射部１２２ｈから照射された直線偏光は、偏光面が照明光と共通の直線偏光として反射される。そのため、図４Ａにおいて模式的に示すように、偏光画像１０ｐには、光出射部１２２ｈから照射された直線偏光の被写体２００での鏡面反射に起因する輝点ＢＰの像Ｂｈが現れる。上述したように、被写体２００上の輝点ＢＰの位置は、撮像時に点灯されていた光源１２４の位置を反映する。ここでは、偏光画像１０ｐ中の上下方向に沿った２箇所に輝点ＢＰの像Ｂｈが現れている。図４Ａ中の太い十字は、輝点ＢＰの像Ｂｈの位置によって規定される図形（ここでは線分）の重心Ｍａの位置を示している。ここでは、重心Ｍａは、輝点ＢＰの像Ｂｈの中心間を結ぶ線分の中点である。

重心Ｍａは、例えば、以下の手順の画像処理にて求めてもよい。
１）輝点ＢＰの像Ｂｈは非常に明るいため通常、輝度は飽和している（例えば８ｂｉｔ画像では画素値＝２５５）ため上記領域を画像から２値化処理で抽出できる。
２）抽出領域をラベリングしノイズ除去して２個の領域だけを抽出する。
３）上記２個の領域毎に重心座標を求め、最後に２つの重心座標を計算してＭａを求める。

なお、Ｎ個の頂点を有するＮ角形の場合、Ｎ個の頂点の座標のそれぞれを（ｘｉ、ｙｉ）、ｉは１以上でＮ以下の自然数、Ｎ角形の重心座標を（ｘｇ、ｙｇ）とすると、ｘｇ＝（Σｘｉ）／Ｎ、ｙｇ＝（Σｙｉ）／Ｎとして求めてもよい。撮像素子１４２は複数の第１画素における複数の第１画素値を含む第１画像、すなわち、偏光画像１０ｐたる第１の平行ニコル画像を出力してもよい。複数の第１画素は複数の第２画素と複数の第３画素を含んでもよい。複数の第１画素における複数の第１画素値は、複数の第２画素における複数の第２画素値と、複数の第３画素における複数の第３画素値を含んでもよい。複数の第２画素における複数の第２画素値のそれぞれが、複数の第３画素における複数の第３画素値のそれぞれより大きい場合、第１画像に含まれる輝点ＢＰは、複数の第２画素に表れているとしてもよい。

撮像装置は複数の第２画素と複数の第３画素を含む複数の第１画素を含む第１領域を含んでもよい。第１領域をｘ-ｙ直交座標系で表現した場合、画像形成回路１６４は複数の第２画素の複数の座標の幾何学的重心である重心Ｍａを示す第１座標値（Ｘa，Ｙａ）を算出してもよい。

他方、偏光画像２０ｃは、被写体２００において反射された光のうち、検光子１４６ｖを通過し、撮像素子１４２の撮像面の領域Ｒｂに入射した光に基づく画像である。換言すれば、被写体２００からの戻り光のうち、光出射部１２２ｖから照射される直線偏光と偏光面が共通する光に関する画像である。人の眼球は、透明かつ滑らかな表面の角膜を有し、光出射部１２２ｈからの照明光は、眼球の表面およびその近傍で反射され、偏光状態にはほとんど変化は生じない。図２を参照すればわかるように、ここでは、光出射部１２２ｈにおける偏光子１２６の透過軸の方向と、検光子１４６ｖの透過軸の方向とが互いに直交している。そのため、偏光画像２０ｃには、輝点ＢＰの像Ｂｈは現れない。偏光画像２０ｃは、コントラスト比の低い暗い画像である。偏光画像２０ｃを第１の直交ニコル画像と呼んでもよい。

なお、光出射部１２２ｈである複数の第１光出射器が第１方向に偏光した第１光を、第１期間に被写体に照明し、被写体が前記第１光を反射し、第１反射光および第２反射光を出力する場合、検光子１４６ｖである「第２方向に偏光した光を選択的に透過する第２偏光フィルタ」が、第２反射光を受け取り、第２方向に偏光した第２偏光光を出力してもよい。

次に、時刻ｔよりも後の時刻（ｔ＋１）において、第１の方向と交差する第２の方向に偏光した状態にある第２の直線偏光で被写体２００を照明する（図３のステップＳ３）。例えば、照明制御回路１６２は、光出射部１２２ｈ中の光源１２４を消灯させ、光出射部１２２ｖ中の光源１２４を点灯させる。このとき、紙面の上下方向に偏光した状態にある照明光が２つの光出射部１２２ｖから被写体２００に向けて照射される。このように、照明制御回路１６２は、前面に配置された偏光子１２６の透過軸の方向が共通する光源１２４の間で点灯タイミングを一致させ、かつ、偏光子１２６の透過軸の方向が異なる光源１２４が互いに異なるタイミングで点灯するように照明装置１２０Ａを駆動する。このような構成によれば、電場ベクトルの振動方向が第１の方向（例えば水平方向）である直線偏光と、電場ベクトルの振動方向が第１の方向に交差する第２の方向（例えば垂直方向）である直線偏光とで被写体２００を順次に照明することができる。

次に、第２の直線偏光の照射のもとで、視点が互いに異なる２つの偏光画像を取得する（図３のステップＳ４）。図４Ｂは、時刻（ｔ＋１）における照明装置１２０Ａの動作状態と、時刻（ｔ＋１）において取得される偏光画像３０ｃおよび４０ｐとをあわせて示す。光出射部１２２ｖ中の光源１２４が選択的に点灯された状態においては、被写体２００は、紙面の上下方向に偏光した状態にある照明光で照明される。図４Ｂの右側には、光出射部１２２ｖからの照明光で被写体２００が照明されているときに撮像装置１４０Ａによって取得される２つの偏光画像３０ｃおよび４０ｐの例が示されている。偏光画像３０ｃは、被写体２００において反射された光のうち、検光子１４６ｈを通過し、撮像素子１４２の撮像面の領域Ｒａに入射した光に基づく画像である。換言すれば、被写体２００からの戻り光のうち、光出射部１２２ｈから照射される直線偏光と偏光面が共通する光に関する画像である。偏光画像２０ｃ（第１の直交ニコル画像）と同様に、偏光画像３０ｃは、コントラスト比の低い暗い画像であり、偏光画像３０ｃには、輝点ＢＰの像は現れていない。偏光画像３０ｃを第２の直交ニコル画像と呼んでもよい。

なお、光出射部１２２ｖである複数の第２光出射器が第２方向に偏光した第２光を、「複数の第１光出射器が第１光を被写体に照明する第１期間」と異なる第２期間に、被写体に照明し、被写体が第２光を反射し、第３反射光および第４反射光を出力する場合、検光子１４６ｈである「第１方向に偏光した光を選択的に透過する第１偏光フィルタ」が、第３反射光を受け取り、第１方向に偏光した第３偏光光を出力してもよい。

なお、撮像素子１４２は撮像素子１４２が含む複数の第１画素が撮像面の領域Ｒａに入射する第３偏光光を検出し、撮像素子１４２は複数の第１画素における複数の第５画素値を含む第３画像、すなわち、偏光画像３０ｃたる第２の直交ニコル画像を出力してもよい。

他方、偏光画像４０ｐは、被写体２００において反射された光のうち、検光子１４６ｖを通過し、撮像素子１４２の撮像面の領域Ｒｂに入射した光に基づく画像である。つまり、被写体２００からの戻り光のうち、光出射部１２２ｖから照射される直線偏光と偏光面が共通する光に関する画像である。光出射部１２２ｖにおける偏光子１２６の透過軸の方向と、検光子１４６ｖの透過軸の方向とは、互いに平行である。偏光画像４０ｐを第２の平行ニコル画像と呼んでもよい。

なお、光出射部１２２ｖである複数の第２光出射器が第２方向に偏光した第２光を、「複数の第１光出射器が第１光を被写体に照明する第１期間」と異なる第２期間に、被写体に照明し、被写体が第２光を反射し、第３反射光および第４反射光を出力する場合、検光子１４６ｖである「第２方向に偏光した光を選択的に透過する第２偏光フィルタ」が、第４反射光を受け取り、第２方向に偏光した第４偏光光を出力してもよい。

なお、撮像素子１４２は撮像素子１４２が含む複数の第２画素が撮像面の領域Ｒｂに入射する第４偏光光を検出し、撮像素子１４２は複数の第４画素における複数の第６画素値を含む第４画像、すなわち、偏光画像４０ｐたる第２の平行ニコル画像を出力してもよい。

図４Ｂの右側において模式的に示すように、偏光画像４０ｐには、光出射部１２２ｖから照射された直線偏光の被写体２００での鏡面反射に起因する輝点ＢＰの像Ｂｖが現れる。輝点ＢＰの像Ｂｖは、光出射部１２２ｖの配置に対応して、偏光画像４０ｐにおいて偏光画像４０ｐの左右方向に沿った２箇所に現れる。図４Ｂ中の太い十字は、輝点ＢＰの像Ｂｖの位置によって規定される図形（ここでは線分）の重心Ｍｂの位置を示しており、ここでは、重心Ｍｂは、輝点ＢＰの像Ｂｖの中心間を結ぶ線分の中点である。

撮像素子１４２は複数の第４画素における複数の第６画素値を含む第４画像、すなわち、偏光画像４０ｐたる第２の平行ニコル画像を出力してもよい。複数の第４画素は複数の第５画素と複数の第６画素を含んでもよい。複数の第４画素における複数の第６画素値は、複数の第５画素における複数の第７画素値と、複数の第６画素における複数の第８画素値を含んでもよい。複数の第５画素における複数の第７画素値のそれぞれが、複数の第６画素における複数の第８画素値のそれぞれより大きい場合、第４画像に含まれる輝点ＢＰは、複数の第７画素に表れているとしてもよい。

撮像装置は複数の第５画素と複数の第６画素を含む複数の第４画素を含む第２領域を含んでもよい。第２領域をｘ-ｙ直交座標系で表現した場合、画像形成回路１６４は複数の第５画素の複数の座標の幾何学的重心である重心Ｍｂを示す第２座標値（Ｘｂ，Ｙｂ）を算出してもよい。

図４Ａに示す偏光画像１０ｐおよび図４Ｂに示す偏光画像３０ｃは、同一の視点から取得された画像であるので、時刻ｔと時刻（ｔ＋１）との間において被写体２００と画像形成装置１００Ａとの間の配置に変化がなければ、偏光画像１０ｐと偏光画像３０ｃとの間には視差は生じない。同様に、図４Ａに示す偏光画像２０ｃと、図４Ｂに示す偏光画像４０ｐとの間にも視差は生じない。しかしながら、図４Ａに示す偏光画像１０ｐと２０ｃとの間には視差が存在し、図４Ｂに示す偏光画像３０ｃと４０ｐとの間にも視差が存在する。そのため、偏光画像１０ｐ中の重心Ｍａの座標を（Ｘａ，Ｙａ）、偏光画像４０ｐ中の重心Ｍｂの座標を（Ｘｂ，Ｙｂ）とすれば、これらのＸ座標は、一致しない。以下に説明するように、視差補正部１６４ａ（図１参照）は、このような視点の違いの影響をキャンセルする補正を実行する。

視差補正の処理において、視差補正部１６４ａは、まず、偏光画像１０ｐ（第１の平行ニコル画像）中の像Ｂｈの重心Ｍａの位置と、偏光画像４０ｐ（第２の平行ニコル画像）中の像Ｂｖの重心Ｍｂの位置とを算出する（図３のステップＳ５）。なお、像Ｂｈの座標および像Ｂｖの座標としては、例えば、予め設定しておいた閾値より高い画素値を有する複数の画素の中央に位置する画素の座標を採用することができる。通常、像Ｂｈ、Ｂｖは非常な高輝度のため画素値が飽和しており、偏光画像１０ｐ、４０ｐそれぞれの画像内において他に同様の高輝度画素領域は存在しないため、各々の画像内にて像を一意的に区別し決定できるため、それらの画素の中央（幾何学的重心）座標を求めることは容易である。

次に、視差補正部１６４ａは、算出された重心の座標が適当な目標の座標に一致するように、各偏光画像を平行移動させる（ステップＳ６）。ここで、平行移動で済む理由は、本開示において、開口ＡＰｈおよびＡＰｖ（視点）は左右方向に沿って平行に配置されているため視差が水平方向（左右）にずれるだけのためである。図５Ａおよび図５Ｂは、視差補正部１６４ａによる視差補正の処理の例を説明するための図である。図５Ａは、視差補正前の状態を模式的に示している。図５Ａにおいて模式的に示されるように、偏光画像１０ｐの取得時の視点と偏光画像４０ｐの取得時の視点とが例えば水平方向において異なる場合、重心ＭａのＸ座標および重心ＭｂのＸ座標は、一致しない。すなわち、ここではＸａ≠Ｘｂである。

視差補正部１６４ａは、重心Ｍａの座標が適当な目標の座標に一致するように、偏光画像１０ｐを平行移動させる。例えば、視差補正部１６４ａは、図５Ａ中において太い矢印Ａ１で模式的に示すように、画像領域の中央に重心Ｍａが位置するように偏光画像１０ｐを平行移動させる。例えば、偏光画像１０ｐの中心を通過する垂線上に、重心Ｍａが位置するよう偏光画像１０ｐを平行移動させてもよい。また、視差補正部１６４ａは、太い矢印Ａ４で模式的に示すように、画像領域の中央に重心Ｍｂが位置するように偏光画像４０ｐを平行移動させる。例えば、偏光画像４０ｐの中心を通過する垂線上に、重心Ｍｂが位置するよう偏光画像４０ｐを平行移動させてもよい。このような平行移動により、偏光画像１０ｐと偏光画像４０ｐとの間の視差がキャンセルされる。

視差補正部１６４ａは、さらに、図５Ａ中において太い矢印Ａ３で模式的に示すように、偏光画像３０ｃを偏光画像１０ｐと同様に平行移動させる。すなわち、このときの移動量および移動の方向は、偏光画像１０ｐにおける移動量および移動の方向に一致される。このような平行移動によれば、偏光画像３０ｃと偏光画像４０ｐとの間の視差を撮像後においてキャンセルすることができる。また、視差補正部１６４ａは、図５Ａ中において太い矢印Ａ２で模式的に示すように、偏光画像２０ｃを偏光画像４０ｐと同様に平行移動させる。つまり、偏光画像２０ｃは、その移動量および移動の方向が偏光画像４０ｐの平行移動における移動量および移動の方向と同じになるように平行移動される。このような平行移動により、偏光画像２０ｃと偏光画像１０ｐとの間の視差を撮像後においてキャンセルすることができる。結果として、被写体２００に照射される２種の直線偏光および２つの視点に応じて取得される４つの偏光画像の間における視差をキャンセルして、同一の視点から４つの偏光画像（２つの平行ニコル画像および２つの直交ニコル画像）を撮像した場合と同様の画像が得られる。

図５Ｂは、視差補正後の状態を模式的に示す。図５Ｂに示す偏光画像１０ｐｔおよび３０ｃｔは、偏光画像１０ｐに現れた複数の輝点の像Ｂｈの位置に基づく平行移動の結果として得られる画像である。偏光画像２０ｃｔおよび４０ｐｔは、偏光画像４０ｐに現れた複数の輝点の像Ｂｖの位置に基づく平行移動の結果として得られる画像である。図５Ｂ中、これらの画像の図の上の星印Ｃｔｒは、平行移動前の画像領域の中央を示している。なお、平行移動の結果、これらの偏光画像の端部には、被写体２００の画像のデータが存在しないブランク領域ＢＫが生じている。被写体２００に関する最終的な画像の形成においては、ブランク領域ＢＫにある画素の画素値は、利用せずに破棄すればよい。

このように、本開示の典型的な実施形態では、被写体２００上に積極的に輝点ＢＰを発生させて、平行ニコル画像中に現れる、輝点ＢＰの像の位置を利用して複数の偏光画像間の視差の影響をキャンセルする。偏光画像の取得後に視差の影響をキャンセルできるので、単一の視点から平行ニコル画像および直交ニコル画像を取得した場合と同等の結果が得られる。なお、被写体２００に照射する直線偏光の切り替えおよび各直線偏光での照射時の撮像を高速に行えば、異なる偏光状態にある照明光の照射のもとで取得される複数の偏光画像間の同時性を担保し得る。つまり、単一の視点から、偏光状態が異なる照明光のもとで２つの平行ニコル画像および２つの直交ニコル画像を同時に取得した場合と同等の結果を得ることが可能である。

画像処理部１６４ｂ（図１参照）は、平行移動後の偏光画像１０ｐｔ、２０ｃｔ、３０ｃｔおよび４０ｐｔに基づき、被写体２００の画像データを生成する。以下、画像処理部１６４ｂによる処理の例を説明する。

図６は、画像処理部１６４ｂによる典型的な処理の概略を示す図である。視差補正部１６４ａから、平行移動後の偏光画像１０ｐｔ、２０ｃｔ、３０ｃｔおよび４０ｐｔに関する画像データを受け取った画像処理部１６４ｂは、まず、視差補正が施された２つの平行ニコル画像から平均化平行ニコル画像を生成し、視差補正が施された２つの直交ニコル画像から平均化直交ニコル画像を生成する（図３のステップＳ７）。図６において模式的に示されるように、画像処理部１６４ｂは、視差補正が施された偏光画像１０ｐｔおよび偏光画像４０ｐｔから、平均化平行ニコル画像５０ｔａを生成する。平均化平行ニコル画像５０ｔａの各画素の画素値は、偏光画像１０ｐｔおよび偏光画像４０ｐｔの対応する画素同士の画素値の算術平均として算出される。また、画像処理部１６４ｂは、偏光画像２０ｃｔおよび偏光画像３０ｃｔの対応する画素同士の画素値の算術平均を各画素の画素値とする平均化直交ニコル画像６０ｔａを生成する。

次に、画像処理部１６４ｂは、平均化平行ニコル画像５０ｔａおよび平均化直交ニコル画像６０ｔａの差分を算出し、偏光差分画像７０を生成する（図３のステップＳ８）。この差分処理により、被写体２００の画像が、偏光差分画像７０として得られる。偏光差分画像７０は、例えば角膜上の異物、傷などの検出に有利に用いることができる。なお、典型的には、偏光差分画像７０には、輝点ＢＰの像が残るものの、輝点ＢＰの像の存在が角膜の観察の大きな妨げになることはほとんどない。図４Ａ、図４Ｂおよび図６では、説明の便宜のために輝点ＢＰの像が誇張して大きく描かれているに過ぎない。

ここで、紙面の左右方向を０°とし、偏光面の角度がαの照明光の照射のもとで、紙面の左右方向に対する透過軸の角度がβである検光子を通過した光に基づく画像をＬαＣβと表記すれば、偏光差分画像７０を、｛Ｌ０Ｃ０＋Ｌ９０Ｃ９０｝／２−｛Ｌ０Ｃ９０＋Ｌ９０Ｃ０｝／２のように表現でき、この式を変形すれば、｛Ｌ０Ｃ０−Ｌ０Ｃ９０｝／２＋｛Ｌ９０Ｃ９０−Ｌ９０Ｃ０｝／２が得られる。したがって、一見すると、上述の手順によらずに、第１の直線偏光の照射のもとで得られる平行ニコル画像および直交ニコル画像の差分と、第２の直線偏光の照射のもとで得られる平行ニコル画像および直交ニコル画像の差分とをまず算出してから、これらの差分を平均化しても、偏光差分画像７０と同様の結果が得られるようにみえる。しかしながら、このような処理の順序を採用した場合、平行ニコル画像と直交ニコル画像との間で取得時の視点が異なることに起因する光路の違いなどの影響が最終的な画像に残存してしまう。これに対し、図６に模式的に示されるように、まず平均化平行ニコル画像および平均化直交ニコル画像を算出する処理によれば、撮像時の偏光および視点の異なる２つの画像が平均化された結果を用いて差分処理が実行されるので、撮像時の偏光および視点の不一致に起因する画質の差異を低減することができる。

撮像素子１４２は撮像素子１４２が含む複数の第１画素が撮像面の領域Ｒａに入射する第１偏光光を検出し、撮像素子１４２は複数の第１画素における複数の第１画素値を含む第１画像、すなわち、偏光画像１０ｐたる第１の平行ニコル画像を出力し、撮像素子１４２は撮像素子１４２が含む複数の第２画素が撮像面の領域Ｒｂに入射する第２偏光光を検出し、撮像素子１４２は複数の第４画素における複数の第４画素値を含む第２画像、すなわち、偏光画像２０ｃたる第１の直交ニコル画像を出力し、撮像素子１４２は撮像素子１４２が含む複数の第１画素が撮像面の領域Ｒａに入射する第３偏光光を検出し、撮像素子１４２は複数の第１画素における複数の第５画素値を含む第３画像、すなわち、偏光画像３０ｃたる第２の直交ニコル画像を出力し、撮像素子１４２は撮像素子１４２が含む複数の第２画素が撮像面の領域Ｒｂに入射する第４偏光光を検出し、撮像素子１４２は複数の第４画素における複数の第６画素値を含む第４画像、すなわち、偏光画像４０ｐたる第２の平行ニコル画像を出力してもよい。撮像素子１４２は複数の第２画素と複数の第３画素を含む複数の第１画素を含む第１領域と、複数の第５画素と複数の第６画素を含む複数の第４画素を含む第２領域を含んでもよい。

この場合、第１領域、第２領域を、ｘ-ｙ直交座標を用いて表現してもよい。画像形成回路１６４は、複数の第２画素の座標の幾何学的重心を示す第１座標値（Ｘa，Ｙａ）、複数の第５画素の座標の幾何学的重心を示す第２座標値（Ｘｂ，Ｙｂ）を求めてもよい。画像形成回路１６４は、第１画像に含まれる画素値で、複数の第１画素に含まれる座標（ｘ，ｙ）における画素の画素値をＩ１とした場合、ｘ’＝ｘ−Ｘａ−ｐ、ｙ’＝ｙ−Ｙａ−ｑを求め、座標（ｘ’，ｙ’）の画素値をＩ１としてもよい。画像形成回路１６４は、第２画像に含まれる画素値で、複数の第４画素に含まれる座標（ｘ，ｙ）における画素の画素値をＩ２とした場合、ｘ’＝ｘ−Ｘb−ｐ、ｙ’＝ｙ−Ｙb−ｑを求め、座標（ｘ’，ｙ’）の画素値をＩ２としてもよい。画像形成回路１６４は、第３画像に含まれる画素値で、複数の第１画素に含まれる座標（ｘ，ｙ）における画素の画素値をＩ３とした場合、ｘ’＝ｘ−Ｘa−ｐ、ｙ’＝ｙ−Ｙa−ｑを求め、座標（ｘ’，ｙ’）の画素値をＩ３としてもよい。画像形成回路１６４は、第４画像に含まれる画素値で、複数の第４画素に含まれる座標（ｘ，ｙ）における画素の画素値をＩ４とした場合、ｘ’＝ｘ−Ｘｂ−ｐ、ｙ’＝ｙ−Ｙｂ−ｑを求め、座標（ｘ’，ｙ’）の画素値をＩ４としてもよい。ｐ，ｑはそれぞれ任意の実数であってもよい。画像形成回路１６４は、座標（ｘｉ，ｙｉ）における画素値Ｉｉを{Ｉ１（ｘ’ ＝ｘｉ,ｙ’ ＝ｙｉ）＋Ｉ４（ｘ’ ＝ｘｉ,ｙ’ ＝ｙｉ）}／２−{Ｉ２（ｘ’ ＝ｘｉ,ｙ’ ＝ｙｉ）＋Ｉ３（ｘ’ ＝ｘｉ,ｙ’ ＝ｙｉ）}／２として求めてもよい。ｉは自然数であってもよい。

図６を参照して説明した処理（以下、簡単のために「平均化偏光差分処理」と呼ぶことがある。）によれば、偏光差分画像７０の形で、被写体２００の表面の微細な凹凸に起因するコントラストが強調された画像データを得ることができる。したがって、偏光差分画像７０に基づいて、被写体２００上の傷、異物などに関する有用な情報を得ることが可能である。なお、平均化偏光差分処理は、人の眼球のように球体状かつ透明な表面を有する被写体の観察に特に有効である。以下、この点を説明する。

図７は、被写体２００の表面と、光出射部１２２から発せられた光の虚像との間の位置関係を模式的に示す。ここでは、人の眼球を鏡面反射性の球体とみなして被写体２００を半径がＲの凸面鏡で近似する。被写体２００の表面と照明装置１２０Ａとの間の距離をａとし、照明装置１２０Ａの光出射部１２２から被写体２００に向けて光を照射した場合を想定する。このとき、光出射部１２２から発せられた光の虚像Ｖは、被写体２００の中心２１０および光出射部１２２を結ぶ線分と、被写体２００の表面で鏡面反射した光線を表す矢印ＳＰの延長線との交点の位置に形成される。図７からわかるように、虚像Ｖは、被写体２００の表面よりも内側に位置する。被写体２００を凸面鏡で近似したときの焦点距離をｆとし、凸面鏡の表面からの像Ｖまでの距離をｂとすれば、下記式（１）によって表される関係式が成り立つ。

例えば、ａ＝２００ｍｍ、Ｒ＝７．４ｍｍとすれば、ｂ＝３．６３ｍｍとなる。つまり、光出射部１２２から発せられた光の虚像Ｖは、被写体２００の表面には位置せず、正確には照明装置１２０Ａから２０３．６３ｍｍの点に位置する。本発明者らは、輝点ＢＰ（図１参照）が被写体２００の表面に位置することを前提とした補正では、視差の影響を十分にキャンセルできない場合があることを見出した。

図８を参照して、被写体２００の表面からの虚像Ｖまでの距離と、撮像素子１４２の撮像面における結像位置のずれの大きさとの間の関係を説明する。図８に示す模式的な配置において、被写体２００から撮像装置１４０Ａまでの距離が、被写体２００の表面と照明装置１２０Ａとの間の距離ａに等しいとする。対物レンズ１４８ｈおよび１４８ｖの焦点距離をｆ、像Ｖおよび対物レンズ１４８ｈの中心を結ぶ線分と、像Ｖおよび対物レンズ１４８ｖの中心を結ぶ線分とのなす角をΔθ、撮像素子１４２の撮像セルの配置ピッチをＰとする。距離ａが対物レンズ１４８ｈおよび１４８ｖの中心間の距離Ｄよりも十分に大きいとすれば、結像位置のずれの大きさｄは、下記の式（２）によって表される。

式（２）において、Ｄ＝１．２ｍｍ、ｆ＝１．５ｍｍ、Ｐ＝２．２ｕｍとし、ａ＝２００ｍｍとおけば、ｄ＝４．０９となる。これは、虚像Ｖが被写体２００の表面に位置すると仮定したとき、２つの視点の間で、撮像セルの４．０９個分の大きさの結像位置の差異が生じることを意味している。換言すれば、虚像Ｖが被写体２００の表面に位置すると仮定したとき、平行ニコル画像と直交ニコル画像との間の視差の大きさは、画素数に換算して４．０９画素に相当する。一方、式（２）において、虚像Ｖの実際の位置に対応するａ＝２０３．６３ｍｍを用いると、ｄ＝４．００となる。すなわち、虚像Ｖが被写体２００の表面に位置すると仮定した場合と、虚像Ｖの位置として、幾何光学に基づいて算出される位置を採用した場合との間で、０．０９画素に相当する差異が生じる。

この差異の大きさは、１画素未満であり、十分小さいものの、例えば単純に平行ニコル画像および直交ニコル画像の差分を算出する処理では、表面観察における精度を低下させる要因となってしまう。より精密な表面観察を行う観点からは、この差異の影響を低減できると有益である。

上述の動作例では、平均化平行ニコル画像５０ｔａおよび平均化直交ニコル画像６０ｔａを算出し、これらの差分から偏光差分画像７０を得ている。既に説明したように、平均化平行ニコル画像５０ｔａは、互いに異なる視点のもとで取得される２つの平行ニコル画像１０ｐおよび４０ｐを平行移動させた画像を平均することによって得られる。したがって、平均化平行ニコル画像５０ｔａの算出の過程において、虚像Ｖの本来の位置からのずれに起因する、２つの平行ニコル画像間の例えば０．０９画素相当のずれは、空間的に平均される。同様に、平行移動後の２つの直交ニコル画像２０ｃｔおよび３０ｃｔの間の０．０９画素相当のずれも平均化直交ニコル画像６０ｔａの算出の過程において空間的に平均される。すなわち、平均化偏光差分処理により、被写体２００の画像として得られる画像において、虚像Ｖの本来の位置からのずれに起因する視差の影響を目立たなくすることができる。

このように、本開示の典型的な実施形態によれば、平行ニコル画像中に現れる輝点の像に基づいて、平行ニコル画像および直交ニコル画像の取得時の視点が異なることに起因する大局的な視差をキャンセルすることができる。本開示の典型的な実施形態によれば、複数の偏光画像間の大局的な視差のキャンセルによって、取得時の視点が異なることに起因して偏光画像の間に生じる視差を、画素の数に換算して１画素未満の大きさに低減し得る。したがって、複数の偏光画像に対して平均化偏光差分処理の効果を有効に発揮させることが可能である。大局的な視差のキャンセル後に平均化偏光差分処理を適用することによって、照明光の虚像の本来の位置からのずれに起因する視差の影響を低減することが可能である。すなわち、本開示の典型的な実施形態によれば、被写体が例えば球体状であるような場合に、より精密な表面観察を行い得る。

上述した、照明制御回路１６２および画像形成回路１６４の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。なお、図３を参照して説明した動作において、偏光面が互いに異なる照明光の照射の順序は問わないし、照明光の偏光面を変えての撮像（ステップＳ１〜Ｓ４）を繰り返してもよい。

図１では、ある偏光状態の光に基づく画像信号と、他のある偏光状態の光に基づく画像信号とを１つの撮像素子１４２によって取得する構成を例示している。しかしながら、撮像装置１４０Ａ中の撮像素子１４２の数は、１つに限定されず、２以上であってもよい。図９に例示するように、複数の視点に対応させて複数の撮像素子を設けても構わない。図９に示す画像形成装置１００Ｂは、開口ＡＰｈに配置された検光子１４６ｈを透過した光を受ける第１の撮像素子１４２ａと、開口ＡＰｖに配置された検光子１４６ｖを透過した光を受ける第２の撮像素子１４２ｂとを有する。このような構成においては、撮像素子１４２ａの撮像面および撮像素子１４２ｂの撮像面の全体が、画像形成装置１００Ｂの撮像装置１４０Ｂの撮像面を形成する。撮像素子１４２ａの撮像面が、検光子１４６ｈを通過した光を受ける領域Ｒａであり、撮像素子１４２ｂの撮像面が、検光子１４６ｖを通過した光が入射する領域Ｒｂである。

このような構成によれば、検光子１４６ｈを通過した光に基づく画像信号と、検光子１４６ｖを通過した光に基づく画像信号とをそれぞれ撮像素子１４２ａおよび撮像素子１４２ｂによって個別に取得することができる。上述の平均化偏光差分処理は、このような構成においても有利に利用でき、平均化の過程で、照明光の虚像の本来の位置からのずれに起因する、２つの平行ニコル画像間のずれと、２つの直交ニコル画像間のずれとがそれぞれ空間的に平均される。さらに、平均化偏光差分処理の適用により、撮像素子１４２ａおよび撮像素子１４２ｂの間の特性の差異の影響（例えば画質の差異）も平均化することができる。

上述の実施形態では、異なる時刻に取得された偏光画像中に現れる、輝点ＢＰの像Ｂｈのパターンと像Ｂｖのパターンとに基づき、像Ｂｈの重心の座標と像Ｂｖの重心の座標とを算出し、これらの座標値を利用して複数の偏光画像の間でのＸ座標を合致させている。しかしながら、本開示の画像形成装置における処理は、上述した処理に限定されない。例えば、複数の偏光画像の間でのＸ座標およびＹ座標を合致させるような処理を実行してもよい。必要に応じ、偏光画像中に現れる、輝点ＢＰの像Ｂｈのパターンと像Ｂｖのパターンとに基づき、平行移動に代えて、あるいは、平行移動に加えて、平行移動以外の処理（例えば回転移動）を実行してもよい。また、以下に説明するように、画像形成装置の照明装置および撮像装置についても多様な改変が可能である。

（変形例１）
図１０は、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖの配置の他の例を示す。図１０に示す照明装置１２０Ｃは、円状に配置された３つの光出射部１２２ｈおよび３つの光出射部１２２ｖを含む。図１０に示す例では、光出射部１２２ｈおよび１２２ｖは、破線で示す仮想的な円Ｃの円周上において６０°ずつ回転した位置に交互に配置されている。換言すれば、この例では、光出射部１２２ｈおよび１２２ｖは、正六角形の頂点に対応する位置に配置されている。この例においても、図２を参照して説明した例と同様に、複数の光出射部１２２ｈのそれぞれの位置を結ぶ図形（ここでは正三角形）の重心と、複数の光出射部１２２ｖのそれぞれの位置を結ぶ図形（ここでは正三角形）の重心とは、一致している。この例では、複数の光出射部１２２ｈのそれぞれの位置を通る円の重心（ここでは中心）と、複数の光出射部１２２ｖのそれぞれの位置を通る円の重心（ここでは中心）とが一致している。

制御回路１６０（図１参照）は、あるタイミングにおいて３つの光出射部１２２ｈの光源１２４を選択的に点灯させ、第１の直線偏光の照射のもとで撮像装置１４０Ａによって第１の平行ニコル画像および第１の直交ニコル画像を取得する。制御回路１６０は、さらに、他のあるタイミングにおいて３つの光出射部１２２ｖの光源１２４を選択的に点灯させ、第２の直線偏光の照射のもとで撮像装置１４０Ａによって第２の平行ニコル画像および第２の直交ニコル画像を取得する。

図１１Ａは、時刻ｔにおける照明装置１２０Ｃの動作状態と、時刻ｔにおいて取得される偏光画像１１ｐおよび２１ｃとをあわせて示す。光出射部１２２ｈの光源１２４を選択的に点灯させた状態で撮像を実行すると、図１１Ａの右側に模式的に示されるように、３つの光出射部１２２ｈに対応して、第１の平行ニコル画像である偏光画像１１ｐ中に３つの輝点の像Ｂｈが現れる。したがって、像Ｂｈの各々の中心の位置を頂点とする三角形または像Ｂｈの各々の中心の位置を通る円を推定することができ、偏光画像１１ｐ中のこれらの像Ｂｈの位置から三角形または円の重心の座標を算出することができる。図１１Ａ中の太い十字は、輝点ＢＰの像Ｂｈの位置によって規定される図形（ここでは三角形または円）の重心Ｍａの位置を示している。

図１１Ｂは、時刻（ｔ＋１）における照明装置１２０Ｃの動作状態と、時刻（ｔ＋１）において取得される偏光画像３１ｃおよび４１ｐとをあわせて示す。光出射部１２２ｖの光源１２４を選択的に点灯させた状態で撮像を実行すると、図１１Ｂの右側に模式的に示されるように、３つの光出射部１２２ｖに対応して、第２の平行ニコル画像である偏光画像４１ｐ中に３つの輝点の像Ｂｖが現れる。図１１Ｂ中の太い十字は、輝点ＢＰの像Ｂｖの位置によって規定される図形（ここでは三角形または円）の重心Ｍｂの位置を示している。

この例では、円Ｃ上において１２０°ずつ回転した位置に配置された３つの光出射部１２２ｈの各々の中心、および、光出射部１２２ｈから６０°ずれた位置から１２０°ずつ回転した位置に配置された３つの光出射部１２２ｖの各々の中心は、いずれも正三角形の頂点に位置している。さらに、これらの正三角形の重心は、一致している。したがって、被写体２００の表面に対して垂直に近い方向から被写体２００を照明した場合、視差がなければ、偏光画像１１ｐ中の像Ｂｈの位置によって規定される図形の重心Ｍａおよび偏光画像４１ｐ中の像Ｂｖの位置によって規定される図形の重心Ｍｂは、一致するといってよい。したがって、図５Ａおよび図５Ｂを参照して説明したように、重心Ｍａの座標および重心Ｍｂの座標が適当な目標（例えば画像領域の中心）の座標に一致するように、偏光画像１１ｐおよび偏光画像４１ｐをそれぞれ平行移動させることにより、これらの偏光画像の間の視差をキャンセルすることが可能である。さらに、偏光画像３１ｃに偏光画像１１ｐと同様の平行移動を施し、偏光画像２１ｃに偏光画像４１ｐと同様の平行移動を施せば、４つの偏光画像の間で視差をキャンセルすることができる。このときの平行移動操作は、Ｘ方向に沿った移動に限定されず、Ｘ方向に沿った移動およびＹ方向に沿った移動の組み合わせであり得る。平行移動がなされた４つの偏光画像に、上述の平均化偏光差分処理を適用してもよい。

このように、同時に照明光を出射するように制御される光出射部の数を増加させることにより、平行ニコル画像中に現れる輝点の像の数を増加させることができる。平行ニコル画像中に現れる輝点の像の数を増加させることにより、偏光画像の平行移動に用いる座標（例えば輝点の像の位置によって規定される図形の重心の座標）の算出に利用可能な情報量をより増加させることが可能であるので、視差補正の精度向上の効果が期待できる。図１１Ａおよび図１１Ｂに示されるように、平行ニコル画像に現れる輝点の像の数が３つである場合、輝点の像の位置を頂点とする三角形の重心に代えて、内心または外心などの座標を偏光画像の平行移動に利用してもよい。あるいは、３つの輝点の像の位置から、これらの像の位置を通る円の中心を算出して偏光画像の平行移動に利用してもよい。

（変形例２）
図１２は、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖの配置のさらに他の例を示す。図１２に示す照明装置１２０Ｄは、円状に配置された５つの光出射部１２２ｈおよび５つの光出射部１２２ｖを含む。この例では、光出射部１２２ｈおよび１２２ｖは、破線で示す仮想的な円Ｃ上において３６°ずつ回転した位置に交互に配置されている。照明制御回路１６２による照明装置１２０Ｄの制御は、これまでに説明した例と同様であり得る。

図１３Ａは、時刻ｔにおける照明装置１２０Ｄの動作状態と、時刻ｔにおいて取得される偏光画像１２ｐおよび２２ｃとをあわせて示す。光出射部１２２ｈによる照明のもとで取得される偏光画像１２ｐには、５つの輝点の像Ｂｈが現れる。図１３Ａ中の太い十字は、輝点ＢＰの像Ｂｈの位置を結んだ図形（ここでは楕円）の重心Ｍａの位置を示している。図１３Ｂは、時刻（ｔ＋１）における照明装置１２０Ｄの動作状態と、時刻（ｔ＋１）において取得される偏光画像３２ｃおよび４２ｐとをあわせて示す。光出射部１２２ｖによる照明のもとで取得される偏光画像４２ｐにも、５つの輝点の像Ｂｖが現れる。図１３Ｂ中の太い十字は、輝点ＢＰの像Ｂｖの位置を結んだ図形（ここでは楕円）の重心Ｍｂの位置を示している。

平行ニコル画像中の輝点の像の数が５つである場合には、これら５つの像の位置に基づいて、例えば１つの楕円を決定することができる。第１および第２の平行ニコル画像についてそれぞれ１つの楕円を決定できれば、これらの楕円の例えば中心の座標を利用して、４つの偏光画像に平行移動を適用することができる。換言すれば、これらの楕円の例えば中心の座標を利用した視差のキャンセルが可能である。この例のように、平行ニコル画像中の輝点の像の数が５つである場合には、例えば１つの楕円を決定することができ、例えば、中心の座標以外にも、傾き角、短径および長径の間の比（楕円率とも呼ばれる）などに関する情報も視差のキャンセルに利用することが可能である。情報量がより増加することにより、より高精度な視差補正処理を実行し得る。

光出射部１２２の数および配置が上述した例に限定されないことは言うまでもない。例えば、８つの光出射部１２２を円状に４５°ずつ角度をずらして配置した構成を採用してもよい。この場合、第１の直線偏光を出射する光出射部と、第２の直線偏光を出射する光出射部とを円周に沿って交互に配置すればよい。なお、第１の直線偏光を出射する光出射部および第２の直線偏光を出射する光出射部の数がそれぞれ３以上である場合において、第１の直線偏光を出射する光出射部の中心の位置を結んだ図形および第２の直線偏光を出射する光出射部の中心の位置を結んだ図形が正多角形であることは必須ではない。第１の直線偏光を出射する光出射部の配置を結んだ図形の重心と、第２の直線偏光を出射する光出射部の配置を結んだ図形の重心とが一致していればよい。第１の直線偏光を出射する光出射部および第２の直線偏光を出射する光出射部がそれぞれ２つである場合には、第１の直線偏光を出射する光出射部の中間点と、第２の直線偏光を出射する光出射部の中間点とが一致していればよい。

（変形例３）
図１４に例示するように、複数の光出射部１２２ｈおよび複数の光出射部１２２ｖを同心円状に配置してもよい。図１４に示す照明装置１２０Ｅでは、複数の光出射部１２２ｈが、互いに近接して円Ｃ１の円周上に密に配置され、複数の光出射部１２２ｖが、互いに近接して、円Ｃ１よりも大きな半径を有する円Ｃ２の円周上に密に配置されている。この例では、光出射部１２２ｈは、円Ｃ１の円周上において３６°ずつ回転した位置に配置され、光出射部１２２ｖは、円Ｃ２の円周上において１８°ずつ回転した位置に配置されている。複数の光出射部１２２ｈは、共通の平面内に位置し、複数の光出射部１２２ｖも、共通の平面内に位置する。典型的には、複数の光出射部１２２ｈが配置された平面と、複数の光出射部１２２ｖが配置された平面とは、互いに平行である。照明制御回路１６２による照明装置１２０Ｅの制御は、これまでに説明した例と同様であり得る。

図１５Ａは、時刻ｔにおける照明装置１２０Ｅの動作状態と、時刻ｔにおいて取得される偏光画像１３ｐおよび２３ｃとをあわせて示す。光出射部１２２ｈによる照明のもとで取得される偏光画像１３ｐには、周囲よりも明るいリング状の像Ｂｒ１が現れる。図１５Ａ中の太い十字は、像Ｂｒ１によって規定される図形（ここでは円または楕円）の重心Ｍａの位置を示している。図１５Ｂは、時刻（ｔ＋１）における照明装置１２０Ｅの動作状態と、時刻（ｔ＋１）において取得される偏光画像３３ｃおよび４３ｐとをあわせて示す。光出射部１２２ｖによる照明のもとで取得される偏光画像４３ｐにも、周囲よりも明るいリング状の像Ｂｒ２が現れる。図１５Ｂ中の太い十字は、像Ｂｒ２によって規定される図形（ここでは円または楕円）の重心Ｍｂの位置を示している。

光出射部が密に配置される構成を採用すれば、例えば、連続する明るい領域によって規定される図形の重心などの座標を利用して、４つの偏光画像に平行移動を適用し、視差をキャンセルすることが可能である。この例のように、撮像時に点灯されていた光出射部の配置を反映する像によって規定される図形が円または楕円である場合には、例えば、その円または楕円の中心の座標を利用して視差のキャンセルを実行し得る。楕円の傾き角、膨らみ角などに関する情報を視差のキャンセルに利用してもよい。上述の変形例２と同様に、情報量がより増加することにより、より高精度な視差補正処理を実行し得る。

言うまでもないが、複数の光出射部１２２ｈの配置によって規定される円Ｃ１、および、複数の光出射部１２２ｖの配置によって規定される円Ｃ２のいずれが他方の外側に配置されてもよい。複数の光出射部１２２ｈの配置によって、ある円を規定でき、かつ、複数の光出射部１２２ｖの配置によって、他のある円を規定できる場合には、これらの円の中心が一致していれば、上述した各種の画像処理が適用可能である。図１４に例示される構成であれば、複数の光出射部１２２ｈのそれぞれの位置を結ぶ円Ｃ１の中心と、複数の光出射部１２２ｖのそれぞれの位置を結ぶ円Ｃ２の中心とが一致していればよい。

（変形例４）
本開示で示された装置は、撮像装置への種々の改変が可能である。図１６は、照明装置１２０Ａとともに用いられる撮像装置の他の構成例を示す。図１を参照して説明した画像形成装置１００Ａと、図１６に示す画像形成装置１００Ｆとの間の相違点は、図１６の画像形成装置１００Ｆが、撮像装置１４０Ａに代えて撮像装置１４０Ｆを有している点である。ここでは、撮像装置１４０Ｆに照明装置１２０Ａが組み合わせられているが、照明装置１２０Ａに代えて、上述の照明装置１２０Ｂ〜１２０Ｅのいずれも適用可能であることは言うまでもない。

撮像装置１４０Ｆは、検光子１４６ｈが配置された開口ＡＰｈおよび検光子１４６ｖが配置された開口ＡＰｖと、撮像素子１４２との間に、対物レンズ１４８ｓを有する。撮像装置１４０Ｆは、さらに、対物レンズ１４８ｓと撮像素子１４２との間に配置されたマイクロレンズアレイ１４４を有する。マイクロレンズアレイ１４４は、各々が撮像素子１４２の対応する撮像セルに対向する複数のマイクロレンズを含む。

この例では、検光子１４６ｈを通過した光および検光子１４６ｖを通過した光の両方が対物レンズ１４８ｓを通過する。ただし、撮像素子１４２の撮像面の前面にマイクロレンズアレイ１４４が配置されているので、検光子１４６ｈを通過した光および検光子１４６ｖを通過した光は、撮像面の異なる領域に到達する。撮像装置１４０Ｆの光学系は、例えば、検光子１４６ｈを通過した光および検光子１４６ｖを通過した光が交互に異なる撮像セル上に結像するように設計され得る。つまり、この場合、被写体２００からの戻り光は、電場ベクトルの振動方向に応じて撮像面上の互いに異なる領域に到達し、撮像装置１４０Ｆからは、視差を有する２つの偏光画像がインターリーブされた画像の信号が出力される。

出力信号を後段の画像処理によって２つの偏光画像の信号に分離することにより、検光子１４６ｈおよび１４６ｖの透過軸の方向にそれぞれ応じた、視差を有する２つの偏光画像（典型的には平行ニコル画像および直交ニコル画像）を得ることができる。照明装置１２０Ａからの照明光を第１および第２の直線偏光の間で切り替えてそれぞれの照明光の照射のもとで撮像を実行することにより、図１を参照して説明した画像形成装置１００Ａと同様に、４つの偏光画像を得ることができる。その後の視差のキャンセルなどの処理は、画像形成装置１００Ａと同様であり得る。なお、対物レンズ１４８ｓは、検光子１４６ｈおよび１４６ｖの前面側および背面側のいずれに配置されていてもよい。

（第２の実施形態）
図１７は、本開示の第２の実施形態による画像形成装置の例示的な構成を示す。図１７は、被写体２００側から見た、第２の実施形態による画像形成装置１００Ｇが有する照明装置および撮像装置を模式的に示す。画像形成装置１００Ｇは、図１０を参照して説明した照明装置１２０Ｃと、撮像装置１４０Ｇとを含む。照明装置１２０Ｃに代えて、上述の照明装置１２０Ａ、１２０Ｂ、１２０Ｄおよび１２０Ｅのいずれも適用可能である。なお、図１７では、制御回路１６０の図示が省略されている。

撮像装置１４０Ｇは、４つの開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２を有する。この例では、開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２は、２行２列のマトリクス状の配置を有する。開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２は、典型的には、マトリクス状の配置の行方向および列方向において互いに隣接する２つの開口の中心間距離が全て同じとなるように配置されている。この例では、４つの開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２は、共通の平面内に位置する。また、光出射部１２２ｈおよび光出射部１２２ｖも、共通の平面内に位置する。典型的には、４つの開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２が配置された平面と、光出射部１２２ｈおよび光出射部１２２ｖが配置された平面とは、互いに平行である。

図１８は、撮像装置１４０Ｇの４つの開口と、各開口に配置される検光子の透過軸の方向との関係を示す。図１８中の「×」は、マトリクス状の配置の行方向および列方向において隣接する２つの開口の中心を結ぶ線分の中間点を示している。

開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２には、検光子が配置される。開口ＡＰｖ１およびＡＰｖ２には、開口ＡＰｈ１およびＡＰｈ２に配置される検光子の透過軸の方向とは異なる方向の透過軸を有する検光子が配置される。図１８に示す例では、開口ＡＰｈ１およびＡＰｈ２には、透過軸の方向が第１方向（ここでは紙面の左右方向）に平行な検光子１４６ｈおよび１４７ｈがそれぞれ配置されている。開口ＡＰｖ１およびＡＰｖ２には、透過軸の方向が第２方向（ここでは紙面の上下方向）に平行な検光子１４６ｖおよび１４７ｖがそれぞれ配置されている。検光子（ここでは検光子１４６ｈおよび検光子１４６ｖ）は、典型的には、マトリクス状の配置の行方向および列方向において互いに隣接する２つの開口の間で透過軸の方向が互いに異なるように、４つの開口に配置される。

検光子１４６ｈを通過した光、検光子１４７ｈを通過した光、検光子１４６ｖを通過した光および検光子１４７ｖを通過した光は、撮像面の互いに異なる位置に結像する。したがって、撮像装置１４０Ｇを用いた場合、電場ベクトルの振動方向が例えば紙面の左右方向に平行である直線偏光の照明のもとで撮像を実行すると、互いに視点の異なる、２つの平行ニコル画像および２つの直交ニコル画像を一度に取得することが可能である。なお、撮像装置１４０Ｇが４つの開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２を有することに対応して、撮像装置１４０Ｇに開口ＡＰｈ１、ＡＰｈ２、ＡＰｖ１およびＡＰｖ２のそれぞれに対応する４つの撮像素子を設けてもよい。

第１の実施形態では、照明光の偏光状態を固定した状態において、視差を有する平行ニコル画像および直交ニコル画像の組が１組取得される。これに対し、ここで説明する実施形態では、照明光の偏光状態を固定した状態において、視差を有する平行ニコル画像および直交ニコル画像の複数の対が取得される。このような構成によれば、以下に説明するような利点が得られる。

第１に、多眼カメラと同様の効果を得ることが可能である。図５Ａ、図５Ｂおよび図６を参照して既に説明したように、被写体２００の画像としての偏光差分画像７０は、視差を有する平行ニコル画像および直交ニコル画像の組から生成される平均化平行ニコル画像５０ｔａおよび平均化直交ニコル画像６０ｔａの差分に基づいて生成される。そのため、偏光差分画像７０は、基本的に、開口ＡＰｈおよび開口Ａｐｖの概ね中間の位置を視点とする画像に相当するといってよい。換言すれば、開口ＡＰｈおよび開口Ａｐｖの数が１つずつであるような構成においては、被写体２００の画像として得られる画像は、単一の視点からの１つの画像である。

ここでは、取得される偏光画像を平行移動させることによって、複数の偏光画像間の視差をキャンセルしている。そのため、図５Ｂを参照して説明したように、視差のキャンセルの過程において、典型的には、被写体２００の画像のデータが存在しないブランク領域ＢＫが生じ得る。換言すれば、観測視野が狭くなってしまう。

他方、図１７および図１８に例示される構成においては、互いに透過軸の方向が異なる検光子が配置された開口の組を、マトリクス状の配置の行方向および列方向において２つずつ形成することができる。したがって、第１の実施形態と比較して撮像の回数を増加させることなしに、互いに透過軸の方向が異なる検光子が配置された開口の中間点Ｍ６６、Ｍ６７、Ｍ７６およびＭ７７の位置を視点とする４つの偏光差分画像７０を構築することができる。互いに異なる視点から見たときの被写体２００の画像に相当する４つの偏光差分画像７０を利用して、例えば、視差のキャンセルによって生じたブランク領域ＢＫの画像データを補って、より広い範囲の被写体２００の画像を構築することができる。例えば、瞳孔のように小さな被写体を狙った撮像をより容易に実行し得る。

第２に、輝点の像自体の座標を利用することが可能である。透過軸の方向が共通する検光子が配置された複数の開口を有する構成によれば、透過軸の方向が共通する検光子（検光子１４６ｈおよび１４７ｈ、または、検光子１４６ｖおよび１４７ｖ）を通過した光に基づく複数の平行ニコル画像が得られる。これらの平行ニコル画像の間には、視差が存在する。しかしながら、これらの平行ニコル画像中に現れる輝点の像のパターンは、これらの画像間で一致している。したがって、平行ニコル画像中の輝点の像の配置によって規定される重心の座標に代えて、輝点の像自体の座標を画像処理に利用することが可能である。

（変形例４）
図１９は、本開示の第２の実施形態による画像形成装置の変形例を示す。図１９に示す画像形成装置１００Ｈの撮像装置１４０Ｈは、マトリクス状に配置された９つの開口を有している。図１９において模式的に示されるように、この例では、マトリクス状の配置の行方向および列方向において開口ＡＰｈおよびＡＰｖが交互に並ぶように、５つの開口ＡＰｈと、４つの開口ＡＰｖとが配置されている。

図２０は、図１９に示す撮像装置１４０Ｈを拡大して示す。図２０中の「×」は、マトリクス状の配置の行方向および列方向において隣接する２つの開口の中心を結ぶ線分の中間点を示している。

図１７および図１８を参照して説明した例と同様に、この例においても、検光子（ここでは検光子１４６ｈおよび検光子１４６ｖ）は、マトリクス状の配置の行方向および列方向において互いに隣接する２つの開口の間で透過軸の方向が互いに異なるように配置されている。このような構成によれば、互いに透過軸の方向が異なる検光子が配置された開口の組を、マトリクス状の配置の行方向および列方向において合計１２個形成することができる。つまり、この例では、互いに透過軸の方向が異なる検光子が配置された開口の中間点Ｍｈｖの位置を視点とする合計１２枚の偏光差分画像７０を構築することができ、例えば、より視野を拡大することが可能である。このように、互いに透過軸の方向が異なる検光子が配置された開口の数をさらに増加させてもよい。

以上に説明したように、本開示の典型的な実施形態では、照明光の偏光状態を変えて撮像を実行し、各照明光の照射のもとで異なる視点から平行ニコル画像および直交ニコル画像を取得する。さらに、偏光状態が異なる照明光の照射のもとで取得された２つの平行ニコル画像中の輝点の像の位置に基づいて、取得された画像の視差をキャンセルする。例えば、視差のキャンセルされた２つの平行ニコル画像および２つの直交ニコル画像から、偏光差分画像を生成することができる。偏光差分画像は、透明な物体に付着した異物および透明な物体の表面の状態の検出に有利に利用することができる。

本開示の実施形態によれば、偏光撮像において視差の影響を抑制することが可能である。本開示の画像形成装置は、透明な物体に付着した異物および透明な物体の表面の状態（凹凸、傷など）の検出に利用可能である。特に、人または動物の眼球、錠剤の透明パッケージなど、透明または半透明かつ滑らかな表面を有し、輝度に基づく通常の撮像によっては表面の状態の観察が困難な被写体の観察に有利に用いることができる。本開示の画像形成装置は、製品の外観検査などのほか、目のセンシングによる、人、動物（家畜、ペット）などの健康状態の把握、角膜の異常の検出などに適用し得る。

１００Ａ、１００Ｂ 画像形成装置
１００Ｆ〜１００Ｈ 画像形成装置
１２０Ａ〜１２０Ｅ 照明装置
１２２、１２２ｈ、１２２ｖ 光出射部
１２４ 光源
１２６ 偏光子
１４０Ａ、１４０Ｂ 撮像装置
１４０Ｆ〜１４０Ｈ 撮像装置
１４２、１４２ａ、１４２ｂ 撮像素子
１４６ｈ、１４６ｖ 検光子
１４７ｈ、１４７ｖ 検光子
１４８ｈ、１４８ｖ 対物レンズ
１６０ 制御回路
１６２ 照明制御回路
１６４ 画像形成回路
１６４ａ 視差補正部
１６４ｂ 画像処理部
ＡＰｈ、ＡＰｈ１、ＡＰｈ２ 開口
ＡＰｖ、ＡＰｖ１、ＡＰｖ２ 開口
Ｍａ、Ｍｂ 輝点の像の重心
Ｒａ 撮像面の第１領域
Ｒｂ 撮像面の第２領域

Claims (6)

1. 第１方向に偏光した状態にある第１照明光で被写体を照明する複数の第１光出射部と、
   前記第１方向と交差する第２方向に偏光した状態にある第２照明光で前記被写体を照明する複数の第２光出射部と、
   前記第１方向に偏光した状態にある第１反射光を受ける第１領域および前記第２方向に偏光した状態にある第２反射光を受ける第２領域を含む撮像面を有する撮像装置と、
   前記第１照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第１反射光に関する第１偏光画像および前記第２反射光に関する第２偏光画像、ならびに、前記第２照明光で前記被写体が照明されているときに前記撮像装置によって得られる、前記第１反射光に関する第３偏光画像および前記第２反射光に関する第４偏光画像に基づいて前記被写体の画像を形成する画像形成回路と
   を備え、
   前記複数の第１光出射部のそれぞれの位置を結んだ図形の重心および前記複数の第２光出射部のそれぞれの位置を結んだ図形の重心は、一致しており、
   前記画像形成回路は、前記第１照明光の前記被写体での鏡面反射に起因して前記第１偏光画像に現れる複数の第１輝点の像および前記第２照明光の前記被写体での鏡面反射に起因して前記第４偏光画像に現れる複数の第２輝点の像に基づいて平行移動された第１偏光画像、第２偏光画像、第３偏光画像および第４偏光画像から前記被写体の画像を形成し、
   前記画像形成回路は、平行移動がなされた前記第１偏光画像および前記第４偏光画像を平均化した第１平均化画像と、平行移動がなされた前記第２偏光画像および前記第３偏光画像を平均化した第２平均化画像との間の差分を求めることによって前記被写体の画像を形成する、
   画像形成装置。
2. 前記複数の第１光出射部および前記複数の第２光出射部は、円状に配置されており、
   前記複数の第１光出射部のそれぞれの位置を通る円の中心と、前記複数の第２光出射部のそれぞれの位置を通る円の中心とは、一致している、請求項１に記載の画像形成装置。
3. 前記被写体側から見たとき、前記複数の第１光出射部および前記複数の第２光出射部は、前記撮像装置を取り囲んでいる、請求項１または２に記載の画像形成装置。
4. 照明制御回路をさらに備え、
   前記複数の第１光出射部のぞれぞれは、第１光源を含み、
   前記複数の第２光出射部のぞれぞれは、第２光源を含み、
   前記照明制御回路は、前記第１光源と前記第２光源とを異なるタイミングで点灯させる、請求項１から３のいずれかに記載の画像形成装置。
5. 前記画像形成回路は、
   前記第１偏光画像中の前記複数の第１輝点の像の重心が前記第１偏光画像の中央に位置するように前記第１偏光画像を平行移動させ、かつ、前記第１偏光画像に対する平行移動と同じ移動方向および移動量で前記第３偏光画像を平行移動させ、
   前記第４偏光画像中の前記複数の第２輝点の像の重心が前記第４偏光画像の中央に位置するように前記第４偏光画像を平行移動させ、かつ、前記第４偏光画像に対する平行移動と同じ移動方向および移動量で前記第２偏光画像を平行移動させる、請求項１から４のいずれかに記載の画像形成装置。
6. 前記第１領域を含む１以上の第１撮像素子および前記第２領域を含む１以上の第２撮像素子を有する、請求項１から５のいずれかに記載の画像形成装置。

Images