JP5450826B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像素子によって取得される２次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。

半透明の粘膜で覆われた生体の臓器表面に対して照明を照射して撮像する内視鏡の分野では、表面からの正反射（鏡面反射）を回避しつつ、表面のテクスチャや表面下の血管画像などを確認する必要がある。そのために偏光照明と偏光撮像を用いた偏光内視鏡が提案されている。例えば、特定の偏光成分の光を物体に照射する偏光照射部と、受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が特許文献１に開示されている。この内視鏡の受光部は、物体からの戻り光における前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光を受光する。特許文献１に開示されている偏光撮像部は、ＲＧＢのカラーモザイクと、偏光透過軸が異なる３つ方向を向くように配列された偏光子とを備えている。特許文献１には、特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の２次元分布を生成することができると記載されている。

特開２００９−２４６７７０号公報 特開平１１−３１３２４２号公報 米国特許出願公開第２００９／００７９９８２号 特許第４２３５２５２号公報 特開２００７−８６７２０号公報

Ｎｉｃｏｌａｓ Ｌｅｆａｕｄｅｕｘ， ｅｔ．ａｌ ："Ｃｏｍｐａｃｔ ａｎｄ ｒｏｂｕｓｔ ｌｉｎｅａｒ Ｓｔｏｋｅｓ ｐｏｌａｒｉｚａｔｉｏｎ ｃａｍｅｒａ" ，Ｐｒｏｃ． ＳＰＩＥ， Ｖｏｌ． ６９７２， ６９７２０Ｂ， Ｐｏｌａｒｉｚａｔｉｏｎ： Ｍｅａｓｕｒｅｍｅｎｔ， Ａｎａｌｙｓｉｓ， ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ ＶＩＩＩ（２００８）;

本発明者らの実験によると、引用文献１に開示されているような偏光撮像部では、１画素毎の正しい偏光情報を得ることができない。また、被写体の空間周波数との干渉によって偏光画像にモアレ発生が著しく、さらにカラーモザイクの一部が偏光モザイク化されるため、再現されるフルカラー画像の画質も劣化する。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、画素単位で偏光情報を得ることができ、その偏光情報に基づいて１画素内における被写体表面の凹凸情報を取得する画像処理装置を提供することにある。

本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する偏光撮像部であって、前記直線偏光の各々によって前記被写体が照射されている間に各画素で偏光透過軸の方向を順次３つ以上変化させることにより得られた複数の偏光画像を取得する偏光撮像部と、前記偏光撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、前記輝度最大角画像および前記輝度変調度画像に基づいて、１画素内における前記被写体の表面に存在するＶ字グルーブの方位角分布を推定する分布推定部とを備える。

ある実施形態において、前記輝度値は、前記直線偏光の各々によって前記被写体が照射されている間に各画素で前記偏光透過軸の方向を順次３つ以上変化させることによって得られた複数の偏光輝度を画素単位で加算平均した値であり、前記偏光照明部の直線偏光の前記偏光面の角度に依存して変化する。

ある実施形態において、各画素について前記偏光照明部の偏光面の角度ごとに、偏光撮像部の前記偏光輝度が最大となる前記偏光透過軸の方向によって定義される偏光最大角画像、および各画素について前記偏光透過軸の方向の変化にともなう前記偏光輝度の変動の振幅と偏光輝度平均値との比率によって定義される偏光度画像を生成する偏光処理部を更に備え、前記分布推定部は、前記偏光最大角画像および前記偏光度画像に基づいて前記方位角分布の推定精度を高める。

ある実施形態において、前記分布推定部は、前記変動輝度処理部の出力に基づいて、前記Ｖ字グルーブの方位角分布を示す関数のフーリエ変換における０次および２次の展開係数を推定する第１の係数推定部と、前記偏光処理部の出力に基づいて、前記関数の前記フーリエ変換における４次の展開係数を推定する第２の係数推定部とを含む。

本発明の他の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光のうちの少なくとも１つによって前記被写体が照射されているときに、順次、前記被写体を撮像する偏光撮像部であって、前記直線偏光のうちの少なくとも１つによって前記被写体が照射されている間に各画素で偏光透過軸の方向を順次を３つ以上変化させることにより得られた複数の偏光画像を取得する偏光撮像部と、前記偏光撮像部から出力される画素信号に基づいて前記被写体からの反射光画像を表面散乱画像と内部散乱画像とに分離する変動輝度処理部とを備える。

本発明の画像処理装置では、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、３種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する偏光撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に輝度最大角画像、輝度変調度画像に相当する情報を取得することができる。そして、これらの画像から１画素内におけるグルーブの方位角分布を推定することができる。

本発明の画像処理装置の構成例を示す図 偏光照明の偏光状態を示す図 本発明の実施形態１における画像処理装置の構成を示す図 偏光面制御素子の動作を示す図 偏光面角度の定義図 本発明の実施形態１で使用され得る撮像素子の構成を示す断面図 本発明の実施形態１で使用され得る撮像素子の構成を示す斜視図 本発明の実施形態１で使用され得る撮像素子の他の構成を示す断面図 本発明の実施形態１で使用され得る撮像素子の更に他の構成を示す断面図 カラーフィルタを備える偏光撮像素子を示す斜視図 偏光撮像素子の時間的な動作を示す図 照明光の偏光面回転と撮像の偏光面回転の時間的制御タイミングを示す図 照明光の偏光面回転と撮像の偏光面回転の別の時間的制御タイミングを示す図 （ａ）は、グルーブに複数画素が含まれる図、（ｂ）は、１画素に複数グルーブが含まれる図 １画素内のグルーブ分布関数の説明図 偏光照明の偏光面回転による輝度パターン画像の変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す模式図 （ａ）および（ｂ）は、入射光が被写体表面に対して直上から入射して１回反射をする図 横軸を入射角とした際のＰ波とＳ波のエネルギーのフレネル反射率を示すグラフ 偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ 図１４Ａのグラフに示すデータの取得に用いたサンプルの表面形状を示す写真を示す図 図１４Ｂの表面形状を模式的に表す図 （ａ）は、偏光照明の偏光方向を示す図、（ｂ）は偏光照明による輝度変動の様子を示す図 （ａ）および（ｂ）は多重反射による偏光反射光の輝度変動の説明図 （ａ）、（ｂ）、（ｃ）は、被写体表面のグルーブを直上から見た図 グルーブに偏光がΨＩ＝０°にて入射する場合の図 図１８Ａの状態でグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 グルーブに対して非偏光が入射しグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 本発明の実施形態１に関する画像処理プロセッサの構成図 ４種類の偏光照明に対応する偏光輝度サンプルから余弦関数フィッティングをする図 ４種類の偏光観測角に対応する偏光輝度サンプルから余弦関数フィッティングをする図 本発明の実施形態による表面グルーブの１画素内方位角分布の結果を示す図 本発明の実施形態による表面グルーブの１画素内方位角分布の結果を示す図 星型グルーブ被写体例を示す図 図２５Ａを模式的に表現した図 本発明の実施形態２に関する画像処理プロセッサの構成図 本発明の実施形態３の構成を示す図 本発明の実施形態３の外観を示す図

本発明による画像処理装置の例は、図１Ａに示すように、偏光照明部１２０と、偏光撮像部１４０と、変動輝度処理部１６０と、分布推定部１７０とを備えている。変動輝度処理部１６０および分布推定部１７０は、画像処理部１５０に含まれている。

偏光照明部１２０は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体１００に照射する。本発明が撮像の対象とする被写体１００の表面には、複数の溝（以下、「グルーブ」と称する）１００ａが存在する。被写体１００が例えば生体の臓器である場合には、被写体１００の表面には複数の微細なグルーブが観察される。直線偏光は、被写体１００の表面に存在するグルーブ１００ａによって反射され、偏光撮像部１４０に入射する。偏光撮像部１４０は、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像する。この偏光撮像部１４０は、直線偏光の各々によって被写体１００が照射されている間に各画素で偏光透過軸の方向を順次３つ以上変化させることにより複数の偏光画像を取得する。ここで、「各画素で偏光透過軸の方向を順次３つ以上変化させる」ということの意味は、個々の画素に入射する光の偏光方向が、時間の経過に伴って３つ以上の方向に変化することを意味する。後述するように、すべての画素で偏光透過軸の方向が一致していてもよいし、また、異なっていてもよい。重要な点は、ある方向に偏光した光で被写体１００が照らされている間に、個々の画素の前に位置する偏光子の偏光透過軸が３つ以上の方位をとるように変化することにある。

図１Ｂは、偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている３つの偏光状態１０、１２、１４は、それぞれ、角度の異なる偏光面を有している。図１Ｂの各偏光状態１０、１２、１４を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。

図１Ｂには、右手系のＸＹＺ座標を示している。本明細書では、偏光撮像部１４０によって取得される画像面内にＸ軸およびＹ軸を設定し、Ｚ軸の向きを視線（光軸）方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はＸＹ平面に平行である。このため、偏光面の角度（ΨＩ）は、Ｘ軸の正方向に対して偏光方向（電場ベクトルの振動方向）が形成する角度によって規定される。この角度ΨＩについては、後に図３を参照して、より詳しく説明する。

本発明では、偏光照明部１２０から、偏光面の角度が異なる３種類以上の直線偏光が、順次、被写体１００に照射され、偏光撮像部１４０が、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像する。

再び図１Ａを参照する。変動輝度処理部１６０は、偏光撮像部１４０から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標（ｘ、ｙ）によって特定される画素Ｐ（ｘ、ｙ）の輝度値が、角度４５°の偏光面を有する直線偏光によって被写体１００が照射されたときに最大になる場合、その画素Ｐ（ｘ、ｙ）に対して、輝度最大角である４５°の値が設定される。１つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば１つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。

図１Ａに示される分布推定部１７０は、輝度最大角画像および輝度変調度画像に基づいて、１画素内における被写体１００の表面に存在するＶ字グルーブ１００ａの方位角分布を推定する。Ｖ字グルーブ１００ａを真正面から観察するとき、Ｖ字グルーブ１００ａ内の傾斜面の法線の方位角は、Ｖ字グルーブ１００ａが延びる方向に垂直である。本発明における分布推定部１７０は、１画素内に１つまたは複数の微細なＶ字グルーブ１００ａが存在する場合、画素ごとにＶ字グルーブ１００ａの方位角がどのように分布しているかを推定することができる。本発明における分布推定部１７０が、どのような原理に基づいてＶ字グルーブ１００ａの方位角分布を推定するかについては、後に詳しく説明する。

（実施形態１）
図１Ｃは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

本画像処理装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像センサを有する先端部１１３、ライトガイド１０５と映像信号線１１１を有する挿入部１０３とを有している。内視鏡１０１の挿入部１０３は、図示されているようにも左右に長く、フレキシブルに曲がり得る構造を有している。ライドガイド１０６は曲がった状態でも光を伝達することができる。なお、内視鏡には、本実施形態のようにフレキシブルな挿入部１０３を有する軟性鏡と、フレキシブルではない挿入部を有す硬性鏡が存在する。内視鏡のもう１つのタイプである硬性鏡は、挿入部１０３はリレー光学系などを用いて後方に位置する撮像素子へ戻り光を導く構造を有している。本発明は、軟性鏡と硬性鏡のいずれに対しても適用可能である。

制御装置１０２には光源１０４と画像処理プロセッサ３００２と同期装置１１２とが含まれる。光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。偏光面制御素子１０６は、例えば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。

偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献２、３ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生し、ライトガイド１０５を通過した非偏光の光を、任意の角度に偏光面を有する直線偏光へと変換する。

同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子３００１に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

被写体からの戻り光は、撮影レンズ１０９を通って撮像素子３００１上に結像する。この撮像素子３００１の構成および動作は、後述する。撮像素子３００１から出力される撮像映像の信号は映像信号線１１１を経由して画像プロセッサ３００２に到達する。 本実施形態では、光源１０４、ライトガイド１０５、偏光面制御素子１０６、および照明レンズ１０７によって図１Ａの偏光照明部１２０が実現されている。また、撮影レンズ１０９および撮像素子３００１によって図１Ａの偏光撮像部１４０が実現されている。図１Ａの変動輝度処理部１６０および分布推定部１７０は、画像プロセッサ３００２によって実現されている。

次に、図２を参照して、偏光面制御素子１０６の動作を説明する。

偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像し、偏光面が１３５°状態２０６で第４の画像を撮像する。この角度は、４５°以外でもよく、１８０°を３以上の整数で除算した角度であればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。

偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０〜１００（μｓｅｃ）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、４方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。

図１Ｃから明らかなように、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第４の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

図３は、偏光照明における偏光面の角度ΨＩの定義を示す図である。前述したように、被写体に向かってＸ−Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸負向きを０°としてＹ軸正向きを正向に定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。

図４Ａは偏光撮像素子３００１における主要部の断面構成を示す図であり、図４Ｂは、偏光撮像素子３００１における主要部の構成を示す斜視図である。

この偏光撮像素子３００１は、光入射側に位置する偏光面変換素子３１０１と、偏光面変換素子３１０１を透過した光を受ける輝度撮像素子３１０２とを備えている。輝度撮像素子３１０２は、撮像によって輝度情報を取得するイメージセンサ（ＣＣＤまたはＭＯＳセンサ）である。この偏光撮像素子３００１では、従来のパターン偏光子モザイク型の偏光撮像素子とは異なり、輝度撮像素子３１０２の１画素毎に偏光面変換素子３１０１の１画素が対応している。より詳細には、偏光面変換素子３１０１は、液晶層と、この液晶層を挟み込む電極とを有しており、電極に印加される電圧に応じて、液晶層の光学的性質を制御することができる。このような偏光面変換素子３１０１の各画素は、他の画素から独立して任意の方向に偏光した直線偏光光を透過するように設定され得る。しかし、本実施形態の偏光面変換素子３１０１は、すべての画素で同一の方向に偏光透過面を有するように動作する。後に詳しく説明するように、偏光面変換素子３１０１の働きにより、輝度撮像素子の各画素に入射する光の偏光方向を逐次変化させることができる。したがって、本実施形態では、偏光情報を計算する際に、周囲画素値を使う空間的な画像処理操作を必要としない。このため、偏光画像の解像度は、輝度撮像素子３１０２が有する解像度を維持することができる。

偏光面変換素子３１０１は、信号印加制御部３１０３からの信号印加の有無により、偏光の透過方向を０度、４５度、９０度、１３５度のように時間的に４方向に高速に変化させることができる。これによって本実施形態の変更撮像素子３００１は、１画素毎に偏光度や偏光角を取得できる。

本実施形態においては、偏光面変換素子３１０１と輝度撮像素子３１０２との距離Ｄｐｓは、ほぼゼロである。このため個々の画素の直前に位置する偏光子の偏光透過軸が３つ以上の方位をとって変化した場合、偏光素子と撮像素子の間に画素の位置ずれなどが発生せず、良好な偏光情報を取得できる。このため、精細な１画素内での超解像機能を有効に生かすことができる。

図５Ａおよび図５Ｂは、偏光撮像素子３００１の別の構成を示す図である。この構成では、カラー画像と偏光画像とを同時に１画素毎に取得できる。図５Ａの構成では、入射光がまずカラーフィルタ３２０１を通過する。次に偏光面変換素子３１０１を通過してから輝度撮像素子３１０２に到達する。図５Ｂの構成では、入射光がまず偏光面変換素子３１０１を通過する。次にカラーフィルタ３２０１を通過して輝度撮像素子３１０２に到達する。

図６は、図５Ａの構成を更に詳しく示す斜視図である。カラーフィルタ３２０１と偏光面変換素子３１０１との間の距離Ｄｃｐと、偏光面変換素子３１０１と輝度撮像素子３１０２との間の距離Ｄｃｓとは、いずれも、ほぼゼロである。

図７と図８Ａはこの偏光撮像素子の動作を示す図である。図７は、撮像素子の１画素ごとに異なるφの４方向に関する偏光輝度が取得できることを示す。すなわち輝度撮像素子３１０２の画素３３０５に入射する光が偏光面変換素子３１０１の対応画素を透過したとき、その光の偏光状態は、状態３３０１から状態３３０４まで変化する。すなわち、偏光面変換素子３１０１の対応画素では、異なる方向φ＝０°、４５°、９０°、１３５°に透過偏光面が回転する。このため、それぞれの方向の偏光輝度が時間的に逐次的に観測される。別の画素３３０６においては、また別に４方向に偏光輝度が観測される。画素３３０５と画素３３０６の観測角度は、おのおのが全く独立に動いてかまわないが、ここでは全ての画素において透過偏光面は同一の位相で回転するものとする。

図８Ａは、図１Ｃに示す同期装置１１２によって、偏光面制御素子１０６による偏光面が回転された照明光と偏光撮像素子の動作とが時間的な同期をとって動作するタイミングを示す図である。図における横軸が時間の経過を示している。図８Ａに示す例では、まず、照明の偏光面の角度ΨＩが０°の状態において、偏光撮像素子３００１の偏光面の角度φが０°,４５°,９０°,１３５°の順序で高速に回転しながら撮像が実施される。次に照明の偏光面が、ΨＩ＝４５°に回転して、偏光撮像素子３００１の動作を繰り返す。この繰り返しを、ΨＩ＝９０°、ΨＩ＝１３５°まで実施することによって合計１６枚の撮像が行われて１セットのシーケンスが終了する。１つのΨＩの照明を被写体に照射して、１つの偏光観測角φにて観測する１枚の画像撮像にかかる時間をＴとすると、１６Ｔの時間がかかる。このため、偏光撮像素子３００１は高感度で高速撮像が可能なものを選定し、照明の照度も十分高いことが望ましい。

偏光撮像のパターンは、図８Ａに示す例に限定されない。例えば、図８Ｂに示す例のように１種類のφについて照明側の回転角度ΨＩを全種類に回転させるタイミングで制御してもかまわない。また両者が入り混じるような別のタイミングチャートによる制御をしても構わない。

φが４回回転することによる偏光輝度の変動は実施形態１における輝度変動と同様に三角関数でフィッティング処理される。処理に関する詳細は後述する。

次に、被写体１００の表面に存在する複数のグルーブの１画素内における方位角分布を推定する方法（１画素内の超解像）を説明する。

図９（ａ）および図９（ｂ）は、それぞれ、被写体上の相対的に大きなグルーブを上から見た図、および、１画素よりも小さな複数のグルーブを示す図である。図９（ａ）に示される被写体の像では、１個のグルーブ３３０１が１つの画素３３０２よりも大きい。一方、図９（ｂ）に示される被写体の像では、１画素内に微細なグルーブが多数存在している。この場合、画素単位の輝度観測では各グルーブを解像できない。

図１０は、１画素内に存在するグルーブの分布状態を示す図である。グルーブの方向はその溝の主軸に直交する方向を規定する角度Ψで定義するものとする。図１０の中央には、Ψ方向でのヒストグラム頻度を動径の長さとする極座標で分布関数Ｄ（Ψ）が表示されている。すなわち、図１０に示される矢印３５０２の角度Ψの関数として、原点から矢印３５０２の先端３５０３までの距離がＤ（Ψ）で表される。１つ画素内に含まれるグルーブの３３０１の方向がランダムであり、角度Ψによらない場合、分布関数Ｄ（Ψ）は円を描くことになる。分布関数Ｄ（Ψ）の周囲に記載されている８個のグルーブ３３０１ａ、３３０１ｂ、・・・、３３０１ｈは、それぞれ、角度Ψが０°、４５°、・・・、３２５°のグルーブを模式的に表している。

分布関数Ｄ（Ψ）を推定することが、被写体の表面におけるグルーブの１画素内における方位角分布を推定することである。

分布関数Ｄ（Ψ）は、以下の式１を満足する。

なお、偏光観測においては１８０度が基本周期となるため、推定できるグルーブ方向も周期はπとなる。この分布関数のΨに関するフーリエ級数展開を行うと、以下のようになる。

ここで、係数ａ０、ａ１、ｂ１、ａ２、ｂ２、・・・は、係数である。分布関数Ｄ（Ψ）を決定するには、これらの係数を求めればよい。

次に偏光照明の偏光面を回転した時の輝度の変動について説明する。以下の説明では、被写体は生体臓器粘膜ではなくプラスチックや木など一般的な材質の物体を例にとって説明している。これは、粘膜表面での反射が基本的には鏡面反射であるためであり、誘電体表面における鏡面反射は被写体の材質に依存することなく物理現象として同一とみなせるためである。

図１１Ａおよび図１１Ｂは、本発明者らが表面の滑らかな陶器製コップと表面に微細凹凸を有する木の板を被写体として偏光撮像をした画像を示す。図１１Ａの左側に位置する２つの画像は、入射偏光面角度ΨＩ＝０°の偏光照明で被写体が照射されているときの輝度画像である。一方、図１１Ａの右側に位置する２つの画像は、入射偏光面角度ΨＩ＝９０°の偏光照明で被写体が照射されているときの輝度画像である。

図１１Ｂの４つの画像は、それぞれ、図１１Ａの４つの画像を模式的に描いた図である。図１１Ａおよび図１１Ｂの上段に位置する画像から明らかなように、表面が滑らかな陶器では、偏光照明の偏光を変化させても輝度パターンの変化はあまり観測されなかった。しかし、多くの凹凸が存在する木の板では、図１１Ａおよび図１１Ｂの下段に位置する画像から明らかなように、偏光照明の偏光面の角度ΨＩを変化させると、観測される輝度画像に大きな変化があることが判明した。このような差は、以下のように説明される。

図１２は、表面８０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図１２（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は入射光とほぼ同一である。これは以下の理由による。

図１３は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はＮＮ＝１．８を想定した。垂直入射とみなせる０°〜１５°付近の入射角度は、範囲９０１に相当する。グラフから読み取れるように、この入射角範囲９０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４〜２．０の自然物体において、広く成立する。

以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが１回反射して観測される場合、偏光照明の偏光面を角度ΨＩだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Ｙは不変となる。

図１４Ａは、木の板の表面に入射する光（偏光照明）の偏光面を変化させながら輝度画像を撮影した場合における同一画素の輝度変動を示すグラフである。図１４Ｂは、撮像対象となる木の板の輝度画像（非偏光照明時の輝度画像）である。図１４Ｃは、図１４Ｂに示される木の板の表面の凹凸を模式的に示した図である。

図１５は、偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られた輝度画像の特定の画素における輝度Ｙの変動を示している。このグラフから、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期的に変動を示すことがわかる。木の板の表面は滑らかではなく多くのグルーブが存在し、そこで入射光が多重反射する。そのため輝度Ｙは、照明の偏光角度ΨＩに依存して変動を起こすのだと考えられる。この理由を詳述する。

図１６は、表面にグルーブ１２０１が形成され、その斜面で２回の多重反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面、例えば布、木材、人の肌、皮など様々な自然物で発生していると考えられる。１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できるので２回反射のみを考える。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定できる。

このうち、１）と２）は最初の反射によって拡散光として非偏光となり、あらゆる方向に反射する。しかし実験によると被写体が着色しており輝度が暗い場合はこの１回目の拡散反射成分は比較的弱い。これは被写体の内部への光の浸透が少ないことを意味し、フレネル理論によればそれと相補的な３）４）の鏡面反射の現象が優位となる。また、３）のように２回目を拡散反射と考えた場合には、その入射と反射の幾何学的関係から、当然、４）も同時に発生していることがわかる。この場合には、偏光度、輝度のいずれの基準でも、鏡面反射が主たる輝度成分となる。

以上から、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよい。グルーブの斜面の表面は完全に滑らかではなく、照明光も完全な平行光ではない場合には、鏡面反射といえども理想的な鏡面とは異なる。このため実験によれば正反射条件を完全に満たさない位置でも、この２回反射は比較的容易に観測、撮像でき、その偏光特性は鏡面反射で起因するものであることが確認できた。

次に図１６（ａ）、（ｂ）を参照する。図１６（ａ）および図１６（ｂ）には、それぞれ、被写体の表面に存在するグルーブ１２０１の一部が示されている。グルーブ１２０１の少なくとも一部は、被写体表面上において、一方向に延長している。この延長方向を「主軸方向」と称する。現実のグルーブ１２０１は、直線的に延びている必要はなく、曲線的に延びていてもよい。曲線的に延びているグルーブであっても、その一部は、近似的に主軸方向に延びる直線的なグルーブとみなすことができる。

なお、被写体表面に存在するグルーブ１２０１の断面は、Ｖ字形状によって近似することができる。このため、生体の臓器表面に存在するようなグルーブは、「Ｖ字グルーブ」と称することができる。このようなＶ字グルーブの断面は、厳密な意味で「Ｖ字」である必要はなく、曲面を含んでいてもよい。概略的に「Ｖ字型」の断面を有するグルーブが被写体表面に存在し、表面で照明光が２回反射して戻る現象が発生すれば、以下の説明が適用可能である。

図１６（ａ）で示すように、グルーブの主軸方向１２０２に対して垂直に入射する偏光照明はＰ波である。再び図１３を参照すると、被写体のグルーブ１２０１の傾斜角が４５°程度と仮定して、そこに真上から照明が入射すると、フレネル反射率のグラフから読み取れるとおり、この入射角範囲９０２では、Ｓ波にくらべてＰ波の反射率が極めて弱くなる。さらにＰ波は１回および２回反射を経由する間にさらに弱くなる。一方図１６（ｂ）で示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

以上のように表面グルーブを仮定すれば、実験にて得られた入射光の偏光面の回転による反射光の輝度変化が説明できる。

グルーブにおける偏光照明の２回反射によって得られる輝度Ｙの変化の関数形が、非偏光を入射した場合と実質的に同等の変動をすることを本願発明者は見出した。以下、この点を説明する。

図１７（ａ）は、被写体表面のグルーブを表面の直上から見た図である。これは図１６を上から見ることに相当する。図１７（ａ）には、撮像画像面に平行なＸ−Ｙ座標が記載されている。グルーブ１２０１の主軸方向１２０２に垂直な方向とＸ軸の正部分との間に形成される角度がΨで示されている。図１７（ｂ）は、被写体に入射する偏光照明の偏光面の角度ΨＩを示しており、図１７（ｃ）は、図１７（ａ）の内容と図１７（ｂ）の内容を１つに表示した図である。以降、グルーブの向きを角度Ψにて指定するものとする。これはグルーブの主軸の方位角と９０°異なっている。

図１８Ａは、簡単のためΨＩ＝０として偏光面がＸ軸に合致している場合にグルーブに対して垂直と水平方向に分配される入射光エネルギーを説明するための図である。グルーブの方向は、角度Ψによって特定されている。入射光が図１６に示すようにグルーブ内で２回反射を起こすと仮定する。このとき、ある角度φの偏光面を有する直線偏光の輝度を観測する。図１８Ｂは、輝度が観測される直線偏光の角度ψを示す図である。角度φにおける偏光輝度をＩ（Ψ、φ）とすると、これは以下の式で表現できる。ただし、グルーブの方向（Ψ）および主軸方向（π／２−Ψ）のエネルギー反射率を、それぞれ、ＡおよびＢとしている。

この偏光輝度Ｉ（Ψ、φ）は、式３の変形をすることにより、以下の式４で表される。この式４から、偏光輝度Ｉ（Ψ、φ）はφについて周期πで変動することがわかる。

ここで、入射偏光面角度を０°でなく、一般的なΨＩとする。以上の議論から、入射偏光面角度がΨＩ、観測角度がφの場合の偏光輝度は、以下の式で与えられる。

この式で示される偏光輝度は特定方向の観測角度φにおいて観測される偏光輝度であるから、非偏光の平均輝度の観測を行う場合には、式３に示される偏光輝度を観測角度φについて１周期積分すればよい。１周期とは１８０°＝πである。この積分によってφに関する正弦関数、余弦関数はゼロになる。すなわち、入射偏光面角ΨＩの偏光が角度Ψで特定されるグルーブに入射し、２回反射する場合に観測される輝度ＰＹ（ΨＩ、Ψ）は、以下の式のようにΨＩについて１８０°の周期関数で表現される。

輝度ＰＹ（ΨＩ、Ψ）が式６に示すようなΨＩの余弦関数となる場合、輝度ＰＹ（ΨＩ、Ψ）は、Ψ＝ΨＩで最大値をとる。このため、輝度ＰＹ（ΨＩ、Ψ）が最大となる角度Ψ＝ΨＩを輝度最大角ＹＰＨと称する。また変動の振幅については余弦関数項が＋１〜―１に変動することを考慮し、輝度変動の変調度を考えることができる。この比率を輝度変調度ＹＤと称することとする。この輝度変調度ＹＤは以下の式で得られる。

なお、輝度最大角ＹＰＨおよび輝度変調度ＹＤは、画素単位で与えられる。このため、画像を構成する各画素に輝度最大角ＹＰＨを設定した画像を「輝度最大角画像ＹＰＨ」と称する。同様に、画像を構成する各画素に輝度変調度ＹＤを設定した画像を「輝度変調度画像ＹＤ」と称する。

この輝度最大角ＹＰＨおよび輝度変調度ＹＤは、それぞれ、通常の偏光観測における偏光主軸角および偏光度に対応する量であるが、その量的関係は明確ではなかった。そこで、両者の関係を明確にするため、非偏光の照明をグルーブに入射した場合の２回反射の偏光状態について検討する。

図１９は、非偏光の光１５０１がグルーブに入射する場合の図である。非偏光の光１５０１がΨの角度を有するグルーブに入射する場合には、エネルギーはグルーブの主軸方向とその垂直方向に均等に分配されると考えられるため、エネルギー反射率Ａ，Ｂを乗じたエネルギーがグルーブの主軸方向とその垂直方向に射出される。φの角度で偏光観測した場合、図１６における説明から、偏光輝度はグルーブの主軸方向において最大値（反射率Ｂ）をとり、主軸の垂直方向にて最小値（反射率Ａ）をとる。偏光度ＤＯＰを計算すると、

となる。

上記の議論から、偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の位相角である輝度最大角ＹＰＨと非偏光照明時の偏光主軸とは一致することが判明した。同様に偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の振幅である輝度変調度ＹＤと非偏光照明時の偏光度ＤＯＰとが一致することも判明した。よって、非偏光の照明を前提としたフレネル反射理論と表面法線の議論を本発明における偏光輝度の変動に利用することができる。

本実施形態における画像処理プロセッサ３００２は、上述の輝度最大角画像ＹＰＨおよび輝度変調度画像ＹＤを得て、被写体の表面凹凸情報を取得する。

方向を規定する角度がΨである１個のグルーブに対して偏光ΨＩが入射した場合の特定方向φにおける偏光輝度は、上記（式５）で与えられる。（式１）の分布を有するグルーブの集合から観測される輝度を計算するために、グルーブ方向と観測方向で２重積分を行う。

（式９）に（式１）と（式５）とを代入して積分を実行すると、フーリエ級数の奇数倍周波数項は全て消え、さらに４倍以上の偶数周波数の項も消えてしまう。このため、（式９）の２重積分の結果は以下のようになる。

ここから得られる結論は、ΨＩを３回観変化させた輝度変動を観測すると、グルーブ分布関数の展開係数であるａ０、ａ２、ｂ２を推定することが可能ということである。

本実施形態においては、照明光の偏光面の角度ΨＩを変化させた際に得られるのは輝度変動だけでなく、偏光撮像素子によって１画素ごとにある観測方向φの偏光輝度も観測できる。このため、分布関数の展開係数について、より多くの情報を得ることができる。前述したように、方向を規定する角度がΨである１個のグルーブに対して偏光ΨＩが入射した場合の特定方向φにおける偏光輝度は（式５）で与えられる。したがって、（式１）の分布を有するグルーブの集合から観測される偏光輝度を計算するためには、グルーブ方向にて積分すればよい。

ここに（式５）および（式１）を代入して計算すると

ここでＰ_Ｙは（式１０）で表現された輝度変動部分であり、αとβは以下のようにおいた。

このαとβの表式において、ａ０、ａ２、ｂ２の３変数の値は（式９）の輝度変動の観測から得られている。そこで、残りの２個の未知数であるａ４とｂ４は、２回以上のΨＩの観測から解くことができる。

以上の考察からわかることは、偏光ベースでの超解像としてグルーブの直交する２種類の方向についてエネルギー反射係数を仮定すれば、１画素内のグルーブの方位角の角度分布が推定できるということである。具体的には、角度ΨＩを変化させて直線偏光を入射する場合の輝度の変動および偏光輝度の変動を観測することにより、１画素内のグルーブの分布関数をフーリエ級数展開の係数ａ０，ａ２、ｂ２、ａ４とｂ４として推定できる。輝度変動のみを観測すると、ａ０，ａ２、ｂ２を推定できる。更に偏光輝度の観測を行うことにより、係数ａ４とｂ４をも推定できる。但し、それ以上の係数の推定は不可能である。このため、グルーブの方位角分布は半周期πに対し対称形に推定されることになる。

図２０は画像処理プロセッサ３００２の構成例を示すブロック図である。

照明の偏光面角度ΨＩを０°、４５°、９０°、１３５°と変え、その照明下にてそれぞれ撮像されたφを０°、４５°、９０°、１３５°とする合計１６枚の偏光輝度画像群３６０１が入力される。

反射率設定部３６０９では、屈折率などの被写体材質に依存するグルーブの主軸方向とそれと直交する方向へのエネルギー反射率であるＡおよびＢの数値を事前に設定する。このＡおよびＢは図１３を参照して説明した数値である。例えば屈折率ＮＮ＝１．８、グルーブ傾斜角度を４５°と仮定すると、フレネル理論からＡ＝０．０５、Ｂ＝０．２の設定がなされ得る。

偏光輝度画像群３６０１は、変動輝度処理部１６０２に与えられる。変動輝度処理部１６０２では、以下に説明する計算により、非偏光平均輝度画像１６１２、輝度最大角画像１６０３、および輝度変調度画像１６０５が求められる。

前述のように、偏光照明の偏光面を回転した場合の輝度変動は周期１８０°の余弦関数になる。変動輝度処理部１６０２では、輝度変動を余弦関数にフィッティングする。輝度変動を示すＹ（ΨＩ）は、照明の偏光面の角度ΨＩを変数として以下のように表現される。

図２１は、この輝度変動の余弦関数を示したものであり、上記の振幅ＡＩ、位相Ψｏ、平均値Ｙ_{ΨI_ave}の意味を表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。

４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず、非偏光照明下での原画像の輝度Ｙ_{ΨI_ave}を以下の式で求める。この式の右辺は、ΨＩ＝０°、４５°、９０°、１３５°の偏光照明で照射された被写体から得られる４つの輝度画像を加算し、平均化することを意味している。輝度Ｙ_{ΨI_ave}は近似的に非偏光照明下での輝度画像を再現しており、内視鏡の通常観察画像として利用することができる。このため、輝度Ｙ_{ΨI_ave}を「非偏光平均輝度画像」と称することができる。

次にサンプルされた輝度から余弦関数への最小２乗誤差を用いた最適フィッティングを行う。ここでは、０°、４５°、９０°、１３５°という４方向のサンプルから実施する。余弦関数は振幅、位相、平均値の３種の情報で決定されるため、これらを決定するためには３点のサンプル以上であれば実際には何点でもかまわない。しかし、４５°サンプルの場合には最適フィッティングが簡単になる性質がある。

まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。

この２乗誤差を最小化する余弦関数の位相Ψｏは、以下の式から求められる。

この式から、解は、次の式で与えられる。

逆三角関数などの数学関数では一般に以下のような制限が課されている。

この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

この最大値をとるΨ０ｍａｘの値を、そのまま、輝度最大角画像１６０３とすればよい。

次に、振幅の最大値と最小値を求める。まず、振幅Ａ_Iを求めるため、以下の式を用いて２乗誤差の最小化を行う。

振幅Ａ_Iを用いて、振幅の最大値と最小値は以下のようになる。

そこで（式７）に（式２５）の振幅最大値Ｙｍａｘと最小値ＹｍｉｎをそれぞれＭＡＸ、ＭＩＮとして代入すると、輝度変調度画像１６０５が求められる。

なお、余弦関数への一般の最適フィッティングは、３点以上のサンプルにおいて可能であり、その方法は例えば特許文献４に記載されている。

以上の処理によって輝度最大角画像１６０３と輝度変調度画像１６０５が得られる。図２０では、輝度最大角画像１６０３に参照符号「ＹＰＨ」、輝度変調度画像１６０５に参照符号「ＹＰＨ」を付している。図２０に示すように、輝度最大角画像ＹＰＨおよび輝度変調度画像ＹＤは２次係数推定部３６０３にそれぞれ送られる。

以上のように変動輝度処理部１６０２では、偏光観測とは無関係に照明の偏光面角度ΨＩの変動に伴う輝度変動を取り扱う。

２次係数推定部３６０３では、輝度変動を処理して得られた輝度最大角画像１６０３と輝度変調度画像１６０５から、（式９）に基づいてフーリエ展開係数を計算する。

まず、平均輝度１６１２を（式１５）と同様に計算する。すなわち照明に偏光光源のみを使いながら、その偏光面を回転させて撮像した輝度画像を加算平均することにより、近似的に非偏光照明下での輝度画像を再現できる。このため、通常観察と偏光観察で照明光を切り替える必要がなくなり、画像処理プロセッサに機能で両方の観察が可能になる。この機能は、モノクロでもカラーにおいても成立する。このため、通常の非偏光白色照明におけるカラー輝度画像を得ることができる。さらに、この平均輝度１６１２、すなわちＹ_{ΨI_ave}から展開係数ａ０が以下のように求められる

ａ２およびｂ２は、（式９）で得られたΨ₀、すなわち変動輝度処理部１６０２によって得られた輝度最大角画像１６０３（ＹＰＨ）および平均輝度１６１２（Ｙ_{ΨI_ave}）を用いて、

と求められる。輝度変動の観測から求められる展開係数は以上であり、ａ４およびｂ４については偏光観測が必要になる。

偏光処理部３６０２では、照明を固定した場合のφを０°、４５°、９０°、１３５°のサンプルでの輝度変動余弦関数に最適フィティングする。偏光透過面を回転した場合の輝度変動は一般に周期１８０°の余弦関数になることは、例えば（特許文献５）にあるように広く知られている。観測する偏光面の角度をφとすると、以下のようにフィッティングされる。

この関数には振幅、位相、平均値の３種の情報が含まれている。

図２２は、この輝度変動の余弦関数を示したもので、上記の振幅、位相、平均値の意味を表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する具体的な手順は、輝度変動のフィッティングと同様であるから省略する。

まず、平均輝度Ｙ_{φ_ave}を（式２９）のように計算する。この加算平均の意味は角ΨＩの偏光照明下での偏光画像を平均した輝度画像に相当するものである。この画像を平均輝度画像３６１０とする。

偏光最大角画像ＰＰＨは、（式１２）が最大値をとるφ０の値を、そのまま、偏光最大角画像ＰＰＨとすることで生成される。

偏光度画像ＤＰ３６０６は、（式１２）の最大値、最小値から、（式８）を用いて生成される。

平均輝度画像Ｙ_{φ_ave}３６１０、偏光最大角画像ＰＰＨ３６０４および偏光度画像ＤＰ３６０６は、いずれも、偏光照明ΨＩの角度ごとに決定される。このため、図２０では、各々が照明に合わせて４枚ずつ存在する。

４次係数推定部３６０７では、これらの画像から展開係数ａ４、ｂ４を以下のように推定する。

まず、偏光最大角画像ＰＰＨの角度をγとする。ＤＰ画像はＤＰの値そのままである。以下の関係が成立する。

すなわちαとβはＹ_{φ_ave}、γ、ＤＰの値から以下のように求められる。

ここで（式９）から以下のように置き換えを行う。

展開係数ａ４とｂ４を求めるために解くべき方程式は以下のように拘束過剰の連立方程式になるので擬似逆行列を用いて解くことができる。ただし、Ψ_I0＝０°、Ψ_I0＝４５°、Ψ_I0＝９０°、Ψ_I0＝１３５°を意味する。

図２３Ａおよび図２３Ｂは、以上のようにして求めたフーリエ展開係数を用いて実際の１画素内の法線の方位角分布を求めた実験結果である。被写体としては図２４Ａと図２４Ｂに示した物体のグルーブＡからＨまでの内部に存在する１画素を対象にしており、展開係数を（式１）に代入して描画した。

図２４はこの被写体を示す図であり、プラスチック板上にＡからＩまでの８本の溝を加工し塗装したものである。図２４Ａは実物の輝度画像を図２４Ｂはその模式図である。平面内の溝どうしの方位角度間隔は２２．５°である。

表１には各グルーブの位置にて求められた展開係数を示した。図２３Ａおよび図２３Ｂを見るとＡからＨまでグルーブ分布の主軸が次第に回転している。１画素内のグルーブであるからマクロなグルーブの向きと直接的な相関は無いはずであるがグルーブの傾斜面方向に法線分布の主軸がある結果となった。

この超解像手法を実施形態１と組み合わせることにより輝度観測では１画素になってしまうため解像が不可能な表面凹凸についても、偏光を用いて表面に存在するグルーブの向き（方位角）分布を推定して画像化することができ非常に有効である。また内視鏡画像を高精細に観察する用途以外でも、ここで得られた展開係数をグルーブ統計量から被写体表面を分類、パターン認識する場合の特徴量として利用することにより内視鏡画像の診断支援などに用いることができる。

（実施形態２）
図２５は実施形態２を示す図であり、図１Ｃにおける画像プロセッサ３００２の一部を示す図である。本実施形態では、臓器表面からの散乱光と組織深部からの散乱光とを分離できる。本実施形態は、図２０の構成における偏光処理部３６０２が図２５の偏光処理部３９０１に置き換わっている点で実施形態１の構成と異なっている。

偏光内視鏡の従来例においては、臓器表面からの散乱光と組織深部からの散乱光とを分離してコントラストの高い画像を得ることを主目的としているものが多い。この場合、偏光照明にＰ波を用いて、画像観測にはＳ波を用いる。すならち、所定の方向に偏光した照明光を用い、その方向に対して直交する偏光を観察する必要がある。しかし、従来例では、偏光照明と偏光撮像とを組み合せて行う偏光撮影と、非偏光の通常カラー撮影との間で、照明方法が大きく異なることになる。このため、内視鏡自身に照明装置を切り替えるための機構が必要になる。また、偏光撮影と通常カラー撮影との間で光学系を共用すると、偏光撮像が可能な波長帯域と通常撮像が可能な波長帯域とを分離する必要がある。したがって、例えば３８０〜７８０ｎｍという共通の波長帯域では、通常カラー撮影と偏光撮影とを行うことが困難だった。本実施形態の画像処理装置は、偏光面を回転させる照明と、偏光撮像素子とを備えているため、通常カラー撮影および偏光撮影のいずれも容易に実行することが可能である。

本実施形態では、実施形態１と同様に、照明の偏光面角度ΨＩを０°、４５°、９０°、１３５°と変え、その照明下でそれぞれ撮像されたφを０°、４５°、９０°、１３５°とする合計１６枚の偏光輝度画像群３６０１が入力される。このため、照明の偏光方向と観測の偏光方向（偏光透過軸の方向）とを直交させる組み合わせにはバリエーションがある。例えば、ΨＩ＝０°を選択し、この照明下でのφ＝０°、４５°、９０°、１３５°の４種類の偏光画像を使うとする。これらの偏光画像に基づくと、各画素における４つの偏光輝度を、図２２に○印で示す４点のサンプル点とみなすことができる。それらの４つの偏光輝度を余弦関数にフィッティングする。こうして得られた、偏光輝度と偏光透過軸との関係を示すカーブから、図２２に示すＹｍａｘとＹｍｉｎとを決定する。こうして得られたＹｍａｘおよびＹｍｉｎを用いると、以下の式で表面散乱光Ｉｓおよび内部散乱光Ｉｄを求め、これらの画像を得ることができる。

本実施形態では、実施形態１の装置に特別な機構を付加することなく、表面散乱光Ｉｓおよび内部散乱光Ｉｄを分離することができる。偏光撮像素子がカラー化されている場合には、上記の輝度をカラーの各成分として処理すればよい。この場合、通常の非偏光カラー画像が（式２９）で得られ、かつ（式３４）で偏光によって成分分離された同じ波長帯域におけるカラー画像が得られる。

偏光照明角ΨＩは０°以外の値に自由に変更することができる。したがって、任意の偏光照明角ΨＩで、この偏光方向に直交する方向を偏光透過軸とする観測を実施した場合の結果を計算することが可能である。

偏光観測角φを例えば０°に固定しておき、照明偏光角度ΨＩ＝０°、４５°、９０°、１３５°の４種類に変えた場合の輝度変動を使ってもよい。

（実施形態３）
以下、図３０Ａおよび図３０Ｂを参照しながら、本発明による画像処理装置の第３の実施形態を説明する。本実施形態の画像処理装置は、内視鏡のみならず、皮膚科や歯科などメディカル用途の照明付きカメラ、指紋撮影装置、表面検査装置などへ適用される装置である。

図３０Ａは、本実施形態の一構成例を示している。本実施形態の画像処理装置は、図１Ｃの内視鏡１０１の代わりに、装置４００を備えている。この装置４００は、リング照明４００１、リング状偏光面制御素子４００２、撮影レンズ４００３、撮像素子４００４を有している。

図３０Ｂは、図３０Ａの概観を示す図である。本実施形態では、リング照明４００１上にリング状偏光面制御素子４００２が設置されている。リング照明４００１および偏光面制御素子４００２には、光ファイバーなどのライトガイドから非偏光が入力され、図２に示されるように、照明の偏光面を例えば０°、４５°、９０°、１３５°のに回転させる。

なお、リング照明４００１は、光源からのライトガイドを使わないＬＥＤなどによる自発光光源でもかまわない。また、撮像光軸と照明光の光軸のなす角度が１５°以下であればリング照明以外のストロボ発光照明でもかまわない。リング照明を使うことにより、照明が１灯では観察が困難な被写体においても、表面凹凸、グルーブの推定を高精度に実施することができる。特に、照明光の光軸が撮影光軸と略同一であり、かつ均一化されるため、製品表面の傷や凹凸の検査装置、指紋撮影装置、皮膚科用の肌凹凸撮影装置などに好適である。撮像素子４００４、図示されていない画像処理プロセッサは実施形態１における画像処理プロセッサが適用可能である。

なお、上記の実施形態では、照明の直線偏光の回転角度の間隔を４５°に設定しているが、この角度は同一である必要はなく、互いに異なっていてよい。また、この角度の間隔は４５°にも限定されない。ただし、余弦関数の３個のパラメータを決定するために、３個以上のサンプルが必要になる。すなわち、照明の直線偏光の回転角度は、３種以上に変動させることが必要になる。サンプル角度が３種類の場合、例えば０°、６０°、１２０°の３つの角度が選択され得る。

本発明は、医療用内視鏡カメラ、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡カメラ、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

１０１ 内視鏡
１０２ 制御装置
１０３ 挿入部
１０４ 光源
１０５ ライトガイド
１０６ 偏光面制御素子
１０７ 照明レンズ
３００２ 画像プロセッサ
１０９ 撮影レンズ
３００１ 撮像素子
１１１ 映像信号線
１１２ 同期装置
１１３ 先端部
１２０ 偏光照明部
１４０ 偏光撮像部
１５０ 画像処理部
１６０ 変動処理部
１７０ 分布推定部

Claims (3)

1. 偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
   前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する偏光撮像部であって、前記直線偏光の各々によって前記被写体が照射されている間に各画素で偏光透過軸の方向を順次３つ以上変化させることにより得られた各画素の輝度値から構成される複数の偏光画像を取得する偏光撮像部と、
   前記偏光撮像部から出力される画素信号に基づいて、前記偏光面の角度と前記複数の偏光画像を構成する各画素の輝度値であって前記直線偏光の各々によって前記被写体が照射されている間に各画素で前記偏光透過軸の方向を順次３つ以上変化させることによって得られた複数の偏光輝度を画素単位で加算平均して得られた輝度値との関係を余弦関数にフィッティングして得られた輝度変動関数の最大値、最小値、振幅、および平均値を求め、各画素について前記輝度変動関数が最大値をとる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記輝度変動関数の振幅と前記輝度変動関数の平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、
   前記輝度最大角画像および前記輝度変調度画像に基づいて、１画素内における前記被写体の表面に存在するＶ字グルーブの方位角分布を推定する分布推定部と、
   を備える画像処理装置。
2. 各画素について前記偏光照明部の偏光面の角度ごとに、偏光撮像部の前記偏光輝度が最大となる前記偏光透過軸の方向によって定義される偏光最大角画像、および各画素について前記偏光透過軸の方向の変化にともなう前記偏光輝度の変動の振幅と偏光輝度平均値との比率によって定義される偏光度画像を生成する偏光処理部を更に備え、
   前記分布推定部は、前記偏光最大角画像および前記偏光度画像に基づいて前記方位角分布の推定精度を高める、請求項１に記載の画像処理装置。
3. 前記分布推定部は、
   前記変動輝度処理部の出力に基づいて、前記Ｖ字グルーブの方位角分布を示す関数のフーリエ変換における０次および２次の展開係数を推定する第１の係数推定部と、
   前記偏光処理部の出力に基づいて、前記関数の前記フーリエ変換における４次の展開係数を推定する第２の係数推定部と、
   を含む、請求項２に記載の画像処理装置。

Images