図1は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図1(a)は、通常でのカラー画像を示しており表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面の透明または半透明で形成された凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」と称し、また、カラー輝度画像を得るための撮影をカラー輝度撮影とする場合がある。
一方、図1(b)は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ(サイズが0.5〜1.0mm、深さが0.1〜0.2mm程度)が明瞭に確認できる。
図2は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸は、一般的には上に凸のカマボコ状の形状の繰り返し配列によって形成されていると考えられる。隣接する2つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「溝領域」と称する場合がある。図2は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図2に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。
内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図2に示された被写体に対して、その略直上から照明光を照射し、おなじく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく2種ある。1つは表面にて光が反射する鏡面反射光であり、もう1つは媒質内部に浸透し、より下層で反射して戻って表面から再出射される内部拡散光である。鏡面反射光は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、内部拡散光は、撮影シーンの全域に渡って観測される。内部拡散光の色は、媒質の色自身であり、輝度はそれほど強くならずに媒質全体が光る。内部拡散光による被写体像は、媒質の厚みの厚い凸部において暗く、厚みの薄い凹部において明るくなる傾向がある。すなわち、鏡面反射光と内部拡散光との間では、輝度の高低と被写体表面の凹凸との対応関係が反対になる。
通常の撮影では、上記の2種の反射光が重ねあわされて1つの輝度画像(撮影シーン)が形成される。そのため、撮影シーンの中で、2種の反射光の輝度の差がほぼ拮抗する領域には、凹凸部で輝度の明暗差がほとんど無くなる。従って、通常の輝度画像では、被写体の表面凹凸において輝度の差がほとんど無くなる。もし明暗の輝度差があったとしても、その情報に基づいて、たとえば周囲が画素よりも輝度の低い画素を凹部としてそれを検出する処理をすると、鏡面反射部と内部拡散反射部によって凹凸の位置関係にズレを生じてしまう弊害があり、輝度画像処理は非常に困難である。
図3(a)および(b)は、偏光を用いた観察を説明するための図である。図3(a)の例では、表面凹凸に平行な方向の偏光照明を照射した場合、図3(b)は表面凹凸に垂直な方向の偏光照明を照射した場合におけるそれぞれ直交ニコル状態の偏光画像を取得している。
図3(a)の設定では、臓器表面の凹凸断面を示す模式的なモデル301に対して、照明300とP偏光フィルタ302が配置されている。これにより、モデル301の凹凸が延びる方向(図の紙面に垂直な方向)に対して平行に偏光した光(P偏光またはP波)でモデル301が照射される。一方、直交ニコル状態を形成するように観察側偏光フィルタ303(S)が配置され、撮像装置304が画像を取得する。
図3(b)の設定では、S偏光照明の偏光フィルタ309(S)が配置され、直交ニコル状態を形成するように観察側偏光フィルタ310(P)が配置される。なお、図3の例では、偏光フィルタの偏光透過軸が図の紙面に垂直であるときの偏光をP偏光、紙面に平行であるときの偏光をS偏光(S波)としている。
直線偏光照明305、311を用いた撮影において観察できる反射光は大きく2種あり、1つは凸部で光が正反射する鏡面反射成分306、312であり、もう1つは媒質内部に浸透し、より下層で非偏光の散乱光307となり、撮像系に対して傾斜した斜面から表面から再度出射される内部拡散光の偏光308、313である。内部拡散光は、境界面法線と視線との傾きである出射角が大きい場合に偏光が顕著になる。
次に反射光の偏光の方向について、定性的な説明を行う。
まず、鏡面反射成分306、312は同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分306は紙面に垂直な偏光、鏡面反射成分312は紙面に平行な偏光になる。
一方、内部拡散光の偏光308、313の偏光方向は、屈折率が1より大きい媒質から空気中へ出射する際の偏光について、フレネル理論で決定される。図4は、フレネル理論に基づいて求められた屈折率が1より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。横軸の出射角に対して透過率は常にT‖>T⊥すなわちP偏光>S偏光となる。従って、内部拡散光の偏光308、313ともに、モデル301の表面の傾斜に対してP偏光が強い偏光となる。
次に、これらの反射光を撮像装置304で観察する場合、図3(a)では、反射光306がP偏光(紙面に垂直)、反射光308がS偏光(紙面内)である状態をS偏光フィルタ303で観測するので、反射光306は遮断状態にて暗くなり、反射光308は透過状態にて明るくなる。つまり301のカマボコ形を直上から観察した場合、画像314のように中心軸付近が暗く斜面付近が明るくなる縞模様となって明瞭に観測される。図3(b)では、反射光312、313ともS(紙面内)である状態を撮像装置304のP偏光フィルタ310で観測するので、反射光312、313とも遮断状態となって暗くなる。つまりモデル301のカマボコ形を直上から観察した場合、画像315のように全体的に暗くなり凹凸が不明瞭になる。
図5は、実際にアクリル板表面に縞状に凹凸(多数の溝)が形成されたレンチキュラー板を用いて、この偏光撮像を実行した結果を示す図である。被写体は、完全拡散板上に血管を模した透明シートを置き、その上に乳白色の2mm厚のアクリル製レンチキュラー板を載せたものである。この被写体を直上から観察した。レンチキュラー板の溝は、図の紙面内における水平方向に対して0°の方向に平行に配置された。図5(a)と図5(b)は、それぞれ、偏光照明がP、Sになった状態で撮影した像を示している。すなわち、図5(a)では、偏光照明の偏光方向と被写体表面の溝方向とが平行であり、図5(b)では、偏光照明の偏光方向と被写体表面の溝方向とが直交している。図5(a)、(b)の偏光撮像は、両者とも直交ニコル状態で行われた。このときに撮像された直交ニコル画像を観察すると、図5(a)ではP方向に明暗の縞が明瞭に観察される。一方、図5(b)では明暗が不明瞭になる。
上記のとおり、偏光撮像モードにおいて直交ニコル状態の偏光を撮像すると、偏光照明の偏光方向が被写体の凹部(溝)と平行に近い場合には輝度が周囲よりも明るくなり、凹部を明瞭に検出できる。そこで、被写体の凹凸の向きが未知の場合においては、少なくとも偏光照明が直交した2種類の直交ニコル画像を得ることができれば、微分フィルタ処理などの画像処理によって表面の凹部を検出することができる。検出された凹部に対して、カラーデジタル画像処理でBlue(青く)に着色することで、インジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像と類似の画像を再現することができる。
本発明者の実験によると、内視鏡のような同軸照明状態では、鏡面反射の輝度は完全拡散板を1とした場合に10から100程度ときわめて高くなる。このため、この高い輝度を撮像素子が飽和しない範囲にまで低下させるように減光し、直交ニコル画像を撮像する場合、100:1以上の消光比性能を有する偏光フィルタを用いることができる。
以下、本開示の実施形態を説明する。
(第1の実施形態)
図6は、本開示の実施形態1における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡101と、制御装置102と、表示部114とを備える。
内視鏡101は、モノクロ広帯域偏光撮像素子115を有する先端部106、および、ライトガイド105と映像信号線108とを内部に有する挿入部103を有している。内視鏡101の挿入部103は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド105は曲がった状態でも光を伝達することができる。
制御装置102は、光源装置104と画像プロセッサ110とを備える。光源装置104内には、たとえばキセノン光源、ハロゲン光源、LED光源、またはレーザ光源であり得る光源118が備えられている。光源118から発した非偏光の光は、回転するRGBフィルタを有するカラーホイール116(a〜b)を通過した場合、順次、Rレッド、Gグリーン、Bブルーの光になる。これらの光は、ライトガイド105を経由して先端部106に導かれ、照明用フィルタ200を透過する際に、偏光または非偏光の光となる。そして照明レンズ107から、偏光または非偏光の照明光117となって、被写体である内臓粘膜表面111を照射する。被写体からの反射光113は、対物レンズ109を通ってモノクロ広帯域偏光撮像素子115上に結像する。
同期装置112は、カラーホイール106aの回転と同期しながら、モノクロ広帯域偏光撮像素子115に撮影開始信号を送って反射光による映像を取得する。撮像された映像信号は、映像信号線108を経由して画像プロセッサ110に送られる。
以上の処理をRGBの面順次方式で連続して実行してカラー撮像と偏光撮像を実行する。以下、通常のカラー撮像を実行するモード「非偏光撮像モード」または「通常撮像モード」と称し、偏光撮像を実行するモードを「偏光撮像モード」と称することがある。
照明制御部120は、外部から、内視鏡の動作モードが通常撮像モードおよび偏光撮像モードのいずれであるかを示す信号が入力されると、それに対応して、それぞれに対応したカラーホイールを照明光の光路121に挿入する。そうすることにより、面順次照射に用いる照明の分光特性を変化させる。
通常撮像モードの場合には、偏光モザイク処理部202にて処理されたカラー画像が画像合成部206にてフルカラー動画に組み立てられ、表示部114にたとえば動画で表示される。また偏光撮像モードにおいては、同じく偏光モザイク処理部202にて処理された画像が凹領域検出部204にて表面の凹領域を検出され、画像合成部206にて青色強調された表示部にたとえば動画で表示される。
図7(a)〜(c)は、照明に使われ得るカラーホイールの例を示している。図7(a)に示される通常撮像用カラーホイール116aは、回転軸の周りに設けられた3つの扇形状の領域を有している。この3つの扇形状領域は、それぞれ、R1R2で示すほぼ同色のレッド波長域を同時に透過するレッドフィルタ、G1G2で示すほぼ同色のグリーン波長域を同時に透過するグリーンフィルタ、B1B2で示すほぼ同色のブルー波長域を同時に透過するブルーフィルタとから構成されている。ここで、「R1R2」のR1およびR2は、それぞれ、レッド(R)の波長域、たとえば600nm〜700nmの短波長側の半分および長波長側の半分の波長域を示す。図7(a)のカラーフィルタ116aにおいて、「R1R2」と記載された扇形状の領域は、R1の波長域およびR2の波長域の両方の光を透過する領域であり、「R」と記載しても良い。他の記号、「G1G2」および「B1B2」も同様である。本明細書では、「R1」などの符号を、特定の波長域を示すために用いたり、そのような波長域の光を選択的に透過するフィルタを示すために使用する場合がある。
偏光撮像用カラーホイール116bは、偏光撮像を実行する波長域の設定により種々の構成を有し得る。図7(b)は、グリーンとブルーを混合した2種類の波長帯域の光を順次透過するカラーホイール116bの例を示している。このカラーホイール116bは、表面凹凸テクスチャを検出するために適した波長域を選択することが可能である。一方、図7(c)は、6個の異なる波長域の光を順次透過するカラーホイール116bの他の例を示している。このような構成を有するカラーホイール116bは、フルカラーの直交ニコル画像を取得するに適している。なお、図7(a)のカラーホイール116aおよび図7(b)または(c)のカラーホイール116bの一方が、外部からの信号によって指定されて選択的に使用される。より具体的には、非偏光撮像モードまたは通常撮像モードではカラーホイール116aが使用され、偏光撮像モードではカラーホイール116bが使用される。
図8は、照明用フィルタ200の透過特性を示す図である。B、G、Rの各可視光波長範囲をP偏光とS偏光が交互に透過する櫛型の透過特性を有している。たとえば図8に示す例において、波長域B1(400〜450nmの範囲)でP偏光のみを透過し、波長域B2(450〜500nmの範囲)でS偏光のみを透過する。このため、光源からライトガイドを経由してくる光の波長が波長域B1に含まれる場合には、その光は照明用フィルタ200によってP偏光の偏光照明光に変換される。同様に、光源からライトガイドを経由してくる光の波長が波長域B2に含まれる場合には、その光は照明用フィルタ200によってS偏光の偏光照明光に変換される。なお、通常撮像モードおいて、光源からライトガイドを経由してくる光の波長が波長域B1B2の全体に広がる場合には、P偏光とS偏光が混合されるため非偏光の照明光が得られる。
図8に示されるような特性を有するフィルタは、多層膜偏光子として実現することが可能であり、たとえば、特許文献2にその例が記載されている。
図9は、モノクロ広帯域偏光撮像素子115の撮像面のパターン偏光子(偏光モザイクまたは偏光モザイクアレイ)の構造の例を模式的に示す図である。図9(A)に示すように撮像面には、画素が行および列状(X−Y方向)に規則的に配列されている。
本撮像素子115は、照明光の色がR、G、Bに順次変化する面順次方式で用いられるため、その撮像面上にはカラーモザイクフィルタが配列されていない。すなわち、撮像素子115そのものは、モノクロ撮像素子であり、各画素に偏光子が配列されている。個々の画素には、可視光の波長域に含まれる光が順次入射するため、本実施形態で用いられる偏光子の偏光選択特性は可視光帯域で実現する。具体的には、400nm〜800nmの帯域において、本実施形態の偏光子の偏光取得性能を示す消光比が100:1以上である。このため、本実施形態では、可視光帯域の一部を占める特定波長のみで偏光特性を呈する偏光子を用いず、その代わり、広い波長域で高い偏光取得性能を示し得る金属ワイヤグリッド偏光子を用いている。
図9(B)は、2行2列に配列された4個の画素(2×2ブロック)に対応する偏光フィルタの1単位801を示している。この1単位801の中では、平面内に90°ずつ回転させた偏光フィルタ(4個の偏光子)が配置されている。図9(B)では、各偏光フィルタ上に示された複数の直線が偏光の透過軸の方向を示している。
図9(C)は、図9(B)に対応して金属ワイヤグリッドで実現する場合のワイヤ配置が図示されている。ワイヤグリッドでは金属ワイヤの方向と垂直な方向(TE軸)が偏光の透過軸となるため、模式図でワイヤを直線で表現すると、図9(B)の偏光軸の向きと、図9(C)の金属ワイヤの直線の向きとが90度異なる。この混乱を避けるため、本開示の実施形態で利用する偏光フィルタの透過軸の向きを表現する場合、常に図9(B)の直線(偏光透過軸に平行)を使用するものとし、ワイヤグリッドのワイヤ方向を直接描く平面図は使用しないものとする。
後述するように、この金属ワイヤグリッドの配置面は撮像素子の最上面から下層までの範囲内においてさまざまな位置をとり得る。ワイヤグリッドは平面的には他画素との干渉を回避するため、画素単位領域の外縁よりも余裕度Δだけ内側の領域内にされている。例えば正方形である1画素領域の一辺の長さDを3〜4μmとすると、Δは0.2μm=200nm以上に設定され得る。ワイヤグリッドを構成する各ワイヤの幅Lと間隔Sのデユーティ比は、透過率と消光比のトレードオフになる。本開示の実施形態において、幅Lと間隔Sとは等しいものとする。後述するようにL=S=0.1μm=100nmとして、Δ=0.2μm=200nmのとき、ワイヤグリッドの本数は、ワイヤ方向が撮像面内の垂直軸または水平軸に対して0°と90°の角度を形成する場合には17本である。
従来、アルミニウム製ワイヤグリッド偏光子を用いた偏光撮像素子で実際に試作され消光比の性能測定がされた例が非特許文献1に開示されている。非特許文献1によると、画素サイズ=7.4×7.4μmの領域内にピッチP=140nmm、高さH=70nmで配置された微細ワイヤグリッド偏光子の消光比は450、580、700nmの各波長でそれぞれ30:1、45:1、60:1程度であった。この実例から、ワイヤグリッドを微細化して撮像素子に実装しても、消光比性能として100:1を実現するのは困難であると予測される。そこで本実施形態においては、ワイヤグリッドを2層構造として高消光比を実現する構造をとっている。
図10を参照して、撮像素子115の断面構成例を説明する。
入射光は、撮像素子115の上方に配置される対物レンズ109から撮像面に到達する。撮像素子115において、光が到達する構造を順次説明すると、まず最上面にはマイクロレンズ220が配置される。このマイクロレンズ220の役割は光の効率的なPD(フォトダイオード)232への集光である。マイクロレンズ220は、斜め入射光の光路をまげて撮像面に対して垂直に近い角度にするため、特に内視鏡のように広角撮影が多用されるケースでは有効である。また、マイクロレンズ220があると、ワイヤグリッド層222、224に対してほぼ直上から光を入射させることができるため、TM透過率と消光比の低下を防ぐ効果を有する。マイクロレンズ220の下には平坦化層226がある。その下層に第1ワイヤグリッド層222が配置されている。第1ワイヤグリット層222は、撮像面内において90°ずつ回転した特定の方向の偏光だけが透過し、それ以外の光は反射または吸収する。
本実施形態における第1ワイヤグリッド層222は、金属ワイヤ間に中空構造を有しており、各金属ワイヤは空気と接している状態がつくられる。このため、消光比の性能低下を防ぐ効果を有する。
第1ワイヤグリッド層222の下方には第2ワイヤグリッド層224が配置される。この第2ワイヤグリッド層224は、基本的には第1ワイヤグリッド層222と配置方向、サイズ、材質同一であり、同じ中空構造を持っている。
第1および第2ワイヤグリッド層222、224を重ねて用いることにより、各々の消光比が10:1程度に低下した微細ワイヤグリッドであっても、2層全体の消光比を100:1程度までに向上させることができる。第2ワイヤグリッド224の下層には、平坦化層228と配線230とが設けられている。光の透過部分には配線230は配置されていないため、遮光されることなく、その下層にあるPD(フォトダイオード)232に到達する。撮像面では、多数のPD232が行および列状に配列され、光感知セルアレイを形成している。
撮像素子では、マイクロレンズ220からPD232までの距離を短くする低背化が重要である。本実施形態の偏光撮像素子においても、マイクロレンズ220からPD232までの距離が長い場合、画素間クロストークが発生して偏光特性、特に消光比を低下させてしまう。低背化のため、本実施形態においては、ワイヤグリッドからPDまでの距離を2〜3μm程度に設定している。また、ワイヤグリッド偏光子では、透過するTM波に対して偏光方向が直交するTE波は反射されるため、これが迷光となり性能劣化の原因となり得る。これを回避するためには、ワイヤグリッド222、224を単層ではなく多層構造として吸収作用を設けることが有効である。
以下、本実施形態における画像処理装置の撮像動作を説明する。
まず、図11Aおよび図11Bを参照して、通常撮像モードの動作を説明する。
図11Aおよび図11Bは、それぞれ、通常撮像モードにおける照明と撮像の動作を示す図およびタイミングチャートである。図11Aの左段は、面順次照明の分光スペクトルを示している。B色の照明は、B1(P偏光)とB2(S偏光)という厳密には異なる色の異なる偏光の混合光からなる。このことは、G、R色の照明光でも同様である。これらの照明光は、照射時には、それぞれ、B、G、Rの非偏光とみなすことができる。このため、実質的には公知の面順次照明と変わらなくなる。
照明光が被写体に照射されるとき、被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子105にて観察される。図11Aでは、偏光撮像素子105が有する偏光モザイクの基本単位801のみを記載している。この基本単位801に含まれる4個の偏光子のうち、左上および右下に位置する2個の偏光子(Pの偏光フィルタ)は、撮像面内で水平な方向に偏光したP偏光を透過し、右上および左下に位置する2個の偏光子(Sの偏光フィルタ)は、撮像面内で垂直な方向に偏光したS偏光を透過する。
モノクロ広帯域偏光撮像素子115の偏光動作は、可視光領域の全体に相当する400nm〜800nmにわたって機能するので、B、G、R色の照明光で被写体が照射されるときのいずれであっても1個の撮像素子で対応できる。
得られる撮像画像は、非偏光の照明を受けた被写体からの戻り光を、Pの偏光フィルタまたはSの偏光フィルタを介して受光する。このため、得られた画素値を2×2の4画素領域で平均化することにより、非偏光画像を取得できる。平均化された画素値は、仮想的には、2×2の4画素の中心に位置する。このため、図11Aの最も右側では、点線で示す画素領域にNP(非偏光)と記載されている。2×2の4画素を1画素単位でシフトさせることにより、解像度低下は実質的に発生しない。
このようにB、G、Rの非偏光の面順次照明に対して、それぞれ、非偏光撮像が実現される。カラー画像バッファメモリへ3原色画像を順次蓄積し、3原色の画像を得られたときに、これらの画像を合成することにより、フルカラー動画を生成することができる。上記の処理を、本明細書では「偏光モザイク画素の平均化処理」と称する。偏光モザイク画素の平均化処理は図6の偏光モザイク処理部202にて実行され、フルカラー動画の生成は、画像合成部206にて実行される。
図11Bは、以上の動作をタイミングチャートで示している。図11Bの上段から照明の発光動作、撮像動作、そして偏光モザイク処理部202において処理されるカラー成分画像を示している。このタイミングの各動作は、同期回路112が、照明制御部120、モノクロ広帯域偏光撮像素子115、偏光モザイク処理部202を制御して実現する。
次に、図12および図13を参照して、偏光撮像モードの動作を説明する。
図12および図13は、それぞれ、偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この例では、図7(a)の偏光撮撮像用カラーホイールを使用する。
図12の左段は、面順次照明の分光スペクトルを示している。このB色とG色の照明は、被写体となる消化器などの粘膜の特性を考慮して決められている。B、G帯域は、R帯域に比べて短波長のため表面散乱されやすく、表面テクスチャでの光散乱を観察するのに適している。また、B、G帯域には、生体粘膜の反射特性に強い吸収が存在するため、コントラストが高くなり、表面凹凸テクスチャの観察に適している。
本実施形態では、偏光撮撮像用カラーホイールの回転により、P偏光であるB1G1とS偏光であるB2G2が交互に被写体に照射される。照明光が被写体に照射され、被写体から反射された戻り光は、モノクロ広帯域偏光撮像素子105にて観察される。偏光モザイクの基本単位801で異なる偏光成分が測定される。P偏光照明における直交ニコル(P⊥)および平行ニコル(P‖)、ならびに、S偏光照明における直交ニコル(S⊥)および平行ニコル(S‖)の合計4通りの画素情報が得られる。ただし、画素情報として空間的に不足している★で表示した画素の値は、その周囲に位置する画素の値に基づいて補間する必要がある。この補間処理は、周囲4画素からの簡単な平均化処理で実現できる。
図13は、以上の動作を示すタイミングチャートである。図13の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は、同期回路112が制御する。P偏光とS偏光の交互照射のタイミングで、それぞれに対応する直交ニコル(P⊥)(S⊥)画像と平行ニコル(P‖)(S⊥)画像とがモノクロ画像として出力される。ここで「モノクロ画像」とは、BおよびGの波長帯における偏光情報を示す輝度画像である。直交ニコル(P⊥)(S⊥)を交互に連続的に表示することにより、図5に示されたような不可視な表面凹凸を明瞭化した画像を得ることができる。
図14および図15は、それぞれ、図7(c)の偏光撮撮像用カラーホイールを使用した場合の偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この場合は、BGRの面順次カラー照明が行われる。このような撮像は、粘膜表面を、鏡面反射などを除去しつつ目視で観察する場合に特に有効である。また、生体粘膜内部の偏光特性を狭帯域の波長域として観察したい用途にも適する。
照明光は、図7(c)の偏光撮撮像用カラーホイールの回転により、P偏光であるB1G1R1とS偏光であるB2G2R2が順番に被写体に照射される。被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子105にて観察され、偏光モザイクの基本単位801で異なる成分が撮像される。得られる撮像画像は、P偏光照明においてRGBフルカラーの直交ニコル(P⊥)、平行ニコル(P‖)、S偏光照明においてRGBの各波長域について直交ニコル(S⊥)、平行ニコル(S‖)の合計12通りの画像情報となる。この場合も画素情報として不足分があるため、★で表示した画素は周囲から補間する必要がある。このような構成を採用すれば、内視鏡でのリアルタイムの観察時に、粘膜表面から鏡面反射等を除去して粘膜状態を観察しやすい。この例では、動画として高速再現を可能にするため、ホイール上の円周上のフィルタ並びの順番が、B1−G2−R1−B2−G1−R2となるようにし、RGBのカラーと偏光のPとSの種類が交番になる。
図15は、以上の動作を示すタイミングチャートで示ある。図15の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は同期回路112が制御する。P偏光とS偏光の交互照射のタイミングでそれぞれに対応する直交ニコル(P⊥)(S⊥)画像と平行ニコル(P‖)(S⊥)画像とが出力される。ただし直交ニコル(P⊥)または(S⊥)のRGBフルカラー画像を得るためには、偏光照明を固定状態でB、G、Rの面順次光が照射される期間であるTpsの時間が必要になる。従って、この時間を動画として表示できない。これは、偏光とカラーの両方の照明を面順次にて実現しているため、全ての種類の照明を照射し終わるのに時間がかかるのが原因である。内視鏡での観察では、動作の再現にリアルタイム性が要求される。そこで、実施形態では、直交ニコル画像の動画表示の目的のため、(P⊥)と(S⊥)をなるべく混合した画像をパイプライン方式に処理・表示をする。たとえば、図15のRGBフルカラー直交ニコル画像1510は、B1(P)照明下での画像1501、G2(S)照明下での画像1502、R1(P)照明下での画像1503というP偏光とS偏光が混在した直交ニコル画像で、次のタイミングで処理・表示される画像1511は、G2(S)照明下での画像1502、R1(P)照明下での画像1503、B2(S)照明下での画像1504というP偏光とS偏光とが混合した直交ニコル画像である。
このような処理を行うと、直交ニコル画像の照明にP⊥とS⊥がバランスよく含まれ、後段の凹領域検出に対して有利である。また、BGRのカラー面順次の変化を偏光の変化よりも早く変化させることにより、人間が観察する動画とした場合にカラー画像としての認識が崩れない。
図16は、凹領域検出部204、および画像合成部206での処理を説明するための図である。図17は、凹領域検出部204において、中心画素値と周辺画素平均値との差分に用いる周辺部の画素位置のマスクパターンを示す図である。凹領域検出部204には、以上の処理で生成された直交ニコル画像が入力される。
以下、図14および図15を参照しながら説明したフルカラーの直交ニコル画像が毎フレーム取得される場合の処理を例に説明する。フルカラーであるR、G、B成分からなる直交ニコル画像は、ここでは、G成分を抜き出し、図16に示す平滑化処理、微分処理、および青色強調処理の順に処理される。
(1)平滑化処理
入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。
(2)微分処理
平滑化フィルタ処理がなされたG成分画像に対して、周囲よりも明るい画素領域を検出するため以下のような微分マスク処理を行う。周囲より明るい画素領域を検出する理由は、図3〜図5を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と平行に近い場合、輝度が周囲よりも明るくなるためである。実際には、被写体の表面凹凸の向きは未知である。しかし、本開示の実施形態では、偏光照明の偏光方向が、直交する2つの方向の間で交互に変わり、(P⊥)と(S⊥)の2種類の直交ニコル画像を交互に取得できるため、問題はない。微分処理は、平滑化処理後の画像に、図17に示すような中心画素と周辺画素とを指定するマスク(ここでは3×3、5×5、7×7画素の例を示す)を設定し、周辺の周囲N=8画素、N=16画素、もしくはN=24画素の画素値Vklの平均値と中心画素値Cijとの差分値Δを算出する。こうして得られる差分値Δは、以下の数1の式で示される。
次に、中心画素値が周囲より明るい場合、以下の数2に示すように、差分値Δをk倍に増幅した値をΔCとする。もし暗い場合にはΔCは0とする。
(数2)
If (Δ>0) ΔC=k*Δ
else ΔC=0
(3)青色成分の強調
ΔC値をR、G成分から減算することにより、青色を強調する。ここで、R、G成分が0以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。R、G成分のうちで値が小さいものをC1、大きいものをC2とおいて、以下のように3種類に場合分けをする。
図18は、以下の3通りの場合を示している。
まず1)ΔCが小さい場合には、R、G信号から減算する処理を実行する。次に2)でΔCがC1を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、3)でR、G信号からの減算がゼロになった場合には、B信号から残りの信号が減算される。以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
(数3)
1)ΔC≦C1の場合
C1=C1−ΔC
C2=C2−ΔC
2)C1<ΔC≦(C1+C2)/2の場合
C1=0 C2=(C1+C2)−(2ΔC)
3)(C1+C2)/2<(ΔC)の場合
C1=0C2=0
B=B−((2ΔC)−C1−C2)
(4)画像合成部の処理
画像合成部206は、図15に示すように、面順次照明で取得される画像をR、G、B3枚分蓄積する。そして、R、G、Bの3枚の画像を1フレーム毎に合成してリアルタイム表示可能なフルカラー画像を合成する。更に、表面テクスチャの凹部に青色成分強調を施したフルカラー画像を、1フレーム時間ごとに遅延なく動画表示する。
図19は、本実施形態の画像処理装置によって得られた画像の例を示す図である。被写体はラットを解剖して胃を開いて、コルク板上に伸展固定した粘膜である。図19(A)および図19(B)は、それぞれ、この被写体の平行ニコル画像および直交ニコル画像を示す。図19(C)は、本実施形態に示した凹部検出処理を実行した画像を示す。図19(C)では、モノクロ画像が表示されているが、実際に得られる画像はフルカラー画像であり、胃の表面粘膜上に存在する表面凹凸テクスチャを検出して擬似的に青く着色している状態を示す。
(第2の実施形態)
図20は、本開示の実施形態2における画像処理装置の全体構成を模式的に示す図である。本実施形態では、白色(ホワイト)光を照射して単板カラー撮像素子119にてカラー撮像を行う。本実施形態では、白色光を被写体に照射する際、偏光回転照明を実現する。この目的のため、本実施形態では、光源装置104には照明制御部のみを配置し、内視鏡の先端部に配置したLED、あるいは有機EL面光源などで照明光を生成する。
本実施形態においては、例えば図21に示すように、内視鏡の先端に偏光面が0°(P)、90°(S)の照明光の照射口が交互に多数(ここでは16分割で)配列されている。この例では、交互に隣接しない同種の8個のLEDが選択されて点灯することによってP偏光とS偏光の交互の偏光照明が実現される。
図22(A)は、偏光回転照明の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くすることにより、点灯する光源位置の変動が撮像側で1画素以内に抑制され得る。図22(B)は、この面照明の全体構成を示す図であり、面照明のX軸とY軸の各軸に順次点灯を制御するためのデータドライバが用意されており、X軸とY軸でアドレスされる画素が一斉に点灯する。たとえば、ここではX軸とY軸の両方が偶数の画素(X2mとY2m)が一斉に点灯すると、それは偏光面が0°の照明光となる。そしてX軸とY軸のデータドライバの偶数、奇数の組みあわせによって、0°(P)、90°(S)の偏光透過面を有する照明光が得られることになる。
このような面照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけが変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、臓器の表面粘膜における非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。
図23は、本実施形態で用いるカラー偏光撮像素子119の断面構造の例を示す図である。図10に示したモノクロ広帯域偏光画像撮像素子115と異なるのは、カラーフィルタ240がワイヤグリッド層224からPD(フォトダイオード)232までの間に配置されることである。このカラーフィルタ240は、有機物から形成されても良いし、フォトニック結晶または金属から形成されてもよい。光の入射側からPD232までの光の進行方向からみた場合、マイクロレンズ220、第1ワイヤグリッド層222、第2ワイヤグリッド層224、カラーフィルタ240の配置の取りえる順序は計6通りあり、各々でその利点が異なる。ワイヤグリッド224とPD232との間の距離DEPTHは、カラーフィルタ240が入る分長くなるため、典型的には4〜6μmである。
図23の構成(最上層からマイクロレンズ220・第1ワイヤグリッド層222・第2ワイヤグリッド層224・カラーフィルタ240)では、マイクロレンズ220が最上層に位置するため、ワイヤグリッドに垂直に光を入射させやすい。
図24は、図23のカラー偏光撮像素子119の平面構造を示す図である。図24(A)はカラー単板撮像素子と同じ平面構造を示す。図24(A)の構成例では、4×4画素領域を拡大し、直上から観察して、図24(B)のカラーモザイク構造と図24(C)の偏光モザイク構造とが、画素ごとに重なった状態にある。
図24(B)は、カラーモザイクフィルタの1例を示しているが、本開示の実施形態で使用され得るカラーモザイクフィルタは、この例に限定されない。ベイヤーモザイク以外の他のモザイク構造でも構わない。この例では、カラーモザイクに含まれる1色のフィルタが、2行2列に配置された4個の画素(4個のフォトダイオード)の領域をカバーする。2×2画素領域は、図24(C)の4種類の偏光モザイク領域に相当する。すなわち、サブ画素を基準にすると、イメージセンサの解像度は本来の画素の1/2×1/2となって画素数は低下するが、1画素内で偏光処理をすることにより偏光処理の結果発生するアーティファクトを低減させることができる。
次に図25を参照して、本実施形態における通常撮像モードの動作を説明する。被写体には、White(白色)のP偏光とWhite(白色)のS偏光とが交互に照射され、その都度、偏光カラーモザイク画像が取得される。P偏光の照射時には、偏光モザイク2502によって偏光画素パターン2503が、S偏光の照射時には、偏光画素パターン2504が取得される。ここで、P‖およびP⊥は、それぞれ、P偏光の照射時における平行ニコル状態および直交ニコル状態の画素を示している。同様に、S‖およびS⊥は、それぞれ、S偏光照射時における平行ニコル状態および直交ニコル状態の画素を示す。偏光モザイク処理部202では、この偏光画素パターン2503と偏光画素パターン2504の画像を画素毎に加算平均を実行する。偏光画素パターン2503と偏光画素パターン2504において、各カラー画素での加算平均処理を行うと、平行ニコル状態の画素値と直交ニコル状態の画素値とが以下のように均等に混合される。
(数4)
(NP)=(P‖+P⊥+S‖+S⊥)/4
加算平均の結果Vは、元々の解像度からは1/2×1/2に低下した非偏光(NP)のカラーモザイク画像2505が得られる。この非偏光カラーモザイク画像2505からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
図26は、以上の動作を示すタイミングチャートである。図26の上段から照明の発光動作、撮像動作、そして偏光モザイク処理部202において処理されるカラー成分画像を示している。このタイミングの動作は、同期回路112が制御する。P偏光とS偏光の交互照射のタイミングでそれぞれに対応する偏光画素パターン2503、2504が撮像される。偏光モザイク処理部202では、図25に示された偏光画素パターン2503、2504の加算平均処理を実行して非偏光カラーモザイク画像2505が得られる。次に、カラーモザイク補間処理にて、RGBフルカラー画像を得る。したがって、P偏光照明とS偏光照明とが照射されて1枚のRGBフルカラー画像を得ることが可能になる。実際には、図26に示すように、時間的に隣接するP偏光照明およびS偏光照明の処理を連続することによって1フレーム時間毎に画像が遅延なく動画として生成される。
図27は、本実施形態における偏光撮像モードの動作を説明するための図である。偏光撮像モードでは、P偏光とS偏光が交互に被写体に照射され、その都度、偏光のカラーモザイク画像が取得される。ここで得られる偏光画素パターン2503、2504は、図25の偏光画素パターン2503、2504と同一である。偏光モザイク処理部202では、画素パターン2503、2504の両方を使って、該当する画素ごとに、P‖とS‖、およびP⊥とS⊥を選択・集積処理する。こうすることによって、PS偏光混合の平行ニコル画像2701とPS偏光混合の直交ニコル画像2702を分離して生成する。そして同一カラー画素内の4画素を以下のように加算平均する。
(数5)
(PS‖)=(P‖+S‖+P‖+S‖)/4
(PS⊥)=(P⊥+S⊥+P⊥+S⊥)/4
この処理の結果得られる偏光画像は、元々の解像度からは1/2×1/2に低下したカラーモザイク画像2703、2704である。カラーモザイク画像2703および2704内の同一カラー画素は、P偏光照明とS偏光照明を均等に含んだ状態での平行ニコル画像PS‖と直交ニコル画像PS⊥を構成している。直交ニコル画像PS⊥について、カラーモザイク補間が実行され、フルカラーの直交ニコル画像が生成される。この直交ニコル画像に対しては、凹領域検出部204および画像合成部206で第1の実施形態について説明した処理と同様の処理が行われる。
図28は、以上の動作を示すタイミングチャートである。図28は、上段から照明の発光動作、撮像動作、そして偏光モザイク処理部202、カラーモザイク補間部208、凹領域検出部204、画像合成部206において処理されるカラー画像を示している。照明と撮像の動作までは、図26の通常撮像モードのタイミングチャートと同一である。偏光モザイク処理部202での動作では、P偏光照明とS偏光照明の撮像画像をフレームごとに用いてPS混合偏光での平行ニコル画像2701とPS偏光混合の直交ニコル画像2702を生成する。すなわち、フレームごとに同時に2種の偏光画素パターン2701、2702が生成される。また、それらを加算平均したカラーモザイク画像2703とカラーモザイク画像2704も同時に生成される。カラーモザイク画像2703、2704の解像度は1/2×1/2に低下している。直交ニコル画像2704は、第1の実施形態に関する図16を参照しながら説明したように、凹領域検出部204と画像合成部206において表面テクスチャの凹部で青色成分強調を施したフルカラー画像として毎フレームごとに表示部114で動画表示される。
(第2の実施形態の変形例1)
図29は、本開示の実施形態2の変形例1を示す図である。図29(A)は、図23に示された第2の実施形態におけるカラー偏光撮像素子119の平面構造を示す図である。図29(A)は、カラー単板撮像素子と同じ平面構造を示している。図29(B)は、カラーモザイクにおける4×4個のカラーフィルタの配置例を示し、図29(C)は、偏光モザイクにおける8個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、4×4個の画素(PD:フォトダイオード)をカバーするように積層されている。
本実施形態では、カラーモザイクの2色のカラーフィルタと1個の長方形の偏光子とが対応している。他の構成は、第2の実施形態の構成と変わらない。
図29(C)における角度表示の0°の偏光子が位置する画素が、P偏光の透過画素であり、90°の偏光子が位置する画素がS偏光の透過画素である。0°の偏光子と90°の偏光子とが市松配列を形成していない。すなわち、撮像面内において垂直方向または水平方向に隣接する2個の画素に同一の偏光が入射するように偏光モザイクが構成されている。これは、RGB画素のうち2画素を占めるG画素に必ず0°の偏光子と90°の偏光子が割り当てられるようにするためである。このような構成によれば、0°の偏光子が、RGの2画素とBGの2画素に割り当てられ、90°の偏光子がGBの2画素とGRの2画素に割り当てられている。
図30は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、White(白色)のP偏光とS偏光とが交互に照射され、その都度画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが3001のような配列であるため、P偏光の照射時には、3002で示す偏光画素パターンが、S偏光の照射時には3003で示す偏光画素パターンが取得される。ここで、P‖、P⊥はP偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示し、同様に、S‖、S⊥はS偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示す。偏光モザイク処理部202では、この偏光画素パターン3002、3003を画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられる。
(数6)
(NP)=(P⊥+S‖)/2
(NP)=(P‖+S⊥)/2
加算平均の結果Vは、非偏光のカラーモザイク画像3004が得られる。この際に第2の実施形態にあったような解像度の低下がない。この非偏光カラーモザイク画像3004からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
図31は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はP偏光とS偏光が交互照射され、その都度画像が取得され、偏光画像パターン3102、3103が取得される。偏光モザイク処理部202では、この偏光画素パターン3102、3103を両方使って、該当する画素ごとに、P‖とS‖、およびP⊥とS⊥を収集し埋め込み処理をする。こうすることによって、PS偏光混合の平行ニコル画像3104とPS偏光混合の直交ニコル画像3105とを分離生成する。この処理の結果得られる偏光画像は、カラーモザイク画像3106、3107であり、それぞれ、P偏光照明とS偏光照明を均等に含んだ状態での平行ニコル画像PS‖と直交ニコル画像PS⊥である。直交ニコル画像PS⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部204、画像合成部206において第1の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは、第2の実施形態に関するタイミングチャートと同様である。
(第2の実施形態の変形例2)
図32は、本開示の実施形態2の変形例2を示す図である。図32(A)は、図23のカラー偏光撮像素子119の平面構造を示す図である。図32(B)は、カラーモザイクにおける4×4個のカラーフィルタの配置例を示し、図32(C)は、偏光モザイクにおける4個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、4×4個の画素(PD:フォトダイオード)をカバーするように積層されている。
本実施形態では、カラーベイヤ・モザイクの1単位の4画素と偏光モザイクの1単位とが対応している。他の構成は、第2の実施形態と変わらない。図32(C)における角度表示の0°の偏光子が位置する画素がP偏光の透過画素であり、90°の偏光子が位置する画素がS偏光の透過画素である。偏光モザイクの0°の偏光子と90°の偏光子とは市松配列を形成している。各々に同一のカラーベイヤ・モザイクが包含される配列としている。
図33は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、White(白色)のP偏光とS偏光とが交互に照射され、その都度、画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが配列3301を有するため、P偏光の照射時には、偏光画素パターン3302が、S偏光の照射時には偏光画素パターン3303が取得される。ここで、P‖、P⊥、S‖、S⊥は既出の意味を持つ。偏光モザイク処理部202では、この偏光画素パターン3302、3303を有する画像について、画素毎に加算平均を実行する。加算平均処理では、平行ニコルと直交ニコル状態の画素が均等に混合される(数6)。
加算平均の結果Vは、非偏光のカラーモザイク画像3304が得られる。この際に第2の実施形態にあったような解像度の低下がない点が特徴である。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
図34は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はP偏光とS偏光が交互照射され、その都度画像が取得され、偏光画素パターン3402、3403が取得される。
偏光モザイク処理部202では、偏光画素パターン3402、3403を両方使って、該当する画素ごとに、P‖とS‖、およびP⊥とS⊥を収集し埋め込み処理することによってPS偏光混合の平行ニコル画像3404とPS偏光混合の直交ニコル画像3405を分離生成する。この処理の結果得られる偏光画像は3406と3407のようなカラーモザイク画像であり、それぞれ、P偏光照明とS偏光照明を均等に含んだ状態での平行ニコル画像PS‖、と直交ニコル画像PS⊥である。直交ニコル画像PS⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部204、画像合成部206において第1の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは第2の実施形態のタイミングチャートと同様である。
(第3の実施形態)
図35は本発明の第3の実施形態の構成を示す図である。本実施形態も、白色(ホワイト)光を被写体に照射して単板カラー撮像素子にてカラー撮像を行う。第2の実施形態と異なるのは、レンズ開口部に偏光板とカラーフィルタが配置されている点、撮像面上にマイクロレンズアレイが配置されたマイクロレンズアレイ型カラー偏光撮像部3501を備えている点、および、マイクロレンズアレイ型素子特有の画像処理を行うための画素選択再集積部210を備えている点である。
図36は、本実施形態における内視鏡先端部を正面から拡大した図である。内視鏡先端には偏光面が0°(P)、90°(S)の異なる照明光の照射口が交互に多数(ここでは16分割で)配置されている。この照明にて交互に隣接しない同種の8個のLEDが選択されて点灯し、撮像をすることによってPとSの交互の偏光照明が実現される。開口部となる対物レンズ3502上には、図で示すように2×2合計4種類のカラーと偏光の複合フィルタ領域が配置されている。これらはRとBの非偏光カラーフィルタ領域とGの0°(P)および、Gの90°(S)の2種類の直交したカラー偏光フィルタ領域である。
図37は、このマイクロレンズアレイ型カラー偏光撮像部3501の構成例を示す図である。図37では、説明図の都合上、対物レンズ3502上の4領域のうち、図36におけるGフィルタの2領域、すなわち、Gフィルタと0°(P)偏光フィルタを配置した領域3701とおなじくGフィルタと90°(S)偏光フィルタを配置した領域3702の2つの領域のみを記載している。
図37に示されるように、被写体上の1点3700から発散した光は、対物レンズ3502上の2領域3701、3702をそれぞれ透過しアレイ状光学素子3703を経由してモノクロ撮像素子の撮像面3704に到達する。この際対物レンズ上の領域の像が異なる2個の画素3705に到達するため、撮像面3704上に形成される像は、全体としては被写体の像であるが、詳細には異なる2領域の像から成立する画像となる。ここから画素を選択して集積するデジタル画像処理を行うことによって、2領域を透過した画像を分離生成することができ、同時にモノクロ撮像素子を用いながらカラー画像を得ることができる。
図38は、開口部のカラー偏光フィルタ領域3701、3701の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層3801が用いられている。ワイヤグリッド層3801は、例えばピッチが100nm程度の金属ワイヤが透明基盤3802上に形成され得る。その下層にはカラーフィルタ3803が配置されている。カラーフィルタ3803の次の段に対物レンズ3502が配置される。ここでカラーフィルタ、ワイヤグリッド層、対物レンズの配置順番、レンズとの間隙の有無は任意である。また、偏光板としてはワイヤグリッド以外のポリマー系偏光板、フォトニック結晶を用いた偏光板、構造服屈折を用いた偏光板など既存の技術を利用可能である。
図39は、このマイクロレンズアレイ型カラー偏光撮像素子を用いた撮像結果からカラー偏光画像を生成する画素選択再集積部210での処理を説明するための図である。撮像素子3704上のイメージから2×2の画素ユニットごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し再度集積することによって、解像度は1/2×1/2に低下するが、それぞれGのP(0°)偏光画像3901、Rの非偏光画像3902、Bの非偏光画像3903、GのS(90°)偏光画像とを分離することができる。ここから、RGBの非偏光カラー画像、およびG波長領域におけるP/S偏光画像を得ることができる。
図40は、本実施形態における内視鏡において通常撮像モードと偏光撮像モードで取得される画像を示している。通常撮像モードでも偏光撮像モードにおいてもWhite(白色)の偏光照明はP偏光とS偏光が交互に照射され、その都度画像が取得され、図39の処理を得て1回の同一シーン撮像につき4種のカラー偏光画像が分離取得される。この分離取得される4種のカラー偏光画像を4001のように表示する。この表示方法は従来のように個々の画素を表現するものではなく4枚の画像全体を表現している。P偏光の照射時には、偏光画像4002が、S偏光の照射時には偏光画像4003が取得される。ここで、P‖、P⊥、S‖、S⊥は前述の意味を持つが、PまたはSは、P偏光照明またはS偏光照明下にて特別な偏光フィルタなしに非偏光で撮像された画像という意味を持つ。通常撮像モードでは、この画像4002、4003について、画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられ、この結果は近似的には非偏光画像になる。
(数7)
(NP)=(P⊥+S‖)/2
(NP)=(P‖+S⊥)/2
(NP)=P+S
加算平均の結果Vは、非偏光カラーモザイク画像4004が得られる。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
偏光撮像モードにおいても画像4002と画像4003とが交互に取得される段階までは同様であるが、G画像のみで平行ニコルと直交ニコル画像を集めることによりG波長域においてPS‖4005とPS⊥4006の2種類の偏光画像を生成することができ、第1の実施形態における図13のように出力画像はモノクロ画像となる。
本実施形態のようなマイクロレンズアレイ型偏光撮像素子の利点は、レンズ開口部に偏光板を配置できるため、個々の偏光モザイク素子のサイズが撮像素子上へ配置するよりもサイズ的に大きくできることである。たとえば、実施形態1、2で用いた偏光モザイク型の撮像素子では、偏光モザイク単位を形成する金属ワイヤ長は撮像素子の画素サイズに等しく2〜3μmである。このような微細サイズではたとえワイヤグリッド個々の金属線のピッチは微細であってもワイヤグリッド長さや繰り返し本数が制限されるため偏光板としての消光比性能は10:1程度に低下するとされている。本実施形態では、レンズ開口部のサイズである0.5mm=500μm程度の比較的大判のワイヤグリッド偏光板を用いることができ、100:1程度の高い消光比を実現することができ、内視鏡における表面微細パターンの観察の明瞭化で極めて有利となる。
(第4の実施形態)
図41は、本発明の第4の実施形態の構成を示す図である。本実施形態も第2の実施形態と同様、白色(ホワイト)光を照射して単板カラー撮像素子にてカラー撮像を行う。第2の実施形態とは、マイクロレンズアレイ型カラー偏光撮像部4101を用いている点が異なる。本実施形態におけるマイクロレンズアレイ型カラー偏光撮像部4101は、以下の構成において第3の実施形態に用いられたマイクロレンズアレイ型カラー偏光撮像部から異なる。
図42Aは、このマイクロレンズアレイ型カラー偏光撮像部4101の構成例を示す図である。レンズ開口部には、広帯域型の0°(P)透過軸と90°(S)透過軸を有する偏光フィルタ4103のみを配置し、カラー化はベイヤーモザイク4105を有する単板カラー撮像素子4104で実行する。こうすることにより、偏光とカラーの動作を分離している。これによってRGBのフルカラーの平行・直交ニコル画像を得ることができる。後述するように、マイクロレンズ3703の作用によって、偏光フィルタ4103の4種の領域(UL)(UR)(DL)(DR)を透過した光線は、カラーモザイクフィルタ4105の(UL1)(UR1)(DL1)(DR1)の4領域にそれぞれ結像する。
図42Bは、マイクロレンズアレイ型カラー偏光撮像部4101の断面構成の例を模式的に示している。図42Bでは、対物レンズ3502上の4領域のうち図41における90°偏光フィルタを配置した領域4201とおなじく0°偏光フィルタを配置した領域4202の2つの領域のみを記載している。被写体上の1点3700から発散した光は、対物レンズ3502上の2領域4201、4202をそれぞれ透過し、アレイ状光学素子3703を経由してカラーモザイクを配置したカラー撮像素子面4203に到達する。この際、対物レンズ上の2つの領域4201、4202を通過する光線による像が、異なる画素4204に到達する。このため、撮像面4203上に形成される像は、全体としては被写体の像であるが、詳細には異なる0°と90°の偏光領域の像から成立する。各領域4201、4202の像は、カラー撮像素子4203上のカラーモザイク2画素に対応している。
図43は、本実施形態における開口部の偏光フィルタ領域4201、4202の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層3801が用いられている。ワイヤグリッド層3801は、例えばピッチが100nm程度の金属ワイヤが透明基盤3802上に形成され得る。このようなワイヤグリッド層3801によれば、可視光範囲の広帯域で偏光動作を実現できる。
次の段には対物レンズ3502が配置される。ここで、ワイヤグリッド層3801と対物レンズ3502の配置順番、ワイヤグリッド層3801と対物レンズ3502との間隙の有無は任意である。偏光板は、可視光帯域の広い範囲にて偏光動作を実現するであれば、ワイヤグリッド偏光板以外のポリマー系偏光板であっても良い。
図44は、画素選択再集積部210の処理を説明する図である。撮像素子4203上のイメージから2×2の画素単位ごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し、再度集積することによって、解像度は1/2×1/2に低下するが、それぞれP(0°)偏光カラー画像4401、S(90°)偏光カラー画像4402、S(90°)偏光カラー画像4403、P(0°)偏光カラー画像4404とを分離することができる。これ以降はカラーモザイク補間部208の処理を行う。
本実施形態では、1種の偏光フィルタ内にRGBGという2×2カラーベイヤ・モザイク単位が含まれるため、第2の実施形態の変形例2と同様の情報が得られる。さらにマイクロレンズ型偏光撮像素子の利点として、レンズ開口部に偏光板を配置できるため、サイズが大判のワイヤグリッド偏光素子を用いることができ、100:1程度の高い消光比を実現することができる利点を有する。
上述の画像4401、4404と画像4402、4403とは、ほとんど同一の画像であるため、情報に冗長性を有している。しかし、これらの画像は、レンズの異なる位置を透過した光線から形成されるため、被写体までの距離が近い場合には、視差が存在する。以下の実施形態では、視差を利用して立体視を可能にする。
(第5の実施形態)
図45は、本開示の第5の実施形態における画像処理装置の全体構成を示す図である。本実施形態では、被写体表面の凹凸テクスチャを観察できる機能を有し、更に視差を利用した立体視をも可能になる。本実施形態が第1の実施形態と異なる部分は、モノクロ広帯域偏光撮像素子115がマイクロレンズアレイ型モノクロ偏光撮像部4501に変更されていること、画像プロセッサ110内に画素選択集積部210、視差画像合成部250を有すること、画像表示部114が立体画像表示部4501に変更されていること、および、画像観察時に立体メガネ4502を利用することである。
マイクロレンズアレイ型モノクロ偏光撮像部4501は、基本的には、図37に示したマイクロレンズアレイ型カラー偏光撮像部3501と同じ構成を有しているが、開口部には図43に示されるように偏光板のみ設けられ、カラーフィルタが設けられていない。
検査用の内視鏡では、微細な鉗子を用いた粘膜の採集(いわゆる生検)や粘膜の除去治療を行う手術などにおいて、鉗子と粘膜との距離を認識するための立体視が有効である。本実施形態では、前述の実施形態で用いた開口型偏光撮像部の一部に左右の透明(スルー)領域を設けることによってレンズ内の左右領域の重心どうしの間隔を基線長とするステレオ視入力系を形成する。すなわち、左右の領域を透過した光線から、マイクロレンズアレイ型光学系を用いて視差画像を生成する。視差画像は、立体画像表示部4501に表示される。視差画像を交互が表示される場合、左右に設けたシャッタが交互に開閉する立体メガネ4502を装着すれば、表示された画像を立体的に視認することが可能になる。なお、立体画像表示4501の構成によっては、立体メガネ4502が無くても立体像を視認することが可能になる。
図46は、内視鏡先端部における開口部と対物レンズ、レンズ上のフィルタ配置等を説明する図である。図46(A)は内視鏡先端部の斜視図であり、鉗子口から手術時に鉗子4604がせり出した状態を示している。図46(B)は、内視鏡先端部を正面から見た拡大図である。図46(B)に示されるように、内視鏡先端部は、照明レンズ107、開口部4602、および鉗子口4603を有する。開口部4602には、対物レンズが設けられている。鉗子4604は、図46(A)に示すように、手術時に鉗子口4603から突出するが、通常は、内視鏡内部に格納されている。図46(C)は、開口部4602の拡大図である。図46(C)に示されるように、照明レンズ107上には2行2列に配列された4個の領域が設けられている。
図46(D)は、開口部4602の拡大図である。開口部4602上に配置された2行2列の4個の領域のうち、第1行の左上(UL)および右上(UR)の2領域は透明(スルー)であり、第2行の左下(DL)および右下(DR)の2領域は、ぞれぞれ、P(0°)偏光透過領域およびS(90°)偏光透過領域である。これら偏光透過領域には、偏光透過軸の方向が交差している2個の偏光フィルタが配置されている。このような偏光フィルタは、例えば図38に示したようなワイヤグリッドから構成され得る。
本実施形態によれば、開口部4602の左側の列に位置する領域(左側領域)を通過した光線による画像と、右側の列に位置する領域(右側領域)を通過した画像とを分離して取得することができる。それらの2種類の画像の間には、開口部4602の左側領域の重心と右側領域の重心との距離(DIS)だけ視差が発生する。
図47は、画素選択再集積部210の画像処理を模式的に示す図である。本実施形態によれば、被写体の一点で反射された光線が、開口部4602の領域UL、UR、DL,DRの各々を透過した後、撮像面3704の近傍のマイクレンズによって異なる光検知セルに入射するようにマイクロレンズアレイが構成されている。すなわち、個々のマイクロレンズが撮像面3704における4個の光検知素子からなる単位構造をカバーするよう配置されている。図46(D)に示される4個の領域を通過した光線は、それぞれ、図47の上部に示す撮像面3704の各単位構造に含まれる4個の光検知セルに入射する。このため、マイクロレンズアレイ型モノクロ偏光撮像部4501の開口部4602における領域UL、UR、DL,DRの各々を透過した光線による4種類の画像が、図47に示されるように、分離して生成され得る。その結果、透明な領域ULを通過した光線から得られる画像と、透明な領域URを通過した画像とからなる左右の視差画像が得られ、また、偏光フィルタが配置された2個の領域DL、DRからは、前述した処理により、P偏光の画像およびS偏光の画像が得られる。
なお、領域DL、DRからえられる偏光画像の間に大きな視差が発生すると、前述した処理によって被写体表面の溝部を検知することが難しくなる。しかし、偏光画像を取得するモードでは、このような視差が問題にならない。以下、この理由を説明する。
図48の上側は、内視鏡を用いて手術を行うときの内視鏡先端部から被写体までの距離(被写体距離)を示している。図48の下側は、内視鏡を用いて検査を行うときの内視鏡先端部から被写体までの距離を示している。手術時において鉗子を用いて粘膜表面を切除する際、内視鏡先端部から被写体粘膜までの距離は、おおよそ5〜20mm程度である。一般にステレオ視では、基線長さの15から30倍程度の被写体距離を立体視できるとされている。内視鏡の対物レンズの直径は1mm程度であるから、透明領域間の重心距離DISは約0.5mm程度になり、ちょうど上記被写体距離の立体視に最適な視差が得られる。これは左右画像上では、たとえば距離X1と距離X2との差に相当する距離だけ、シーンの画素ズレが発生し得る。一方、検査時では、臓器表面の広い領域を観察する必要から被写体距離は50mm〜100mm程度である。この場合、内視鏡先端部から被写体までの距離が長いため、視差は発生せず、左右画像で画素ズレは実質的に0とみなすことができる。
したがって、被写体距離が長い検査時には、偏光撮像モードにおいて、被写体表面の凹凸テクスチャを検出して、溝部を擬似的に青く着色する画像を確認しておき、次に被写体距離を短くして立体観察モードに移行してからは、立体視を行いながら、被写体の粘膜表面を切除するようにすればよい。手術中には、視差が大きくなって偏光撮像の処理が実現しにくいが、近接距離であればインジゴカルミン溶液を実際に撒布できるので表面テクスチャ観察には問題ない。
図48に示された視差を有する左右画像は、本実施形態では動画として立体画像表示部4501に再現される。画像観察時には立体メガネ4502を利用することで再現される。
図49は、視差画像の左画像LL、右画像RRを立体画像表示部4501に交互に表示することにより、使用者が立体画像を観察している様子を示す図である。立体画像表示部4501には、期間T1の間にはLL画像のみが示され、次の期間T2の間にはRR画像のみが示される。この映像は偏光フィルタ板などを透過させることによって直線または円偏光の光4903として発光する。観察者は液晶シャッタなどから構成される立体メガネ4502をかけてこれを観察する。立体メガネの液晶シャッタは、立体画像表示部4501に同期して偏光4903に対してオープン(透過)とクローズ(遮断)を繰り返す。すなわち、期間T1の間はL液晶シャッタがオープンでR液晶シャッタがクローズとなり、期間T2の間はL液晶シャッタがクローズでR液晶シャッタがオープンとなる。期間T1、T2を十分に短く設定し、これらの期間を繰り返すことにより、人間の視覚系では立体視が成立する。
本実施形態では、1つのシーンに対して、同時に0°(P)と90°(S)の2種の偏光画像が得られる。これは、第1の実施形態の装置で得られる偏光画像に相当するため、第1の実施形態について説明した面順次照明と組み合わせることにより、通常撮像モードおよび偏光撮像モードを実現でき、更に本実施形態では立体撮像モードが付加される。
(第6の実施形態)
図50は、本開示の第6の実施形態における画像処理装置の全体構成を示す図である。本画像処理装置は、第2の実施形態と同様、白色(ホワイト)光を照射して単板カラー撮像素子にてカラー撮像を行う。本実施形態でも、表面凹凸テクスチャを観察できる機能を有したまま、視差を利用した立体視をも可能にする。
本実施形態が第4の実施形態と異なる点は、マイクロレンズアレイ型カラー偏光撮像部4101に用いる開口部のフィルタの左右領域に透明(スルー)領域が設けられていることと、画像プロセッサ110内に視差画像合成部250を有すること、画像表示部114が立体画像表示部4501に変更されていること、画像観察時には立体メガネ4502を利用することである。マイクロレンズアレイ型カラー偏光撮像部4101の構成は、対物レンズ3502の前に一対の透明領域が設けられている点を除けば、図42Bに示される構成と同じである。本実施形態でも、図42Bに示されるマイクロレンズアレイ3703に含まれる個々のマイクロレンズが、撮像面4203における4×4個の光検知セルを覆っている。
図51は、本実施形態における内視鏡先端部の構成例を示す図である。図51(A)は、内視鏡先端部の斜視図であり、鉗子口4603から手術時にせり出した鉗子4604が記載されている。図51(B)は、内視鏡先端部を正面から見た拡大図であり、照明レンズ107、開口部4602、鉗子口4603が示されている。図51(C)は開口部4602の拡大図である。図51(D)は、開口部4602上の2行2列に設けられた4個の領域の拡大図である。開口部4602の構成は、第5の実施形態における開口部4602の構成と同一である。
図52は、開口部4602の領域DL、DRに設けられた一対の偏光フィルタと、撮像面4203上のカラーモザイクフィルタとの対応関係の一例を示している。マイクロレンズアレイ3703の作用により、開口部4602の領域UL、UR、DL、DRの各々を透過した光線は、カラーモザイクフィルタの4個の単位領域UL1、UR1、DL1、DR1にそれぞれ結像する。4個の単位領域UL1、UR1、DL1、DR1は、それぞれ、異なる色のカラーフィルタを含んでいる。本実施形態では、各単位領域がベイヤ配列を形成している。
図53は、画素選択再集積部での画像処理を説明するための図である。撮像面4023上に形成されたイメージから2行2列に配置された4個の画素単位ごとに、それぞれ、左上、右上、左下、右下の画素を全画像にわたって選択し、再度集積する。こうすることにより、解像度は1/2×1/2に低下するが、それぞれ、左カラー画像LL5301、右カラー画像RR5302、S(90°)偏光カラー画像5303、P(0°)偏光カラー画像5304を分離することができる。
本実施の形態では、各偏光フィルタに対応してRGBGという2×2ベイヤカラーモザイク単位が含まれるため、第4の実施形態の装置で得られた情報と同等の情報が得られ、かつ、視差画像を取得することもできる。
(第6の実施の形態の変形)
図54を参照して第6の実施形態の変形例を説明する。マイクロレンズアレイ型カラー偏光撮像素子4101の開口部4602における偏光透過領域および透明領域の配列は、図51(C)に示された例に限定されない。図54(A)の例は、2行2列の4個の領域の対角位置に0°と90°の偏光フィルタが配置され、他の2個の領域は透明領域である。この配列では、透明領域の重心間距離DISを、前述の配置例における重心間距離DISの1.4倍程度に拡大できる。このため、左右画像の視差を大きくできる。
図51(B)の例では、開口部4602に2行3列に配置された6個の領域が設けられている。開口部4602の中心付近の視差が少ない領域に0°と90°の偏光フィルタが設けられ、開口部4602内の左右の離れた位置に透明領域が設けられている。この配置により、重心間距離DISをさらに大きくすることができる。この配置を採用すれば、被写体距離が短い場合においても、偏光撮像時で左右画像の画素ズレが少なくなり、より長い被写体距離でも立体視が可能になる。
図51(C)の例では、開口部4602に4行4列に配置された16個の領域が設けられている。開口部4602の中心付近の視差が少ない領域に0°と90°の偏光フィルタが配置され、開口部4602内の左右上下の離れた位置に透明領域が設けられている。従って、偏光撮像時の画像の画素ズレが少なくなり、立体視が左右のみならず上下でも可能になる。なお、図54(B)、(C)の例では、開口部4602の配列パターンに整合するように、マイクロレンズアレイ3703の配列を設定する。すなわち、撮像面において、それぞれ、2行3列の6個の光検知セルおよび4行4列の16個の光検知セルが各基本単位を構成する。
従来、内視鏡の光学系は、フォーカス合わせを不必要にするため、焦点深度を深く設定してきた。このような光学系では、ボケ量が少なく、対物レンズの左右領域の各々を透過した光線は撮像面上で大きな画素ズレを発生しない。そのため、従来の内視鏡では単眼立体視が困難である。本開示の実施形態では、焦点深度が浅い光学系を用いて、単眼立体視を有効にすることができる。マイクロレンズアレイ型の撮像素子を用いる場合、焦点深度が深い画像を必要とするときには、画素選択によってレンズ中心付近のみを透過した光線による信号を集積すれば、レンズを絞った効果と同様の効果を得ることができ、焦点深度が深い画像を生成できる。
(第7の実施形態)
図55は、本開示の第7の実施形態における画像処理装置の全体構成を示す図である。本画像処理装置は、第1、第5の実施形態と同様、面順次方式で動作する。本実施形態では、表面凹凸テクスチャを観察できる機能を有しつつ、視差を利用した立体視をも可能にする。本実施形態の特徴点は、第5の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の代わりに複眼レンズ型カラー撮像部を搭載している点にある。複眼型カラー撮像部とは、複眼カメラと同様に複数のロッドレンズを備える複眼レンズ部5601が内視鏡先端部に配置され、被写体の複数の像がカラー撮像素子5503の撮像面上に結像する。
図56は、内視鏡先端部を示す拡大図である。図56(A)は内視鏡先端部の斜視図を示し、図56(B)は先端部の正面図を示す。複眼レンズ部5601を拡大した図が図56(C)である。本実施形態では、複眼レンズ部5601に4個のロッドレンズUL、UR、DL、DRが配置されている。ロッドレンズUL、URは透明領域であるが、ロッドレンズDLには0°(P)透過軸を有する偏光フィルタが設けられており、ロッドレンズDRには90°(S)透過軸を有する偏光フィルタが設けられている。
図57は、画像分離部260の処理を示す図であり、撮像面4203上の上下左右の画像が分離される。この4枚の画像への分離により、1種類の照明光の照射に対して、視差を有する非偏光画像5701、5702および、P偏光画像5703とS偏光画像5704が得られる。これらの処理は、第5の実施形態について説明した通りである。
(第8の実施形態)
図58は、本開示の第8の実施形態における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、第2、第4、第6の実施形態と同様、白色(ホワイト)光を照射して単板カラー撮像素子にてカラー撮像を行う。本実施形態でも、被写体の表面凹凸テクスチャを観察できる機能を有しつつ、視差を利用した立体視が可能になる。
本実施形態の特徴点は、マイクロレンズアレイ型カラー偏光撮像部の代わりに複眼レンズ型カラー撮像部5502を搭載する。
図59(A)は内視鏡先端部の斜視図であり、図59(B)は内視鏡先端部の正面拡大図である。複眼レンズ部5601を拡大した図が図59(C)である。照明光を出射する構成以外は、図56を参照して説明した第7の実施形態の構成と同一である。
図60は、画像分離部260の処理を示す図であり、撮像面4203上の上下左右の画像が分離され、後段のカラーモザイク補間部208へ処理が進む。カラーモザイク補間部208の処理も前述した通りである。
なお、第1の実施形態および第7の実施形態では、面順次方式の照明光照射を行い、それらの実施形態以外の実施形態では、白色の偏光照明を行い、直交ニコル画像(P⊥)、(S⊥)を取得している。偏光照明の偏光方向を45度づつ回転させ、4種類の偏光照明について、直交ニコル状態の画像(0°⊥)、(45°⊥)、(90°⊥)、(135°⊥)を取得してもよい。その場合、偏光照明の偏光方向を45°づつ回転できるようにし、同時に偏光撮像素子でも45°づつ回転させた偏光モザイクアレイを使用する。4種類の偏光画像を取得するため、1回の撮像に時間がかかるが、表面凹凸テクスチャをより高精度に取得できる。
(第9の実施形態)
図61は、本開示の第9の実施形態における画像処理装置の全体構成を模式的に示す図である。本実施形態は、基本的には、本開示の第5の実施形態と同一の表面凹凸テクスチャを観察できる機能を有したまま、視差を利用した立体視をも可能にする面順次式の内視鏡である。
本実施形態が、第5の実施形態と異なる部分は、マイクロレンズアレイ型モノクロ広帯域偏光撮像部6101の開口領域の構成と、パンフォーカス画像表示部6102を備えている点にある。マイクロレンズアレイ型モノクロ広帯域偏光撮像部6101は、基本的には、図37に示されているマイクロレンズアレイ型モノクロ広帯域偏光撮像部3501と同じである。本実施形態でも、撮像面3704にはカラーモザイクフィルタは設けられておらず、対物レンズ3502の4個の領域が撮像面3704の2行2列に配置された4個の画素に対応する。
本実施形態の画像処理装置は、直交ニコル、平行ニコルの単眼立体視画像を取得できる特性を持ちながら、深い被写界深度のパンフォーカス画像を得ることが可能である。通常の内視鏡によるカラー画像観察では、被写体までの距離にかかわらずに焦点が合うパンフォーカス特性の光学系が使われている。しかし、このような光学特性では、対物レンズの左右の領域を透過した光線が撮像面上ではあまり大きくずれない。そのため、単眼立体視自身は困難になる。
本実施形態では、単眼立体視が可能な焦点ボケを有する対物レンズを用いながら、被写界焦点深度の深いパンフォーカス画像を得ることができる。このようなパンフォーカス画像を表示するため、本実施形態では、画像合成部206の出力を受け取るパンフォーカス画像表示部6102を備えている。パンフォーカス画像表示部6102は、通常の2次元表示を行うための表示装置であり、立体表示部4503が2次元表示機能を有している場合には、立体表示部4503がパンフォーカス表示6102を兼用し得る。
図62は、本実施形態における内視鏡先端部の構成例を示す図である。図62(A)は、内視鏡先端部の斜視図であり、鉗子口4603から手術時にせり出した鉗子4604が記載されている。図62(B)は、内視鏡先端部を正面から見た拡大図であり、照明レンズ107、開口部4602、鉗子口4603が示されている。開口部4602には対物レンズが配置され得る。図62(C)は開口部4602の拡大図である。開口部4602には、2×2=4個の領域が設けられている。この2×2領域は、基本的には、図46に示す構成を同じ構成を備えているが、左上の領域ULおよび右上の領域URが遮光部から構成されており、これらの領域UL、URの各々における中心付近に視差距離DISだけ離れた微小開口部(透明部)が設けられている点で異なっている。左下の領域DLおよび右下の領域DRは、それぞれ、P(0°)偏光透過領域およびS(90°)偏光透過領域である。偏光透過領域は、例えばワイヤグリッドから形成され得る。
上記の構成によれば、4領域を透過した光線のうち、ULおよびUR領域では光線が微小開口部により絞られるため、それぞれの位置から観察した被写体のパンフォーカス画像(UL画像、UR画像)、すなわち被写界深度の深い2D画像が得られ、それらの2枚を左右眼で観察すれば、3Dの立体視も可能になる。
図63は、画素選択再集積部210の画像処理を示す。図61の画素選択再集積部210の働きにより、領域UL、UR、DL,DRを透過した光線による画像が分離生成される。その結果、領域UL、URの微細開口部を透過した光線から左右の視差画像が得られる。また、領域DL、DRを透過した光線からは、P偏光の画像およびS偏光の画像が得られる。
パンフォーカス撮像モードにおいては、図63に示すUL画像またはUR画像のいずれか一方が選択されて2D画像が表示される。なお、遮光部および微細開口部は、領域DL、DRに設けてもよいが、その場合、遮光部による光量減少と偏光フィルタによる光量減少とが重なる。
本実施形態では、面順次方式で照明を行うが、第6の実施形態が備える照明部(図51)を採用してもよい。その場合、撮像面上の2×2領域とカラーモザイクとの対応関係を図52に示す構成に変更すればよい。本実施形態における撮像モードと、その場合の照明光、得られる画像は、以下のようにまとめることができる。
(第9の実施形態の変形例)
図64は、第9の実施形態の変形例における開口部4603の構成を示す。この変形例では、第9の実施形態の構成のうち、開口部4603の構成以外に変更は無い。図64(A)の例では、レンズ開口部を分割した4領域のうちの領域URのみに遮光部および微小開口部が設けられている。領域ULは透明部であり、領域DL、DRには透過軸0°の偏光フィルタが設けられている。この例では、照射する照明光を、(1)通常撮像モードの非偏光、(2)偏光撮像モードの0°直線偏光、(3)偏光撮像モードの90°直線偏光の間で切り替えることにより、以下のように、各領域を透過した光線から異なる画像が得られる。ただし、平行、直交ニコル画像についてはP/Sの両方を得ることはできない。また立体撮像は、(2)の偏光撮像モードで得られる平行ニコル画像のR画像およびL画像を用いて実行することが望ましい。この例では、以下の画像が得られる。
図64(B)の例では、レンズ開口部を分割した2領域のうちの領域Rのみに遮光部および開口部を設けている。また領域Lには透過軸0°の偏光フィルタを配置している。この場合、照明光を、(1)通常撮像モードの非偏光、(2)偏光撮像モードの0°直線偏光、(3)偏光撮像モードの90°直線偏光の間で切り替えることにより、以下のように各領域を透過した光線から異なる画像が得られる。立体撮像は、領域Rのパンフォーカス画像と領域Lの偏光フィルタ透過画像とを用いて実現され得る。この例では、以下の画像が得られる。
(第10の実施形態)
図65は、第10の実施形態にかかるマイクロレンズアレイ型モノクロ広帯域偏光撮像部6101を示す。本実施形態の基本構成は、図61を参照して説明した第9実施形態の構成と同一である。異なる点は、マイクロレンズ3703が対物レンズ3502の上下左右に位置する2行2列の領域を撮像面3704における2行2列の画素に対応させるのではなく、対物レンズ3502の3行3列の領域6501〜6503を撮像面3704上の3×3画素6504に対応させている点である。図65では、簡単のため、3個の領域6501〜6503だけが記載されている。
図66(A)〜(C)は、本実施形態の内視鏡先端部を示す図である。対物レンズ4602は、図66(C)に示すように、3行3列に配置された9個の領域a〜iに分けられている。領域aおよび領域bは透明領域であり、重心距離DISの視差を形成する。領域eはレンズ中心部に位置する。領域gおやよび領域iは、偏光透過軸が90°異なる偏光フィルタ領域であり、重心距離DISの視差を形成する。
図67は、画素選択再集積部210の画像処理を示すである。マイクロレンズ3703および画素選択再集積部210の働きにより、9個の領域a〜iを透過した光線による画像が分離生成される。領域aと領域cから左右の視差画像が得られ、領域gと領域iからP偏光とS偏光の撮像画像が得られる。
パンフォーカス撮像モードにおいて、領域eのレンズ中心のみを透過した光線で生成される画像が選択されて2D画像表示される。
本実施形態では、レンズ開口領域が撮像面上で3×3=9領域に分割されるため、個々の画像解像度が低下するが、レンズ中心部を透過したパンフォーカス画像、すなわち十分絞った状態の全画像に焦点の合った画像を得られる。
(第11の実施形態)
図68は、本開示の第11の実施形態を示すブロック図である。この実施形態では、マイクロレンズアレイ型カラー偏光撮像素子および複眼レンズ型カラー撮像素子は搭載されておらず、通常のカラー撮像素子を備え、それによって立体視を実現する。本実施形態では、第2の実施形態と同じように、白色(ホワイト)光を被写体に照射し、単板カラー撮像素子でカラー撮像を行う(同時方式)。本実施形態は、レンズ開口部に設けられた偏光フィルタ6802と、カラー偏光撮像素子6801とを備えている。
図69に示すように、内視鏡先端では、偏光面が0°(P)、90°(S)の異なる照明光を出射する多数の照射口が交互に配置されている。隣接しない同種の8個のLEDからなる2組が交互に選択されて点灯することによって、P偏光およびS偏光の照明が交互に実現し、この照明に同期してカラー撮像が行われる。
対物レンズ3502の開口部は左右に2分割され、L領域には0°、R領域には90°の偏光フィルタが設けられている。これらの偏光フィルタは、ポリマー系フィルムや、ワイヤグリッド等で形成されてよい。
直線偏光を粘膜などの非常に滑らかな面に照射すれば、直線偏光は、ほぼそのまま戻ってくる。図70は、この状況を示す。受光側のレンズ面が2つの領域に分割されていると、直線偏光が0°の時にはレンズの左側の領域Lのみを透過した光線による画像が、直線偏光が90°の時にはレンズの右側の領域Rのみを透過した光線による画像が交互に時分割で得られる。実際には、被写体からの反射光に含まれる非偏光成分が反対側の領域を透過するため、視野の半分が暗くなることはない。従って、交互に得られるL画像およびR画像を時分割で表示することにより、立体画像を表示できる。
本実施形態では、偏光撮像が立体視のみに用いられるため、直交ニコル画像などを画像処理することはできない。また撮像する被写体が偏光を崩さないなめらかな表面を持つ場合に有効である。しかし、本実施形態の構成は、例えばカプセル内視鏡のような小型または簡単な構造を持つ装置に適用することが可能である。本実施形態の構成によれば、照明光量が少ない場合でも、画像が明るくなるため、焦点ボケを発生しやすい内視鏡でも有効な単眼立体視を実現できる。