以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の第1の実施形態による撮像装置としての電子内視鏡装置100のブロック図を示すものである。本実施形態の電子内視鏡装置100は、被観察体の通常画像を形成する通常画像モードと、後述の演算処理により得られる被観察体の分光画像を表示する分光画像モードとにより動作するものである。さらに電子内視鏡装置100は、分光画像モード下では、可視光領域の3色の画像信号(R、G、B信号)に基づき可視光領域の分光画像を形成する可視分光画像モードと、近赤外領域の3色の画像信号(後述するNr、Ng、Nb信号)に基づき近赤外領域の分光画像を形成する近赤外分光画像モードと、により動作するものである。
図1に示すとおり、電子内視鏡装置100は、被観察体3を観察するためのスコープ10と、このスコープ10が着脱自在に接続されるプロセッサ装置12とから主に構成される。このプロセッサ装置12内には被観察体3に光を照射するための光源ユニット14が配置されている。スコープ10の先端には照明用光学系23が設けられ、この照明用光学系23には、一端が光源ユニット14に接続されたライトガイド24の他端が対面している。なお光源ユニット14は、プロセッサ装置12とは別体の光源装置に配置されてもよい。
本実施形態における被観察体3は、体腔内の生体組織であり、波長が異なる3種類の蛍光試薬により標識されている。生体組織に多量に含まれる水およびヘモグロビンの光吸収の波長帯域は図2に示すとおりであり、短波長側ではヘモグロビンの吸収があり、長波長側では水の吸収がある。よって、波長域600〜1300nmの光、すなわち赤〜近赤外の光が比較的よく生体組織を透過することがわかる。そこで、本実施形態においては、励起光が600〜1300nmの波長域にある蛍光試薬が選択されている。
このような蛍光試薬としては、例えば、励起光波長682nmおよび蛍光波長715nmの蛍光試薬DyLight680、励起光波長747nmおよび蛍光波長776nmの蛍光試薬Cy7、励起光波長785nmおよび蛍光波長805nmの蛍光試薬ICG(インドシアニングリーン)を用いることができる。
なお、用いる複数の蛍光試薬としては、それぞれ異なる組織を標識するものを用いてもよく、あるいは、同一組織を標識するものを用いてもよい。例えば、ガン組織を標識可能な複数種類の蛍光試薬を同時に用いることにより、ガンの検出精度が上がり、正診率を向上させることができる。
光源ユニット14は、図3にその一構成例を示すように、赤から近赤外領域の光を出射する励起光源ユニット6および白色光を出射する白色光源ユニット7を有するものであり、白色光と、赤から近赤外領域の光とを選択的に被観察体へ照射可能な光源ユニットである。すなわち、本実施形態においては、白色光と、赤から近赤外領域の光とを時間的に分割して被観察体へ照射することが可能である。励起光源ユニット6は、被観察体3を標識した蛍光試薬を励起する励起光を出射するものであり、近赤外分光画像モードにおいて使用される。白色光源ユニット7は、本実施形態においては、可視光領域のみの白色光を出射するものであり、通常画像モードと可視分光画像モードにおいて使用される。
図3に示す構成の励起光源ユニット6は、上記3種類の蛍光試薬を励起するための、それぞれ異なる波長の励起光を出射する多数の光源6a、6b、6cと、光源6a、6b、6cからの光がそれぞれ入射される多数のマルチモードの光ファイバ6d、6e、6fとを備えている。
光源6a、6b、6cとしては、例えば、半導体レーザ、高輝度LED、キセノンフラッシュランプ等を用いることができる。光源6a、6b、6cは、中心波長に対し±10nm程度あるいはそれ以下の半値幅を有する狭帯域の光を出射するものであることが好ましい。光源6a、6b、6cに狭帯域の光を出射するものを用いない場合は、光源6a、6b、6cから被観察体3までの光路に±10nm程度の半値幅を有する狭帯域の光を透過させる狭帯域のバンドパスフィルタを設けることが好ましい。
光ファイバ6d、6e、6fの入射端は先端加工によりレンズが一体的に整形されており、高効率に光結合することができる。なお、ここでは部品数低減のためにレンズが一体整形された光ファイバ6d、6e、6fを用いたが、これに代わり、レンズが一体整形されていない通常の光ファイバと光結合用のレンズを用いてもよい。
また、図3では、図の煩雑化を避けるため、光源および光ファイバは4つずつ図示しているが、実際には多数の光源と多数の光ファイバを備えている。光源と光ファイバの数は同一でもよく、あるいは異なっていてもよく、1つの光源からの光が複数の光ファイバに入射するように構成してもよい。
光ファイバ6d、6e、6fの出射端は全て合波器6gの一端に接続され、合波器6gの他端には小径の光ファイバ6hが接続されている。光源6a、6b、6cから出射して光ファイバ6d、6e、6fを伝播した光は、合波器6gにより合波されて光ファイバ6hにより伝送される。
なお、合波器6gとしては例えば光カプラ等を用いることができる。あるいは、合波器6gを用いる代わりに、光ファイバの出射端側の各コアが一体化されて形成された構成を採用してもよい。上記のような多数光源の光を光ファイバを用いて合波する際は、例えば特開2006−337399号公報に記載の技術を適用することができる。
上記構成を有する励起光源ユニット6によれば、多数の光源からの光を細径の光ファイバで光伝送することができ、かつ高輝度高出力の光を得ることができる。
なお、上記例では、3つの蛍光試薬を用いているため、励起光源ユニット6は各蛍光試薬に最も好適な励起光を得るための3種の光源を備えているが、1種の励起光で複数の蛍光試薬を励起可能であれば、より少数の光源であってもよい。あるいは、励起光源ユニット6は、多用な蛍光試薬に対応するため、4種以上の励起用の光源を備えていてもよい。
一方、白色光源ユニット7は、白色光を出射する白色光源7aと、光結合のためのレンズ7bと、可視光領域のみの光を透過させるフィルタ7cと、白色光源7aからの光がレンズ7bにより集光されて入射される光ファイバ7dとを備える。この光ファイバ7dは、光ファイバ6hと合わせてライトガイド24を構成するものである。
なお、本実施形態では、フィルタ7cを光源ユニット14内に設けたが、代わりに光源ユニット14から被観察体3までの光路に挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路に挿入し、近赤外分光画像モードでは光路から排除するようにしてもよい。あるいは、フィルタ7cを光源ユニット14内に設ける代わりに、被観察体3からCCDセンサ15までの光路に近赤外光からそれ以上の長波長の光をカットする近赤外光カットフィルタを挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路に挿入し、近赤外分光画像モードでは光路から排除するようにしてもよい。
図1に示すスコープ10の先端部には、結像レンズ8と、励起光カットフィルタ9、CCD(Charge Coupled Device)センサ15とが同軸上にこの順に設けられている。結像レンズ8は、被観察体3の像をCCDセンサ15上に結像するものである。励起光カットフィルタ9としては、励起光のみを遮断して蛍光は透過させるように、例えば、極めて狭帯域の光のみを遮断するノッチフィルタを用いることができる。
CCDセンサ15は、光源ユニット14からの光が照射された被観察体3の像を撮像する撮像部を構成するものであり、可視光領域においてはR(赤)、G(緑)、B(青)の3原色に分光して、各光ごとの被観察体3の像を撮像してR、G、B信号として出力し、また、近赤外領域においてもNr、Ng、Nbの3色に分光して、各光ごとの被観察体3の像を撮像してNr、Ng、Nb信号として出力する機能を有するものである。ここで、Nb、Ng、Nrは、図4Aに示すように、近赤外領域において、この順に短波長側から設定された所定波長幅を有する波長帯域である。Nb、Ng、Nrは、例えば、近赤外領域における擬似的な3原色として考えることができる。
図5にこのような機能を有するCCDセンサ15の一構成例を示す。図5の左側にCCDセンサ15の全体像を示す。この全体像に示すようにCCDセンサ15は撮像素子であるCCD15aと、多数のフィルタB+Nb、フィルタG+Ng、フィルタR+Nr色からなるフィルタ群15bとを有する。図5の右側にフィルタ群15bの部分拡大図を示す。CCD15aの撮像面には、画素ごとにフィルタB+Nb、フィルタG+Ng、フィルタR+Nrの3種の色フィルタが形成されている。これら3種の色フィルタは分光素子として機能するものである。図4Aには、これら3つの各色フィルタの分光透過率を合わせて示し、図4Bには明確化のために、フィルタB+Nbのみの分光透過率を示す。図4A,図4Bに示すように、これら3つの各色フィルタは双峰性(ダブルピーク)の透過率特性を有するものである。
フィルタB+Nbは、図4Aの実線で示すように、可視光領域のBおよび近赤外領域のNbのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のBおよび近赤外領域のNbのみの光を入射させる分光素子として機能するものである。フィルタG+Ngは、図4Aの点線で示すように、可視光領域のGおよび近赤外領域のNgのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のGおよび近赤外領域のNgのみの光を入射させる分光素子として機能するものである。フィルタR+Nrは、図4Aの一点鎖線で示すように、可視光領域のRおよび近赤外領域のNrのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のRおよび近赤外領域のNrのみの光を入射させる分光素子として機能するものである。
よって、フィルタB+Nbが形成された画素は、可視光領域のBと近赤外領域のNbの領域のみに感度を有し、フィルタG+Ngが形成された画素は、可視光領域のGと近赤外領域のNgの領域のみに感度を有し、フィルタR+Nrが形成された画素は、可視光領域のRと近赤外領域のNrの領域のみに感度を有する。このような構成のCCDセンサ15を用いることにより、可視光領域だけでなく、近赤外領域においても、CCDセンサ15上に結像される像を分光して撮像することが可能になる。また、1枚のフィルタが可視光領域と近赤外領域で透過する帯域を有することから、1つの撮像素子で、可視光領域と近赤外領域の両方の領域で分光して撮像することができる。
なお、撮像部としては、図5に示す構成のCCDセンサ15に代わり、図6や図7に示す構成のものを用いることもできる。図6に示す構成例は、入射面および各プリズム間の接触面にダイクロイック膜DM1、DM2、DM3が形成された3つのプリズムP1、P2、P3からなる分光素子により、入射光を可視光領域のBおよび近赤外領域のNbの光、可視光領域のGおよび近赤外領域のNgの光、可視光領域のRおよび近赤外領域のNrの光に分光して3方向に出射させ、出射光それぞれに対してCCD115、116、117を配置したものである。
図7に示す構成例は、図7(A)に示すように、CCD118の前に配置された円盤状のフィルタ素子119を中心軸の周りに回転させることにより、CCDに入射する光の波長帯域を切り換える、いわゆる切換方式のものである。この円盤状のフィルタ素子119は、図7(B)に示すように周方向に沿って3つの領域に分割されており、それぞれ分光素子として機能するフィルタB+Nb、フィルタG+Ng、フィルタR+Nrが形成されている。なお、図7(B)に示すフィルタ素子119の代わりに、図7(C)に示すような、周方向に沿って6つの領域に分割され、各領域がそれぞれB、G、R、Nb、Ng、Nrの光を透過させるよう構成された円盤状のフィルタ素子を用いても同様の効果が得られる。
なお、図1ではCCDセンサ15をスコープ10に設けた例を図示しているが、スコープ10に像伝送用のイメージガイド等を挿通させておき、CCDセンサ15をスコープ10外に配置してもよい。この構成を採用した場合は、スコープ10内におけるスペースの制約が緩和されるため、図7(A)に示す構成の実現が容易になる。また、この構成を採用した場合は、前述のように、可視光領域以外の光を出射する白色光源ユニットを用い、被観察体3とCCDの間の光路に近赤外光カットフィルタを挿脱可能に設ける構成が容易となる。
図1に示すように、このCCDセンサ15には、同期信号に基づいて駆動パルスを形成するCCD駆動回路16が接続されると共に、このCCDセンサ15が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路17が接続されている。またCDS/AGC回路17には、そのアナログ出力をデジタル化するA/D変換器18が接続されている。さらにスコープ10には、上記の各種回路を制御するとともに、プロセッサ装置12との間の通信制御を行うマイコン20が配設されている。
一方プロセッサ装置12には、A/D変換器18によりデジタル化された画像信号に対して各種の画像処理を施すDSP(デジタル信号プロセッサ)25が設けられている。このDSP25は、上記画像信号から輝度(Y)信号と色差(C)信号で構成されるY/C信号を生成し、それを出力する。
本実施形態の装置は、通常画像、可視分光画像、近赤外分光画像(全て動画および静止画)を選択的に形成するものであり、上記DSP25には、上記のうちいずれの画像を形成するかの切換えを行う切換器26の一端が接続されている。なお、上記DSP25はスコープ10側に配置してもよい。そしてこの切換器26の他端側の出力端子は、通常画像モード用のカラー信号処理回路38、可視分光画像モード用の第1色変換回路28、近赤外分光画像モード用の第1色変換回路50のいずれかに選択的に接続可能に構成されている。
まず、可視分光画像モードの流れに沿って説明する。第1色変換回路28は、上記DSP25から出力されたY(輝度)/C(色差)信号をR、G、Bの3色画像信号に変換する。第1色変換回路28の後段側には、分光画像形成のためのマトリクス演算を行って、選択された波長域λ1、λ2、λ3による分光画像を形成するための画像信号λ1s、λ2s、λ3sを出力する色空間変換処理回路29、1つの狭波長帯域の分光画像を形成する単色モードと、3つの波長域からなる分光画像を形成する3色モードとのいずれかを選択する色数セレクタ30、1つの波長域または3つの波長域の画像信号λ1s、λ2s、λ3sを、R、G、B信号に対応させた処理をするためにRs、Gs、Bs信号として入力し、これらの信号をY/C信号に変換する第2色変換回路31、鏡像処理、マスク発生、キャラクタ発生等のその他の各種信号処理を行う信号処理回路32、およびD/A変換器33が逐次この順に接続されている。そして、最後段のD/A変換器33は、プロセッサ装置12外に配置された例えば液晶表示装置やCRT等からなるモニタ34に接続されている。なお、色数セレクタ30が選択する3色モードに代えて、2つの波長域からなる分光画像を形成する2色モードを設定するようにしてもよい。なお、ここで、色空間変換処理回路29は、分光画像形成回路として機能するものである。
一方、近赤外分光画像モード用の第1色変換回路50は、上記DSP25から出力されたY(輝度)/C(色差)信号をNr、Ng、Nbの3色画像信号に変換する。第1色変換回路50の後段側には、分光画像形成のためのマトリクス演算を行って、近赤外領域における選択された波長域λ1’、λ2’、λ3’による分光画像を形成するための画像信号λ1s’、λ2s’、λ3s’を出力する色空間変換処理回路51が接続され、色空間変換処理回路51は、前述の色数セレクタ30に接続されている。ここで、色空間変換処理回路51は、本発明の分光画像形成回路として機能するものである。
なお、図1では、モードの相違を明確にするため、第1色変換回路28と第1色変換回路50は別の回路、色空間変換処理回路29と色空間変換処理回路51は別の回路として図示しているが、これらは同一の回路として構成してもよい。
また上記プロセッサ装置12内には、スコープ10との間の通信を行うと共に、該装置12内の各回路および光源ユニット14を制御し、また分光画像を形成するためのマトリクス(係数)データを上記色空間変換処理回路29に入力する等の機能を有するマイコン35が設けられている。また、マイコン35にはメモリ36が接続されている。メモリ36には、R、G、B信号またはNr、Ng、Nb信号に基づいて分光画像を形成するための所定の係数となるマトリクスデータがテーブルの形で記憶されている。
なお、R、G、B信号に基づいて分光画像を形成するためのマトリクスデータは、特許文献1に記載の方法により算出することができる。また、Nr、Ng、Nb信号に基づいて分光画像を形成するためのマトリクスデータは、R、G、B信号に基づいて分光画像を形成する場合に用いる照明光の分光特性の代わりに、本実施形態においては、被観察体3を標識している蛍光試薬の分光特性を先見情報として利用することにより算出することができる。
表1に一例として、R、G、B信号に基づいて分光画像を形成する際のマトリクスデータを示す。この表1のマトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61個の波長域ごとに設定されたマトリクス演算のための係数k
r(λ)、k
g(λ)、k
b(λ)(λは波長、ここでは変数として扱う)から構成されている。
そして色空間変換処理回路29において、上記係数k
r(λ)、k
g(λ)、k
b(λ)と第1色変換回路28から出力されたR、G、B信号とにより次式(1)で示すマトリクス演算が行われて、分光画像信号λ1s、λ2s、λ3sが形成される。
例えば、可視分光画像を構成する波長域λ1、λ2、λ3としてそれぞれ500nm、620nm、650nmが選択される場合は、係数(k
r、k
g、k
b)として、表1の61のパラメータのうち、中心波長500nmに対応する係数(-0.00119,0.002346,0.0016)、中心波長620nmに対応する係数(0.004022,0.000068,‐0.00097)、および中心波長650nmに対応する係数(0.005152,-0.00192,0.000088)を用いて上式(1)に従い、下式(2)のマトリクス演算がなされる。なおこのようなパラメータは、メモリ36に記憶されている波長の組合せに基づいてメモリ36から読み出すことができる。
Nr、Ng、Nb信号に基づいて分光画像を形成する際も同様に、近赤外分光画像モード用に保存されている係数k
r’(λ)、k
g’(λ)、k
b’(λ)と第1色変換回路50から出力されたNr、Ng、Nb信号とにより次式(3)で示すマトリクス演算が行われて、分光画像信号λ1s’、λ2s’、λ3s’が形成される。
図1に示す切換器26の他方の出力端子には、分光画像ではなく通常のカラー画像を形成するためのカラー信号処理回路38が接続され、そしてこのカラー信号処理回路38にはD/A変換器39が接続されている。
マイコン35には上記メモリ36に加えて、操作パネル41、およびキーボード等からなる入力部43が接続されている。図8は上記操作パネル41を詳しく示すものである。該操作パネル41には、波長セット選択スイッチ41aと、波長選択スイッチ41b、41hと、切換え幅設定スイッチ41cと、色数切換えスイッチ41dとが設けられている。波長セット選択スイッチ41aは、分光画像を形成するために予め設定されている波長域λ1、λ2、λ3の波長セットを選択するためのスイッチである。波長選択スイッチ41bは、可視分光画像を形成するための波長域λ1、λ2、λ3のそれぞれの中心波長を任意に選択するためのスイッチであり、波長選択スイッチ41hは、近赤外分光画像を形成するための波長域λ1’、λ2’、λ3’のそれぞれの中心波長を任意に選択するためのスイッチである。切換え幅設定スイッチ41cは、この波長選択スイッチ41b、41hによりなされる波長切換えの幅を設定するスイッチである。
波長セット選択スイッチ41aで選択可能な予め設定されているλ1、λ2、λ3、λ1’、λ2’、λ3’としては、例えば、血管を標識可能な蛍光試薬の発光波長や、血管を標識可能な蛍光試薬の発光波長および自家蛍光の発光波長や、ともにガン組織を標識可能な異なる種類の蛍光試薬の発光波長等が挙げられる。このような波長セットの組は、デフォルト波長セットとして、図1に示すメモリ36に記憶されている。
色数切換えスイッチ41dは、単一波長を選択する単色モードと3色モードとの切換えを行うものであり、3色モード動作時にこの色数切換えスイッチ41dを押すと、単色モードへ切り換えられ、マイコン35により例えば波長域λ1、λ2、λ3の全てが650、650、650というように同一の値に設定される。なおこの共通の波長域についても、上記波長選択スイッチ41b、41hによって任意の値を選択することができる。
また、操作パネル41には、可視光領域の分光画像の形成および表示を指示する可視分光画像形成スイッチ41e、近赤外領域の分光画像の形成および表示を指示する近赤外分光画像形成スイッチ41f、通常画像の形成および表示させる通常画像表示スイッチ41gが設けられている。なお、可視分光画像形成スイッチ41e、近赤外分光画像形成スイッチ41fは、スコープ10側に設けることもできる。
ここで、上記の操作パネル41上のスイッチ類の一部の機能をキーボードのキー機能に置き換えたり、全部の機能をキーボードのキー機能に置き換えたりしてもよい。
次に、上記構成を有する本実施形態の電子内視鏡の動作について説明する。まず、通常画像モードにおける動作を説明する。通常画像モードにおいては、マイコン35の制御により光源ユニット14から白色光が出射されて被観察体3を照射する。図1に示されるように、スコープ10では、CCD駆動回路16によって駆動されたCCDセンサ15が被観察体を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路17で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、デジタル信号としてプロセッサ装置12のDSP25に入力される。
このDSP25では、スコープ10からの出力信号に対してガンマ処理が行われると共に、フィルタB+Nb、フィルタG+Ng、フィルタR+Nrの色フィルタを介して得られた信号に対し色変換処理が行われ、輝度(Y)信号と色差(C)信号からなるY/C信号が形成される。このDSP25の出力は、通常、切換器26によってカラー信号処理回路38へ供給され、この回路38にて鏡像処理、マスク発生およびキャラクタ発生等の所定の処理を受けた後、D/A変換器39によりアナログ信号に変換された上で図1に示すモニタ34へ供給される。それにより、このモニタ34には通常の被観察体のカラー画像が表示される。
次に、可視分光画像モードにおける動作を説明する。図8に示す操作パネル41の可視分光画像形成スイッチ41eの押圧により、可視分光画像の形成が指示されて、可視分光画像モードとなる。このモードにおいては、DSP25の出力までは上記の通常画像モードの場合と同様である。この後、切換器26は、DSP25から出力されたY/C信号を第1色変換回路28へ供給する状態に切り換えられ、この回路28により上記Y/C信号がR、G、B信号へ変換される。このR、G、B信号は色空間変換処理回路29へ供給され、この色空間変換処理回路29ではR、G、B信号とマトリクスデータとにより、可視分光画像形成のための前記式(1)のマトリクス演算が行われる。すなわちこの分光画像の形成では、前述した操作パネル41の波長セット選択スイッチ41aまたは波長選択スイッチ41bを操作することにより、λ1、λ2、λ3の3つの波長域が設定され、マイコン35はそれらの3つの選択波長域に対応するマトリクスデータをメモリ36から読み出し、それらを色空間変換処理回路29に入力する。
色数セレクタ30にて3色モードが選択されている場合は、上記分光画像信号λ1s、λ2s、λ3sが各々Rs、Gs、Bsの3色画像信号として第2色変換回路31に入力され、また単色モードが選択されている場合は分光画像信号λ1s、λ2s、λ3sのいずれか1つがRs、Gs、Bsの信号として第2色変換回路31に入力される。この第2色変換回路31では、Rs、Gs、Bsの3色画像信号がY/C信号(Y,Rs−Y,Bs−Y)に変換され、このY/C信号が信号処理回路32およびD/A変換器33を介して前述のモニタ34等へ入力される。
次に、近赤外分光画像モードにおける動作を説明する。図8に示す操作パネル41の近赤外分光画像形成スイッチ41fの押圧により、近赤外分光画像の形成が指示されて、近赤外分光画像モードとなる。近赤外分光画像モードにおいては、マイコン35の制御により光源ユニット14から励起光が出射されて被観察体3を照射する。この励起光により被観察体3を標識した蛍光試薬が励起されて蛍光が発せられる。被観察体3からの光のうち、励起光は励起光カットフィルタ9により遮断され、蛍光のみが励起光カットフィルタ9を透過する。
図1に示されるように、スコープ10では、CCD駆動回路16によって駆動されたCCDセンサ15が被観察体を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路17で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、デジタル信号としてプロセッサ装置12のDSP25に入力される。
このDSP25では、スコープ10からの出力信号に対してガンマ処理が行われると共に、フィルタB+Nb、フィルタG+Ng、フィルタR+Nrの色フィルタを介して得られた信号に対し色変換処理が行われ、輝度(Y)信号と色差(C)信号からなるY/C信号が形成される。
この後、切換器26は、DSP25から出力されたY/C信号を第1色変換回路50へ供給する状態に切り換えられ、第1色変換回路50によりY/C信号がNr、Ng、Nb信号へ変換される。このNr、Ng、Nb信号は色空間変換処理回路51へ供給され、この色空間変換処理回路51ではNr、Ng、Nb信号とマトリクスデータとにより、近赤外分光画像形成のための前述のマトリクス演算が行われる。すなわちこの分光画像の形成では、前述した操作パネル41の波長セット選択スイッチ41aまたは波長選択スイッチ41hを操作することにより、λ1’、λ2’、λ3’の3つの波長域が設定され、マイコン35はそれらの3つの選択波長域に対応するマトリクスデータをメモリ36から読み出し、それらを色空間変換処理回路51に入力する。
ここで、選択する波長λ1’、λ2’、λ3’を、被観察体3を標識している蛍光試薬の発光波長にしておけば、この蛍光で染色されている部位を抽出したより鮮明な画像を得ることができる。
また、このモードにおいても、色数セレクタ30にて3色モードが選択されている場合は、上記分光画像信号λ1s’、λ2s’、λ3s’が各々Rs、Gs、Bsの3色画像信号として第2色変換回路31に入力され、また単色モードが選択されている場合は分光画像信号λ1s’、λ2s’、λ3s’のいずれか1つがRs、Gs、Bsの信号として第2色変換回路31に入力される。この第2色変換回路31では、Rs、Gs、Bsの3色画像信号がY/C信号(Y,Rs−Y,Bs−Y)に変換され、このY/C信号が信号処理回路32およびD/A変換器33を介して前述のモニタ34等へ入力される。
上述のようにしてモニタ34に表示される分光画像は、例えば、図9で示すような波長域の色成分で構成されるものとなる。すなわち、図9は、上記色フィルタの近赤外領域の分光感度特性Nr、Ng、Nbに、分光画像を形成する3つの波長域λ1’、λ2’、λ3’を重ねた概念図である。分光画像信号λ1s’、λ2s’、λ3s’は、±10nm程度の範囲の波長域の色信号であり、これら3つの波長域の色の組み合わせから構成される分光画像(動画および静止画)が表示されることになる。
操作パネル41には、設けられた可視分光画像形成スイッチ41e、近赤外分光画像形成スイッチ41f、通常画像表示スイッチ41gを操作することにより、可視分光画像、近赤外分光画像、通常画像の各画像の表示が可能であり、また、これらのうち任意の2つ以上の画像を同時に表示可能であり、これにより、一般的な観察用の通常画像と、所定の対象物を鮮鋭化した分光画像とを対比して観察することができる。さらに、可視分光画像、近赤外分光画像、通常画像のうち任意の2つ以上の画像を重ねて表示することも可能であり、これにより蛍光標識された部位を明確に把握できる。
なお、上記実施形態では、被観察体3を3種の蛍光試薬で標識し、これらによる蛍光染色部位を描出する例について説明したが、分光画像の形成に用いる蛍光の波長は生体外からのものの波長に限定されず、例えば、次に説明するように、生体内に存在する自家蛍光の波長を用いてもよい。
現在、ICG等の蛍光試薬を静脈内注射して、血管の正確な位置を把握する技術が用いられている。これは、術中に正確な血管位置をリアルタイムで把握し、円滑に手術を進めるともに、そのときに必要な処置を施すことにより、術中や術後の無用の出血を防止するためである。
その際に、蛍光染色された血管以外の蛍光発光体として、自家蛍光等のアーティファクトが存在すると、正確な血管の位置が把握できない。そこで例えば、ICGと自家蛍光の発光波長を分光画像形成用の選択波長として選択することにより、血管と自家蛍光発光体を抽出することができ、さらに自家蛍光発光体を表示させないように画像処理をすることにより、鮮明な血管の像を得ることができる。すなわち、上記分光技術により、アーティファクトの影響を低減して鮮明な血管の像を安定して得ることができる。
上記のような正確な血管位置の把握は、内視鏡手術だけでなく、腹腔鏡による手術において特に要望が高まっている。腹腔鏡による手術は、開腹手術に比べて、入院期間が短いため医療費が少なくて済み、また患者の負担も軽いことから、近年では増加傾向にある。腹腔鏡による手術では、通常の開腹手術とは異なり、術者の触感により組織の位置を確認することができないため、血管位置の把握は画像に頼らざるをえない。万一、血管を傷つけて出血してしまうとダメージとなるため、手術中に迅速に血管の位置を知ることが切望されている。
一般に、内視鏡手術では深さ約2mmまでの範囲で径約0.5mmの血管を観察するのに対し、腹腔鏡手術では深さ約10mm程度の脂肪層に存在する径約2.5〜6mmの血管を観察するため、深部における血管の位置把握が必要となる。その点からも、生体による減衰が少ない700〜1300nm範囲の近赤外領域の光を用いた蛍光画像が有用である。
深部からの蛍光は組織により拡散されてボケを生じるので、深部におけるより鮮明な血管の像を得るためには、画像処理をすることが好ましく、例えば特開平10−165365号公報に記載のような画像処理技術を用いることが考えられる。この技術によれば、組織の先見情報のシミュレーションと実際に得られた画像の点像強度分布に基づき、生体内の散乱による像のボケを推定して、画像処理により復元処理を行い、より鮮明な血管の像を得ることができる。
この処理方法の一例について図10を参照しながらその概要を説明する。図10(A)は組織内の異なる深さ位置に存在する2つの血管59、60を示す断面図である。このような組織深部にある血管の画像は、図10(B)に模式的に示すようにボケが生じた像61、62となる。このボケた像において、中心部に対する周辺部のボケの程度から深さを推定し、シミュレーションで作ったボケ関数を使って復元することにより、図10(C)に示すようなより鮮明な血管の像63、64を得ることができる。
次に、本発明の第2の実施形態による撮像装置について図11を参照しながら説明する。図11に、この本発明の第2の実施形態による撮像装置としての検査装置200の概略構成を示す。本実施形態においては、被観察体203としては、蛍光染色された多数の生体組織の切片が2次元状に並べられたものを用いており、検査装置200は、被観察体203を検体としてその蛍光画像を取得し、それにより診断を行うものである。また、検査装置200は、第1の実施形態の電子内視鏡装置100と同様に、通常画像モードと、近赤外分光画像モードと、可視分光画像モードと、により動作するものである。
図11に示すように、検査装置200は、光を照射する光源ユニット14と、光源ユニット14からの光を伝送するライトガイド24と、ライトガイド24からの光を被観察体203に照射するとともに被観察体203の像を結像するための光学系70と、光学系70により結像された被観察体203の像を撮像するCCDセンサ15と、CCDセンサ15と接続されたCCD制御部210と、演算処理等を行うプロセッサ部12とを備える。なお、光源ユニット14、CCDセンサ15、プロセッサ部12は、第1の実施形態のものと同様の機能および構成を有するため、以下ではこれらについての説明を省略する。また、図11では、プロセッサ部12の構成要素は光源ユニット14とマイコン35のみを図示し、その他の構成要素の図示は省略している。
光学系70は、ライトガイド24から出射された光を集光する集光レンズ71と、被観察体203の像をCCDセンサ15上に結像する結像レンズ72と、集光レンズ71と結像レンズ72の間の光路に挿脱可能に配設されるダイクロイックミラー73と、ダイクロイックミラー73と交換可能なハーフミラー74とから主に構成される。
ダイクロイックミラー73は、近赤外分光画像モードにおいて、光路中に挿入されて結像レンズ72の光軸に対して45度傾けて配置され、通常画像モードと可視分光画像モードにおいては光路から排除される。ダイクロイックミラー73は、この配置において、ライトガイド24からの励起光は透過させ、被観察体203からの励起光は遮断し、被観察体203からの蛍光は反射するように構成されている。
ハーフミラー74は、光の波長に関係なく入射光の約50%を透過し、残りの約50%を反射する機能を有する。ハーフミラー74は、通常画像モードと可視分光画像モードにおいて、光路中に挿入されて結像レンズ72の光軸に対して45度傾けて配置され、近赤外分光画像モードにおいては光路から排除される。
なお、集光レンズ71は、ライトガイド24からの光を集光するものであるが、その集光位置は、被観察体203以外の位置に設定され、好ましくは結像レンズ72の瞳位置である。また、ライトガイド24を出射し、集光レンズ71と結像レンズ72を透過した後の光は、発散光または平行光となるように構成することが好ましく、これにより、被観察体203上での照明ムラを低減することができる。
CCDセンサ15は、図4Aおよび図5に示すような第1の実施形態と同様の構成を有するものであり、ダイクロイックミラー73またはハーフミラー74で反射された光の光路上に、結像レンズ72による被観察体203の結像位置に配置されている。
CCDセンサ15には、CCD制御部210が接続されている。CCD制御部210は、第1の実施形態のスコープ10が備える構成要素のうち、CCD駆動回路16、CDS/AGC(相関二重サンプリング/自動利得制御)回路17、A/D変換器18、マイコン20を備えるものである。そして、CCD制御部210の後段には、第1の実施形態のものと同構成のプロセッサ装置12が接続されており、形成された画像はモニタ34に表示される。
次に、本実施形態における検査装置200の動作について説明する。近赤外分光画像モードにおいては、マイコン35により光源ユニット14から励起光が出射され、ライトガイド24から出射した励起光はダイクロイックミラー73および結像レンズ71を透過し、被観察体203全体を照射する。被観察体203に含まれる蛍光試薬は、励起光により蛍光を発光し、結像レンズ72により被観察体203の蛍光画像がCCDセンサ15上に結像され、CCDセンサ15はこの像を撮像する。なお、被観察体203で反射された励起光はダイクロイックミラー73で遮断されるため、CCDセンサ15には到達しない。CCDセンサ15以降については、第1の実施形態等と同様に処理および画像形成が行われ、モニタ34に近赤外分光画像が表示される。
通常画像モードおよび可視分光画像モードにおいては、マイコン35により光源ユニット14から白色光が出射され、ライトガイド24を出射してハーフミラー74を透過した白色光は結像レンズ72を透過して被観察体203を照射する。そして、被観察体203で反射された光が結像レンズ72を透過し、結像レンズ72により被観察体203の画像がCCDセンサ15上に結像され、CCDセンサ15はこの像を撮像する。CCDセンサ15以降については、第1の実施形態等と同様に処理および画像形成が行われ、モニタ34に通常画像または可視分光画像が表示される。
上記のような検査装置200の用法としては、例えばガン手術における術中のex vivo診断を挙げることができる。具体的には例えば、術中に取得されたリンパ節等の検体をガン組織を標識可能な複数種類の蛍光試薬を用いて標識し、この蛍光画像を観察することにより、ガン転移したリンパ節の有無を画像により検出し、リンパ節のガン転移を診断することができる。
現在のガン手術では、安全性重視のため、ガン細胞およびその周辺の疑わしい領域を全て切除してしまうことが多く、そのため、術後の患者の負担は大きく、例えば乳ガンの場合には術後、手があがらない、むくむ等の症状が出てしまうことになる。
上記の全切除の方法を回避する方法として、従来は術中のex vivo診断として、ガン組織近傍のリンパ節等を切除して、凍結切片を作製し、病理診断する方法が用いられている。しかしながら、この方法は非常に高度な技術が必要であるため、必ずしも広く普及されていない。また、診断精度向上のためには、より多数の切片を観察することが望ましいが、術中であるがゆえの時間的な制約と、約40μmという検体の薄さゆえに、取得したリンパ節全体ではなく、その一部、一断面のみしか観察することができず、見落としの心配があった。
これに対して、蛍光による診断を応用した本発明の実施形態の検査装置200によれば、生体に対して透過率の高い波長帯域の光を用いているため、検体となる切片は厚くすることが可能であり、例えば、厚さ約2mmの検体に対しても蛍光画像は取得可能である。これにより、検体数の増加を抑制でき、取得したリンパ節全体について、摘出リンパ節転移の有無を診断することが可能になり、見落としの心配を大きく軽減できる。そして、リンパ節転移の迅速診断により、切除領域の決定を確実に行うことができる。さらに、検査装置200において診断基準を規定するようにすれば、標準化された方法で迅速かつ高精度な診断が可能となる。
また、上記のような蛍光抗体マーキングによるガン診断では、ガン組織に対して抗体が100%つくとは限らないため、診断精度向上のために、複数種類の蛍光を用いることが好ましいとされている。検査装置200によれば、分光画像を得る際の選択波長を複数設定することにより、複数種類の蛍光を分離して検出することが可能であり、診断精度の向上に貢献できる。さらに、蛍光試薬ごとに診断の判定基準を設けるようにすれば、検出精度をより向上させることもできる。
以上、添付図面を参照しながら本発明にかかる好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、上記実施形態では、原色型のRGBの色フィルタを用いた例について説明したが、これに代わり、補色型のMg(マゼンタ)、Ye(イエロー)、Cy(シアン)、G(グリーン)の色フィルタを用いてもよい。
また、上記実施形態では、R,G,B信号またはNr,Ng,Nb信号のように、3色の画像信号、すなわち、波長域の異なる3つの光に基づく画像信号を用いて分光画像を形成する場合を例にとり説明したが、本発明においては、分光画像を形成するときの画像信号の数は上記例に限定されず、波長域の異なる少なくとも2つの光に基づく画像信号を用いることにより分光画像を形成することができる。
また、上記実施形態では、3つの波長を選択して分光画像を形成する場合を主な例として説明したが、分光画像形成時に選択する波長の数は、これに限定されず、1つでも2つでもよく、あるいは4つ以上となるように構成してもよい。
また、上記実施形態では、白色光源ユニットは通常画像モードと可視分光画像モードにおいて使用されるとしたが、図12のLPFで示す透過特性を有するロングパスフィルタを被観察体からCCDまでの光路に挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路から排除し、近赤外分光画像モードでは光路に挿入して、全てのモードにおいて白色光光源ユニットを使用するようにしてもよい。なお、図12に示すLPFは、可視領域の光をカットし近赤外領域の光を透過させる透過特性を有するものであり、励起光の波長が可視領域にある場合に使用可能である。
なお、上記実施形態では、撮像装置として電子内視鏡装置、検査装置の形態を例に取り説明したが、本発明はこれらに限定されず、分析装置等の他の形態の装置にも適用可能である。
また、上記実施形態では、分光画像モードは、可視分光画像モードおよび近赤外分光画像モードの両方を備えていたが、本発明においては、必ずしも可視分光画像モードを備える必要はなく、可視分光画像モードを省略した構成も可能である。
さらに、上記実施形態では、スイッチの押圧により通常画像、可視光領域の分光画像、近赤外領域の分光画像を形成、表示させるようにしているが、本発明はこれに限定されず、自動的にこれら3つを交互に動画で表示させる表示方法、あるいは自動的に通常画像と近赤外領域の分光画像を交互に動画で表示させる表示方法を採用してもよく、あるいはこのような表示方法を選択可能なように構成してもよい。
なお、上記第2の実施形態の検査装置200は、通常画像の形成と可視光領域および近赤外領域の分光画像とを形成するものであるが、例えば、通常画像の形成は不要であり、蛍光の検出のみを行いたい場合は、より簡単な構成を採用できる。次に、この場合について、検査装置200の変形例として、検査装置200と比較しながら説明する。
この変形例では、通常画像の形成は不要であるため、光源ユニット14から白色光源ユニットを省き、またハーフミラー74を省いた構成が可能である。また、CCDセンサ15の受光面に形成される色フィルタについても、R、G、Bの透過特性は有さず、Nr、Ng、Nbのみの透過特性を有する単峰性のフィルタを使用可能である。これは、図6や図7に示す構成についても同様であり、R、G、Bの特性は有さず、Nr、Ng、Nbのみの特性を有する分光素子を使用可能である。
さらに、上記第1、第2の実施形態では通常画像を形成するため、Nr、Ng、Nbの波長帯域は近赤外領域としていたが、本変形例では、そのような制約はないため、Nr、Ng、Nbに対応する撮像時の波長帯域、および、分光画像を形成するために選択する波長帯域を、より広い波長範囲の中から設定することができ、その場合には生体の観察に好適な600〜1300nmの波長帯域の中から設定することができる。