[第1実施形態]
図1に示すように、本発明の第1実施形態の内視鏡システム10は、被検体内の観察部位を撮像する電子内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
内視鏡システム10は、白色光のもとで観察部位を観察する通常観察モードと、機能情報観察モードの2つの動作モードを備えている。機能情報観察モードは、血中ヘモグロビンの酸素飽和度に関する情報を取得して、これらを画像化して観察するモードである。これら観察モードは、電子内視鏡11の切り替えスイッチ16やコンソール15によって入力される入力情報に基づき、適宜切り替えられる。
電子内視鏡11は、被検体内に挿入される可撓性のある挿入部17と、挿入部17の基端部分に設けられた操作部18と、操作部18とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード19とを備えている。
挿入部17は、先端から順に連設された、先端部20、湾曲部21、可撓管部22からなる。先端部20の先端面には、観察部位に照明光を照射する照明窓23、観察部位で反射した像光が入射する観察窓24の他(図2参照)、観察窓24を洗浄するために送気・送水を行うための送気・送水ノズル、鉗子や電気メスといった処置具を突出させる鉗子出口などが設けられている(これらは図示省略)。観察窓24の奥には、撮像素子44(図2参照)や結像用の光学系が内蔵されている。
湾曲部21は、連結された複数の湾曲駒からなり、操作部18のアングルノブ26を操作することにより、上下左右方向に湾曲動作する。湾曲部21が湾曲することにより、先端部20の向きが所望の方向に向けられる。可撓管部22は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部17には、撮像素子44を駆動する駆動信号や撮像素子44が出力する撮像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓23に導光するライトガイド43(図2参照)が挿通されている。
操作部18には、アンブルノブ26の他、処置具を挿入するための鉗子口、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード19には、挿入部17から延設される通信ケーブルやライトガイド43が挿通されており、一端には、プロセッサ装置12および光源装置13側にコネクタ27が取り付けられている。コネクタ27は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、通信用コネクタには通信ケーブルの一端が、光源用コネクタにはライトガイド43の一端がそれぞれ配設される。電子内視鏡11は、このコネクタ27を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図2に示すように、光源装置13は、半導体光源ユニット31と、これらを駆動制御する光源制御部32とを備えている。光源制御部32は、光源装置13の各部の駆動タイミングや同期タイミングなどの制御を行う。
半導体光源ユニット31は、青色領域において特定の波長域に制限された狭帯域光をそれぞれ発光する3つのレーザ光源LD1〜LD3と、蛍光体37とを有している。図3に示すように、レーザ光源LD1は、波長域が440±10nmに、好ましくは445nmに制限された狭帯域光N1を発光する。発光した狭帯域光N1は、レーザ光源LD1と光ファイバ34との間に設けられた蛍光体37に入射する。蛍光体37では、狭帯域光N1のうち、一部が吸収されて蛍光FLが励起発光するとともに、残りが吸収されずにそのまま透過する。これにより、蛍光FLと蛍光体37で吸収されなかった狭帯域光N1が合波された白色光Wが、蛍光体37から発せられる。
蛍光体37としては、例えば、YAG系、BAM(BgMgAl10O17)系等の蛍光体が使用され、略直方体形状を有していることが好ましい。この場合、蛍光体37は、蛍光物質をバインダで略直方体状に固めて形成してもよく、また、無機ガラスなどの樹脂に蛍光体物質を混合したものを略直方体状に形成してもよい。この蛍光体37は、商品名としてマイクロホワイト(登録商標)(Micro White (MW))とも呼ばれている。
レーザ光源LD2は、波長域が470±10nmに、好ましくは473nmに制限された狭帯域光N2を発光する。レーザ光源LD3は、波長域が400±10nmに、好ましくは405nmに制限された狭帯域光N3を発光する。レーザ光源LD1〜LD3としては、InGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。また、レーザ光源LD1〜LD3としては、高出力化が可能なストライプ幅(導波路の幅)が広いブロードエリア型のレーザダイオードが好ましい。
光源制御部32は、ドライバ33を介してレーザ光源LD1〜LD3の点灯、消灯、光量の制御を行う。レーザ光源LD1の点灯により蛍光体37から発せられる白色光Wは、光ファイバ34によってコンバイナ36に導光される。一方、レーザ光源LD2〜LD3が発光する光は、光ファイバ34によってコンバイナ36に導光される。コンバイナ36は、各光ファイバ34からの光を合波する機能を持つ光学部材であり、選択的に入射する各光ファイバ34からの光の光軸を1つに結合する。
図2において、コンバイナ36の下流側には、集光レンズ38とロッドインテグレータ39が配置されている。集光レンズ38は、コンバイナ36からの光を集光して、ロッドインテグレータ39に入射させる。ロッドインテグレータ39は、入射した光を内部で多重反射させることにより面内光量分布を均一化して、光源装置13に接続された電子内視鏡11のライトガイド43の入射端に光を入射させる。
電子内視鏡11は、ライトガイド43、撮像素子44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、ライトガイド43の入射端が配置されたコネクタ27が光源装置13に接続されたときに、入射端が光源装置13のロッドインテグレータ39の出射端と対向する。
照明窓23の奥には、照明光の配光角を調整する照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓23から観察部位に向けて照射される。観察窓24の奥には、対物光学系51と撮像素子44が配置されている。観察部位で反射した像光は、観察窓24を通して対物光学系51に入射し、対物光学系51によって撮像素子44の撮像面44aに結像される。
撮像素子44は、CCDイメージセンサやCMOSイメージセンサなどからなり、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有している。撮像素子44は、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。電圧信号は撮像信号として撮像素子44から出力されて、撮像信号はAFE45に送られる。
撮像素子44は、カラー撮像素子であり、撮像面44aには、図4に示すような分光特性を有するB、G、Rの3色のマイクロカラーフィルタが各画素に割り当てられている。Bのマイクロカラーフィルタは380〜560nmの透過帯域を有し、Gのマイクロカラーフィルタは450〜630nmの透過帯域を有し、Rのマイクロカラーフィルタは580〜760nmの透過帯域を有する。なお、マイクロカラーフィルタの配列は例えばベイヤー配列とすることが好ましい。
図5Aに示すように、通常観察モードにおいては、撮像素子44は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。通常観察モードにおいては、蓄積タイミングに合わせてレーザ光源LD1が点灯し、照明光として白色光Wが観察部位に照射され、その反射光が撮像素子44に入射する。撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、通常観察モードに設定されている間、繰り返される。
機能情報観察モードにおいては、図5Bに示すように、蓄積タイミングに合わせてレーザ光源LD1、LD2、LD3が順次点灯する。レーザ光源LD1が点灯すると、通常観察モードと同様に、白色光Wが観察部位に照射される。レーザ光源LD2が点灯すると、照明光として狭帯域光N2が観察部位に照射される。レーザ光源LD3が点灯すると、照明光として狭帯域光N3が観察部位に照射される。機能情報観察モードにおいても、通常観察モードと同様に、撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、機能情報観察モードに設定されている間、繰り返される。
図2に示すように、AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、撮像素子44からの撮像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数に応じた階調値を持つデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ56に接続されており、コントローラ56から入力されるベースクロック信号に同期して、撮像素子44に対して駆動信号を入力する。撮像素子44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
プロセッサ装置12は、コントローラ56の他、DSP(Digital Signal Processor)57、画像処理部58と、フレームメモリ59と、表示制御回路60を備えている。コントローラ56は、CPU、制御プログラムや制御に必要な設定データを記憶するROM、プログラムをロードして作業メモリとして機能するRAMなどからなり、CPUが制御プログラムを実行することにより、プロセッサ装置12の各部を制御する。
DSP57は、撮像素子44が出力する撮像信号を取得する。DSP57は、B、G、Rの各画素に対応する信号が混在した撮像信号を、3色の撮像信号に分離し、各色の撮像信号に対して画素補間処理を行って、B、G、Rの各色の分光画像を生成する。この他、DSP57は、ガンマ補正や、B、G、Rの各分光画像の撮像信号に対してホワイトバランス補正などの信号処理を施す。
フレームメモリ59は、DSP57が出力する画像データや、画像処理部58が処理した処理済みのデータを記憶する。表示制御回路60は、フレームメモリ59から画像処理済みの画像データを読み出して、コンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
画像処理部58は通常画像処理部61と機能画像処理部62とを備えており、電子内視鏡11からの画像信号に対して、所定の画像処理を施す。通常画像処理部61は、通常観察モードにおいて、DSP57によって色分離された画像に基づいて、青色の分光画像PB1、緑色の分光画像PG1、赤色の分光画像PR1からなる白色画像Wを生成する。
機能画像処理部62は、機能情報観察モードにおいて、白色光W、N2、N3の照射タイミングに合わせて順次取得される3つの白色画像W、分光画像PB2、分光画像PB3に基づいて、血中ヘモグロビンの酸素飽和度を算出する。機能画像処理部62は、図6に示すように、白色画像Wの中の分光画像PB1、分光画像PB2、分光画像PB3に基づいて、暫定的な仮酸素飽和度を算出する仮酸素飽和度算出部63と、白色画像Wと酸素飽和度の対応関係から酸素飽和度を算出するとともに、その対応関係を仮酸素飽和度の算出毎に順次更新する酸素飽和度算出部64と、酸素飽和度を画像化した酸素飽和度画像を生成する画像生成部69とを備えている。
仮酸素飽和度算出部63は、簡易位置合わせ処理部63aと、輝度比算出部63bと、第1記憶テーブル63cと、第1演算部63dとを備えている。簡易位置合わせ処理部63aは、分光画像PB1、PB2、PB3間の簡易的な位置合わせ(以下「簡易位置合わせ処理」という)を行う。簡易位置合わせ処理部63aは、フレームメモリ59から分光画像PB1、PB2、PB3を読み出す。そして、図7に示すように、分光画像PB1、PB2、PB3の中心位置C1、C2、C3が一致するように平行移動して位置合わせされる。或いは、分光画像PB1、PB2、PB3の中心部分に基準点を設け、この基準点が、分光画像PB1、PB2、PB3間で一致するように平行移動して位置合わせしてもよい。このような中心部分だけの位置合わせの場合には、プロセッサ装置12への負荷が大幅に軽減される。
輝度比算出部63bは、簡易位置合わせ処理が行われた分光画像PB1、PB2、PB3をフレームメモリ59から読み出して、分光画像PB1と分光画像PB3間の輝度比S1/S3を求めるとともに、分光画像PB2と分光画像PB3の輝度比S2/S3を求める。ここで、S1は分光画像PB1の画素の輝度値を、S2は分光画像PB2の画素の輝度値を、S3は分光画像PB3の画素の輝度値を表している。輝度値S3は、観察部位の明るさのレベルを表すものであり、輝度値S1、S2を比較するために、輝度値S1、S2の値を規格化するための参照信号である。輝度比S1/S3と輝度比S2/S3は、各分光画像PB1、PB2、PB3間において、対応する全画素について算出される。
第1記憶テーブル63cは、輝度比S1/S3、S2/S3と酸素飽和度との相関関係を記憶している。第1記憶テーブル63cの相関関係は、主として、血中のヘモグロビンの吸光スペクトルで表される光吸収特性によって決められる。なお、第1記憶テーブル63cには、輝度比S1/S3、S2/S3と血管深さとの相関関係についても記憶している。
ここで、図8に示すように、血中ヘモグロビンのうち、酸素と結合していない還元ヘモグロビン70aと、酸素と結合した酸化ヘモグロビン70bは、異なる吸光特性を持っており、同じ吸光係数μaを示す等吸収点(図8における各ヘモグロビン70a、70bの交点)を除いて、吸光係数μaに差が生じる。吸光係数μaに差があると、同じ光強度かつ同じ波長の光を照射しても、酸素飽和度が変化すれば、輝度値が変化する。
分光画像PB1と分光画像PB2は、吸光係数μaに差が生じる狭帯域光N1,N2の波長成分を有するため、酸素飽和度の変化に応じて、分光画像PB1、PB2の輝度値S1、S2は変化する。そのため、輝度値S1、S2の変化を捉えることによって、酸素飽和度を算出することができる。これに対して、分光画像PB3は、吸光係数μaに差が生じない狭帯域光N3の波長成分を有するため、酸素飽和度が変化しても、分光画像PB3の輝度比S3は変化しない。
以上のような血中のヘモグロビンの光吸収特性の他、生体組織の光反射特性と、これまでの診断等で蓄積された多数の分光画像の分析とから、第1記憶テーブル63cには、図9に示すような、輝度比S1/S3,S2/S3を表す輝度座標系71と、酸素飽和度及び血管深さを表す血管情報座標系72との相関関係が記憶されている。輝度座標系71は、XYの2軸を持つXY座標系であり、X軸に輝度比S1/S3が割り当てられ、Y軸には輝度比S2/S3が割り当てられている。
血管情報座標系72は、輝度座標系71上に設けられたUVの2軸を持つUV座標系であり、U軸は血管深さに、V軸は酸素飽和度に割り当てられている。U軸は、右斜め上に行くほど血管は浅いことを、左斜め下に行くほど血管が深いことを示している。一方、V軸は、左斜め上に行くほど酸素飽和度が低いことを、右斜め下に行くほど酸素飽和度が高いことを示している。また、血管情報座標系72においては、U軸とV軸とは交点Pで交差している。
第1演算部63dは、輝度比算出部63bで算出した輝度比S1/S3,S2/S3が入力されると、第1記憶テーブル63cに記憶された相関関係を参照して、入力された輝度比S1/S3,S2/S3に対応する酸素飽和度を暫定的な仮酸素飽和度として求める。ここで、仮酸素飽和度とするのは、輝度比S1/S3,S2/S3の元となる分光画像PB1、PB2、PB3は、中心部分のみ位置合わせする簡易位置合わせ処理しか行われていないため、酸素飽和度の算出精度が低いからである。
第1演算部63dに入力された輝度比S1/S3及び輝度比S2/S3を、それぞれ輝度比をS1*/S3*、輝度比をS2*/S3*とすると、第1演算部63dは、次のようにして、仮酸素飽和度を算出する。第1演算部63dは、図10Aに示すように、輝度座標系71において、輝度比S1*/S3*,S2*/S3*に対応する座標(X*,Y*)を特定する。座標(X*,Y*)が特定されたら、図10Bに示すように、血管情報座標系72において、特定した座標(X*,Y*)を、酸素飽和度の座標軸であるV軸に射影して、座標V*を特定する。これにより、1つの画素について、仮酸素飽和度V*が求まる。第1演算部63dは、こうした処理を1画面分の全画素について繰り返すことによって、全画素分の仮酸素飽和度を有する仮酸素飽和度データが得られる。なお、座標(X*,Y*)を、血管深さの座標軸であるU軸に射影して、座標U*を特定することによって、血管深さ情報U*を算出してもよい。
図6に示すように、酸素飽和度算出部64は、白色信号比データ生成部64aと、対応付け部64bと、第2記憶テーブル64cと、テーブル更新部64dと、第2演算部64eとを備えている。白色信号比データ生成部64aは、白色画像Wの各画素について、分光画像PB1、分光画像PG1間の信号比B/Gを求めるとともに、分光画像PR1、分光画像PG1間の信号比R/Gを求める。これにより、全画素分の信号比B/G、R/Gを有する白色信号比データが得られる。
対応付け部64bは、白色信号比データと、仮酸素飽和度算出部63で算出された仮酸素飽和度データとを対応付ける。このような対応付けが可能であるのは、例えば、電子内視鏡11の先端部を特定の観察部位に向けた状態で、静止して観察するような場合(時間と場所を限定するような場合)である。対応付け部64bでは、まず、図11(A)、(B)に示すように、白色信号比データと仮酸素飽和度データ間で同じ位置にある画素について、信号比B/G、R/Gと仮酸素飽和度とを対応付ける。例えば、第1位置の画素の場合であれば、信号比B/G=0.3、R/G=0.3と仮酸素飽和度20%とが対応付けられる。白色信号比データと仮酸素飽和度データの全ての画素について、同様の対応付け処理を行うことによって、図11(C)に示すような仮酸素飽和度用テーブルが得られる。なお、(C)では、「()」の中のパーセント値は酸素飽和度を表している
この仮酸素飽和度用テーブルは、信号比B/Gを縦軸、信号比R/Gを横軸に割り当てた二次元座標から構成され、この二次元座標上に、所定の信号比に対応付けられた仮酸素飽和度がプロットされている。なお、仮酸素飽和度用テーブルは、図12に示すようなLUT(Look Up Table)としても得られる。
第2記憶テーブル64cには、これまでの診断で得られた白色画像の信号比B/G、R/Gと酸素飽和度との対応関係が記憶されている。テーブル更新部64dは、対応付け部64bで得られた仮酸素飽和度用テーブルに基づいて、第2記憶テーブル64cの対応関係を更新する。対応関係の更新は、図13に示すように、仮酸素飽和度テーブルの対応関係が第2記憶テーブル64cの対応関係と一致(又は略一致)する場合には、その対応関係については第2記憶テーブル64cの更新は行わない。例えば、信号比B/G=0.4、R/G=0.4については、仮酸素飽和度用テーブル及び第2記憶テーブル64cともに、酸素飽和度25%で一致するため、これについては更新を行わない。また、仮酸素飽和度テーブルの対応関係が第2記憶テーブル64c上に存在しない場合には、その対応関係は第2記憶テーブル64cに書き込まれる。
これに対して、仮酸素飽和度テーブルの対応関係が第2記憶テーブル64cの対応関係とが一致しない場合には、平均化処理を行った上で、第2記憶テーブル64cの更新を行う。この平均化処理については、仮酸素飽和度テーブルと第2記憶テーブル64cとで、酸素飽和度が同じで信号比が異なる場合と、信号比が同じで酸素飽和度が異なる場合との2パターンが考えられる。以下、前者のパターンの平均化処理について説明を行うが、後者のパターンについても前者と同様であるため、これについては説明を省略する。
例えば、図14(A)、(B)に示すように、酸素飽和度30%のときの信号比が、仮酸素飽和度用テーブルでは信号比B/G=0.5、R/G=0.7であるのに対して、第2記憶テーブル64cでは信号比B/G=0.3、R/G=0.9と異なっている場合について説明する。この場合、図14(C)に示すように、仮酸素飽和度用テーブル上の信号比B/G=0.5、R/G=0.7と第2記憶テーブル64c上の信号比B/G=0.3、R/G=0.9を平均化することにより、平均化信号比B/G=0.4、R/G=0.8が得られる。そして、この得られた平均化信号比B/G=0.4、R/G=0.8が、酸素飽和度30%として対応付けられる。そして、この対応関係(B/G=0.4、R/G=0.8のとき酸素飽和度30%)が、第2記憶テーブル64cに書き込まれる。
また、この書き込みに伴って、図14(C)に示すように、第2記憶テーブル64c上に記憶されていた酸素飽和度30%のときの対応関係は、平均化処理後に第2記憶テーブル64cから消去される。これにより、酸素飽和度30%に関する対応関係が、第2記憶テーブル64c上で更新される。更新された第2記憶テーブル64cは、例えば、図15に示すテーブルとなる。
第2演算部64eは、白色信号比データと更新済みの第2記憶テーブル64cを用いて、画素毎に酸素飽和度を算出する。この第2演算部64eでは、第2記憶テーブル64cに記憶された対応関係を参照して、白色信号比データの信号比B/G,R/Gに対応する酸素飽和度を求める。例えば、第2記憶テーブル64cが図15の場合であれば、白色信号比データの信号比B/G=0.6、信号比R/G=0.8に対応する酸素飽和度は、「32%」となる。第2演算部64eは、こうした処理を全画素について行うことによって、全画素分の酸素飽和度を有する酸素飽和度データを生成する。
図6に示すように、画像生成部69は、BGRゲインテーブル76と、ゲイン値演算部77とを備えている。BGRゲインテーブル76は、図16に示すように、酸素飽和度を横軸に、白色画像Wのうち青色の分光画像PB1の輝度値、緑色の分光画像PG1の輝度値、赤色の分光画像PR1の輝度値に対するゲイン値gb、gg、grを縦軸に割り当てたLUTで構成される。このBGRゲインテーブル76は、酸素飽和度が100%〜60%の間はゲイン値gb、gg、grはすべて1に設定されている。一方、酸素飽和度が60%を下回ると、ゲイン値grは酸素飽和度の低下に伴って徐々に小さくなり、ゲイン値gb、ggは酸素飽和度の低下に伴って徐々に大きくなる。
ゲイン値演算部77は、酸素飽和度算出部64で生成した酸素飽和度データとBGRゲインテーブル76とを用い、酸素飽和度の情報を白色画像W上に反映させる。まず、BGRゲインテーブル76から、酸素飽和度データ上の酸素飽和度に対応するゲイン値を求める。ゲイン値の算出は、全ての画素について行う。そして、算出したゲイン値を、白色画像Wの分光画像PB1の輝度値、分光画像PG1の輝度値、分光画像PR1の輝度値に掛け合わせる。これにより、酸素飽和度画像が得られる。生成された酸素飽和度画像は、再度フレームメモリ59に記憶される。
酸素飽和度画像は、白色画像をベースとしているため、図17に示すように、酸素飽和度が正常な領域78において生体に適した色で表示されるのに対して、酸素飽和度が正常でない領域79においては、酸素飽和度に応じて白色画像の色調が生体ではあり得ない色になる。本実施形態では酸素飽和度が60%を下回ったときにゲイン値が1から上下するBGRゲインテーブル76を用いているため、酸素飽和度画像は、酸素飽和度が特に60%未満(正常な消化管粘膜では70%)の画素において、酸素飽和度が低くなるほど色味がシアン調に変化するようになっている。なお、正常な状態での酸素飽和度は、動脈では100%、静脈では70%程度である。
なお、本実施形態では、酸素飽和度が60%を下回ったときにゲイン値を変化させるようにしたが、これに限らず、60%よりももっと低い値に設定し、著しく低酸素な領域のみ強調するようにしてもよい。また、これとは反対に60%よりも少し高めの値に設定し、少しでも低酸素の疑いのある領域を強調するようにしてもよい。
なお、酸素飽和度画像は、白色画像の代わりに、分光画像PB1、PB2、PB3やこれらの合成画像をベースにカラー情報を反映させたものでもよい。また、画像生成部69は、仮酸素飽和度算出部63で得られる血管深さ情報に基づいて、酸素飽和度画像と同様に、血管深さ画像を生成することもできる。この場合は、血管深さの程度に応じて、明瞭に区別することができる色が割り当てられていることが好ましい。
また、本実施形態では、酸素飽和度に応じて白色画像Wの画素値を変化させるが、画素値全体ではなく、色相、明度、彩度などの白色画像の色特性値を酸素飽和度に応じて変化させてもよい。酸素飽和度に応じて色相、明度、彩度を変化させる場合には、BGRゲインテーブル76に代えて、酸素飽和度と、白色画像の画素値を色相、明度、彩度に変換するための変換値とを関連付けた色相マトリックス、明度マトリックス、彩度マトリックスを用いる。
また、上記の例では、ゲイン値を画像信号に掛け合わせることで色調を変化させたが、log変換した画像信号にゲイン値に相当のオフセット値を加算するようにしてもよい。
表示制御回路60は、上述のように生成された酸素飽和度画像を順次取得し、これら順次取得した画像を酸素飽和度動画としてモニタ14に表示する。酸素飽和度動画は、1フレームの白色画像Wから得られる酸素飽和度の情報に基づいて生成されたものであるためフレーム間の位置ズレによるちらつきが発生することがなく、また、動画中の酸素飽和度に関する情報も正確に表示されている。
なお、酸素飽和度や血管深さなどの機能情報は、画像に代えて又は加えて、文字情報として表示してもよい。また、酸素飽和度を画像化しているが、酸素飽和度画像には、上記例で示した形態に代えて、又はそれに加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスを画像化したものも含まれる。
次に、本発明の作用について図18のフローチャートに沿って説明する。機能情報観察モードに設定されると、まず、白色光Wが被検体内に照射される。被検体の反射像は、B画素、G画素、R画素からなる撮像素子44で撮像される。これにより、青色の分光画像PB1、緑色の分光画像PG1、赤色の分光画像PR1からなる白色画像Wが得られる。
次に、中心波長473nmの狭帯域光N2が被検体内に照射され、その反射像が撮像素子44により撮像される。これにより、分光画像PB2を含む画像が得られる。次に、中心波長405nmの狭帯域光N3が被検体内に照射され、その反射像が撮像素子44により撮像される。これにより、分光画像PB3を含む画像が得られる。
以上の3フレーム分の画像PB3が得られると、3つの分光画像PB1、PB2、PB3間の簡易位置合わせを行う。この簡易位置合わせにより、分光画像PB1〜PB3の中心部分のみ位置合わせする。次に、簡易位置合わせされた分光画像間の輝度比S1/S3、S2/S3を求める。輝度比は全ての画素について求める。輝度比が求まると、第1記憶テーブル63cに記憶している相関関係から、輝度比S1/S3、S2/S3に対応する酸素飽和度を暫定的な仮酸素飽和度として求める。この仮酸素飽和度を全ての画素について求めることにより、仮酸素飽和度データを得る。
次に、白色画像Wの分光画像間の信号比B/G、R/Gを求める。白色画像の信号比を全ての画素について求めることにより、白色信号比データを得る。そして、白色信号比データと、仮酸素飽和度データとを対応付ける。この対応付けは、例えば同じ時間かつ同じ観察部位に限定したような場合に可能である。白色画像Wの信号比と仮酸素飽和度との対応付けを全ての画素について行うことにより、仮酸素飽和度用テーブルが得られる。
次に、仮酸素飽和度用テーブルに基づいて、第2記憶テーブル64cの対応関係を更新する。この第2記憶テーブル64cには、これまでの診断で得られた白色画像の信号比とB/G、R/Gと酸素飽和度との関係が記憶されている。そして、この更新済みの第2記憶テーブル64cから、白色信号比データの信号比B/G、R/Gに対応する酸素飽和度を求める。
全ての画素について酸素飽和度が求まると、BGRゲインテーブル76から、各画素の酸素飽和度に対応するゲイン値を特定する。ゲイン値の特定は全ての画素について行う。各画素におけるゲイン値が特定されると、このゲイン値を分光画像PB1の輝度値、分光画像PG1の輝度値、分光画像PR1の輝度値に掛け合わせる。ゲイン値の掛け合わせは全ての画素について行われる。これにより酸素飽和度画像が得られる。得られた酸素飽和度画像は動画としてモニタ14に表示される。
本実施形態では、複数の分光画像の位置合わせを簡易的に行っているため、プロセッサ装置のハード構成への負荷が軽減される。また、1フレームの白色画像Wから酸素飽和度を算出し、それに基づいて酸素飽和度画像を生成するため、ちらつきなく動画表示することができる。
[第2実施形態]
上記実施形態では、青色領域において特定の波長域に制限された狭帯域光をそれぞれ発光する3つのレーザ光源LD1〜LD3を用いて被検体内の照明を行ったが、第2実施形態の内視鏡システム91は、2つのレーザ光源LD1、LD2を用いて照明を行うものである。この場合、内視鏡システム10に代えて、例えば図19に示す内視鏡システム91が使用される。この内視鏡システム91は、光源装置92とプロセッサ装置の機能画像処理部102が異なっている以外は、内視鏡システム10と同様の構成を備えている。したがって、以下においては、光源装置92及び機能画像処理部102の構成とそれに関連する部分を説明し、その他に構成については説明を省略する。
光源装置92は、半導体光源ユニット93と、これらを駆動制御する光源制御部94とを備えている。光源制御部94は、光源装置92の各部の駆動タイミングや同期タイミングなどの制御を行う。
半導体光源ユニット93は、青色領域において特定の波長域に制限された狭帯域光をそれぞれ発光する2つのレーザ光源LD1、LD2を有している。レーザ光源LD1は、波長域が440±10nmに、好ましくは445nmに制限された狭帯域光N1を発光する。レーザ光源LD2は、波長域が470±10nmに、好ましくは473nmに制限された狭帯域光N2を発光する。レーザ光源LD1、LD2としては、InGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。また、レーザ光源LD1、LD2としては、高出力化が可能なストライプ幅(導波路の幅)が広いブロードエリア型のレーザダイオードが好ましい。
光源制御部94は、ドライバ95を介してレーザ光源LD1、LD2の点灯、消灯、光量の制御を行う。レーザ光源LD1、LD2が発光する光は、光ファイバ96によってコンバイナ36に導光される。コンバイナ36は、各光ファイバ96からの光を合波する機能を持つ光学部材であり、選択的に入射する各光ファイバ96からの光の光軸を1つに結合する。コンバイナ36の下流側には、蛍光体37が設けられている。
本実施形態では、通常観察モードのときには、蓄積タイミングに合わせてレーザ光源LD1が点灯し、照明光として、狭帯域光N1とこの狭帯域光N1により蛍光体37で励起発光する蛍光とからなる白色光が観察部位に照射され、その反射光が撮像素子44に入射する。撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、通常観察モードに設定されている間、繰り返される。
一方、機能情報観察モード時には、図20に示すように、まず、1フレーム目でレーザ光源LD1が点灯し、照明光として狭帯域光N1とこの狭帯域光N1により蛍光体37で励起発光する蛍光とからなる白色光W1(445nm+蛍光体)が観察部位に照射され、その反射光が撮像素子44に入射する。次に、2フレーム目でレーザ光源LD2が点灯し、照明光として、狭帯域光N2とこの狭帯域光N2により蛍光体37で励起発光する蛍光とからなる白色光W2(473nm+蛍光体)が観察部位に照射され、その反射光が撮像素子44に入射する。撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、機能情報観察モードに設定されている間、繰り返される。
この機能情報観察モードにおいては、1フレーム目においては、白色光W1の反射像の撮像により白色画像W1が得られ、2フレーム目においては、白色光W2の反射像の撮像により白色画像W2が得られる。そして、機能画像処理部102において、白色画像W1の中の緑色の分光画像PG1及び赤色の分光画像PR1と、白色画像W2の中の青色の分光画像PB2とに基づいて、酸素飽和度の算出と画像化を行う。
機能画像処理部102は、図21に示すように、輝度値算出部103、第1記憶テーブル104、第1演算部105以外は、機能画像処理部62と同様である。そのため、機能画像処理部62と同様の部分については、説明を省略する。なお、第2実施形態では、機能画像処理部102の白色信号比データ生成部64aは、白色画像W1に基づいて、白色信号比データが生成される。
輝度比算出部103は、簡易位置合わせ処理部63aにおいて簡易位置合わせされた分光画像PG1の輝度値G1と分光画像PB2の輝度値B2間の輝度比B2/G1を算出するとともに、簡易位置合わせされた分光画像PG1の輝度値G1と分光画像PR1の輝度値R1間の輝度比R1/G1を算出する。輝度比は全ての画素に対して算出される。
第1記憶テーブル104は、信号比B2/G1及び信号比R1/G1と、血管中の酸素飽和度との相関関係を記憶している。この第1記憶テーブル104の相関関係はこれまでの診断結果等から得られるものであり、図22に示すように、二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、信号比B2/G1、R1/G1はlogスケールで記憶されている。
第1演算部105は、第1記憶テーブル104に記憶された相関関係と、輝度比算出部103で求めた信号比B2/G1及び信号比R1/G1とを用いて、各画素における暫定的な仮酸素飽和度を求める。図23に示すように、第1記憶テーブル104に記憶した相関関係から、輝度比算出部103で求めた信号比B2*/G1*、R1*/G1*に対応する対応点Pを特定する。そして、対応点Pが酸素飽和度=0%限界の下限ライン97と酸素飽和度=100%限界の上限ライン98との間にある場合に、その対応点Pが示すパーセント値を仮酸素飽和度とする。例えば、図23の場合であれば、対応点Pは60%の等高線上に位置するため、仮酸素飽和度は60%となる。
一方、対応点Pが下限ライン97と上限ライン98との間から外れている場合、対応点Pが下限ライン97よりも上方に位置するときには仮酸素飽和度を0%とし、対応点Pが上限ライン98よりも下方に位置するときには仮酸素飽和度を100%とする。
なお、上記実施形態では、半導体光源としてレーザダイオードからなるレーザ光源を例示したが、キセノンランプやハロゲンランプなどの白色光源と、白色光源からの白色光を狭帯域光N1、N2、N3に分光する分光フィルタ及び白色光を青色のB4光、緑色のG4光、赤色のR4光に分光する分光フィルタを有するロータリフィルタとを組み合わせたものでもよい。この場合には、第1実施形態における内視鏡システム10の光源装置13に代えて、図24に示す内視鏡システム200の光源装置201を用いる。この光源装置201で生成された光は、電子内視鏡202に供給される。
電子内視鏡202は第1実施形態の電子内視鏡11と略同様の構成を備えているが、撮像素子として、カラーフィルタが設けられていないモノクロの撮像素子203が使用される点が異なる。そして、各狭帯域光N1、N2、N3及び青色のB4光、緑色のG4光、赤色のR4光は、ロータリフィルタの回転に同期して順次照射され、各照射毎にその反射像がモノクロの撮像素子203によって順次に撮像される。
光源装置201は、広帯域光BB(400〜700nm)を発する白色光源210と、白色光源210から広帯域光BBをB、G、Rの3色の光に色分離する回転フィルタ212と、回転フィルタ212の回転軸に接続され、一定の回転速度で回転フィルタ212を回転させるモータ213と、回転フィルタ212を半径方向にシフトさせるシフト部214を備えている。
白色光源210は、広帯域光BBを放射する光源本体210aと、広帯域光BBの光量を調節する絞り210bとを備えている。光源本体210aはキセノンランプ、ハロゲンランプ、メタルハライドランプなどから構成される。絞り210bの開度は、光量制御部(図示省略)によって調節される。
図25に示すように、回転フィルタ212は、モータ213に接続された回転軸を回転中心として回転する。この回転フィルタ212には、回転軸がある回転中心から順に、半径方向に沿って、第1フィルタ領域と第2フィルタ領域220,221が設けられている。これら第1及び第2フィルタ領域220,221のうちのいずれかが、モードに応じて、広帯域光BBの光路上にセットされる。第1フィルタ領域220は、通常観察モード時に広帯域光BBの光路上にセットされ、第2フィルタ領域221は、機能情報観察モード時に広帯域光BBの光路上にセットされる。各フィルタ領域220,221の切り替えは、シフト部214により回転フィルタ212を半径方向にシフトさせることによって、行われる。
第1フィルタ領域220は、中心角が120°の扇型の領域に、それぞれBフィルタ部220a、Gフィルタ部220b、Rフィルタ部220cが設けられている。Bフィルタ部220aは広帯域光BBから青色帯域(380〜500nm)のB光を透過させ、Gフィルタ部220bは広帯域光BBから緑色帯域(450〜630nm)のG光を透過させ、Rフィルタ部220cは広帯域光BBから赤色帯域(580〜760nm)のR光を透過させる。したがって、回転フィルタ212の回転によって、回転フィルタ212からB光、G光、R光が順次出射する。これらB光、G光、R光は、集光レンズ216を通して、ライドガイド43に入射する。
第2フィルタ領域221は、B4フィルタ部221a、G4フィルタ部221b、R4フィルタ部221cと、B3フィルタ部221d、B1フィルタ部221e、B2フィルタ部221fが設けられている。B3フィルタ部221dは広帯域光BBから波長範囲400±10nmの青色狭帯域光N3を透過させる。B1フィルタ部221eは広帯域光BBから波長範囲440±10nmの青色狭帯域光N1を透過させる。B2フィルタ部221fは広帯域光BBから波長範囲470±10nmの青色狭帯域光N2を透過させる。
一方、B4フィルタ部221a、G4フィルタ部221b、R4フィルタ部221cは、Bフィルタ部220a、Gフィルタ部220b、Rフィルタ部220cと同様に、B4フィルタ部221aは青色帯域(380〜500nm)のB4光を、G4フィルタ部221bは緑色帯域(450〜630nm)のG4光を、R4フィルタ部221cは赤色帯域(580〜760nm)のR4光を透過させる。したがって、回転フィルタ112の回転によって、回転フィルタ212からB4光、G4光、R4光と青色狭帯域光N3、N1、N2が順次出射する。これら各光は、集光レンズ216を通して、ライドガイド43に入射する。
通常観察モードにおいては、図26Aに示すように、B、G、Rの三色の像光を順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号B、G、Rを順次出力する。この一連の動作は、通常観察モードに設定されている間、繰り返される。一方、機能情報観察モードにおいては、図28Bに示すように、青色狭帯域光N3、N1、N2、B4光、G4光、R4光の像光を順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号N3、N1、N2、B4、G4、R4を順次出力する。こうした動作が機能情報観察モードに設定されている間、繰り返される。
プロセッサ装置12内の通常光画像処理部61は、面順次撮像信号B、G、Rに基づいて、白色画像Wを生成する。一方、機能画像処理部62は、面順次撮像信号B4、G4、R4から生成される白色画像と面順次撮像信号N3、N1、N2とに基づいて、酸素飽和度画像を生成する。ここでは、第1実施形態の輝度比S1/S3に対応する輝度比としてN1/N3を用い、第1実施形態の輝度比S2/S3に対応する輝度比としてN2/N3を用いる。これに伴って、第1記憶テーブル63cには、輝度比N1/N3及びN2/N3と酸素飽和度との相関関係が記憶されている。また、白色画像Wの信号比のうち、第1実施形態の信号比B/Gに対応する信号比として、B4/G4を用い、第1実施形態の信号比R/Gに対応する信号比として、R4/G4を用いる。これに伴って、第2記憶テーブル64cには、信号比B4/G4及びR4/G4と酸素飽和度との対応関係が記憶されている。それ以外については、第1実施形態と同様の手順で処理が行われる。
なお、上記実施形態では、第2記憶テーブルに、白色画像と酸素飽和度との対応関係を予め記憶させておいたが、この対応関係は患者によって大きく異なる場合があるため、内視鏡診断の開始時には、第2記憶テーブルに記憶されている対応関係を全てリセットすることが好ましい。
なお、上記実施形態では、仮酸素飽和度を算出する毎に、第2記憶テーブルの更新を行ったが、特定の条件下においては、第2記憶テーブルの更新を行わなくともよい。この場合には、狭帯域光N2、N3の照射・撮像は行われず、白色光Wの照射・撮像のみが行われる。即ち、白色画像Wと第2記憶テーブルだけで、酸素飽和度の算出及び画像化を行う。
なお、上記実施形態では、光源装置とプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。また、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡と画像処理を行うプロセッサ装置からなるシステム、カプセル内視鏡と画像処理を行うプロセッサ装置からなるシステム等、他の形態の内視鏡システムにも適用することができる。