以下、本発明の内視鏡画像信号処理装置および方法並びにプログラムの第1の実施形態を用いた内視鏡システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の内視鏡システム10の概略構成を示す図である。
本実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、入力装置20とを有する。内視鏡12は、光源装置14に光学的に接続され、プロセッサ装置16に電気的に接続される。
内視鏡12は、被検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23および先端部24を有している。操作部22には、アングルノブ22aが設けられており、このアングルノブ22aを回転操作することによって、湾曲部23が湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、モード切替スイッチ22bと、ズーム操作部22cとが設けられている。モード切替スイッチ22bは、通常光観察モードと狭帯域光観察モードの2種類のモード間の切り替え操作に用いられる。通常光観察モードは、被検体内の撮像対象の照明に白色光を用いるモードである。狭帯域光観察モードは、被検体内の撮像対象の照明に青味を帯びた狭帯域光を用いるモードであり、萎縮性胃炎による粘膜の色の変化や血管の透見像を強調するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、撮像対象を拡大させるズーム操作に用いられる。
モニタ18および入力装置20は、プロセッサ装置16に電気的に接続されるものである。モニタ18は、内視鏡12によって撮像された内視鏡画像および後述する色数値情報を表示するものである。入力装置20は、機能設定等などの入力操作を受け付けるものであり、キーボードおよびマウスなどを備えたものである。なお、タッチパネルを用いることによってモニタ18と入力装置20とを兼用するようにしてもよい。
図2は、本実施形態の内視鏡システム10の内部構成を示すブロック図である。
光源装置14は、中心波長445nmの青色レーザ光を発する青色レーザ光源34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源36とを備えている。各光源34、36は、光源制御部40により個別に制御され、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更可能になっている。
光源制御部40は、通常光観察モードの場合には、主として青色レーザ光源34を駆動させる。なお、青紫色レーザ光源36については、青紫色レーザ光がわずかに発光されるように制御してもよい。
これに対し、光源制御部40は、狭帯域光観察モードの場合には、青色レーザ光源34と青紫色レーザ光源36の両方を駆動させるとともに、青色レーザ光の光強度が青紫色レーザ光の光強度よりも大きくなるように制御している。なお、青色レーザ光または青紫色レーザ光の半値幅は±2nm程度とし、青色狭帯域光とすることが好ましい。また、青色レーザ光源34および青紫色レーザ光源36としては、ブロードエリア型のInGaN系レーザダイオード、InGaAsN系レーザダイオードおよびGaAsN系レーザダイオードなどを用いることができる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
各光源34、36から出射されるレーザ光は、集光レンズなどの光学部材(図示省略)を介してライトガイド(LG)41に入射する。ライトガイド41は、ユニバーサルコード13内に収容されており、内視鏡12に光学的に接続される。
青色レーザ光または青紫色レーザ光は、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。
内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41から出射された青色レーザ光または青紫色レーザ光が入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで励起され、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、撮像対象に照射される。
ここで、通常光観察モードにおいては、主として青色レーザ光が蛍光体44に入射する。したがって、図3に示すような、青色レーザ光BLと蛍光体44から発せられた蛍光FLとを合波した白色光WLが、撮像対象に照射される。一方、狭帯域光観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射する。したがって、図4に示すような、青紫色レーザ光VL、青色レーザ光BL、および蛍光FLを合波した光SLが、撮像対象に照射される。この狭帯域光観察モードでは、青色レーザ光に加えて、狭帯域光である青紫色レーザ光が含まれているため、青色成分を多く含みかつ波長範囲がほぼ可視光全域に及ぶ広帯域光が、撮像対象に照射される。なお、本明細書においては、狭帯域光観察モードにおいて撮像対象に照射される光のことを、単に狭帯域光と呼ぶことにする。すなわち、図4に示す光SLを、単に狭帯域光SLと呼ぶことにする。
本実施形態の青色レーザ光および青紫色レーザ光のような青色狭帯域光は、粘膜内の吸光物質、具体的には、消化器に多く含まれる含む血液(特に、ヘモグロビン)に対する吸収が大きい。したがって、狭帯域光観察モードで撮影した時に正常な粘膜領域と萎縮粘膜領域の差を大きくすることができる。
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG(Yttrium Aluminum Garnet)系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本実施形態のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
なお、本実施形態においては、蛍光体44を内視鏡12の先端部24に設けたが、これに代えて、蛍光体44を光源装置14内に設けてもよい。この場合には、ライトガイド41と青色レーザ光源34との間に、蛍光体44を設けることが好ましい。
また、内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、および撮像素子48を有している。撮像対象からの反射光は、撮像レンズ46およびズームレンズ47を介して、撮像素子48に入射する。これにより、撮像素子48に撮像対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することで移動する。
撮像素子48はカラーのイメージセンサであり、撮像対象の反射像を撮像してRAW信号を出力する。なお、撮像素子48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。
また、本実施形態の撮像素子48は、撮像面にRGBのカラーフィルタが設けられた同時式撮像素子である。R(赤)のカラーフィルタが設けられた素子からR成分のR信号が出力され、G(緑)のカラーフィルタが設けられた素子からG成分のG信号が出力され、B(青)のカラーフィルタが設けられた素子からB成分のB信号が出力される。なお、以下、R信号、G信号およびB信号をまとめてRGB信号と呼ぶことがある。フィルタ配列としては、ベイヤー配列でもよいし、ハニカム配列でもよい。
また、撮像素子48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)およびG(緑)のCMYGフィルタを備えたイメージセンサであっても良い。CMYGフィルタを備えたイメージセンサの場合には、C(シアン)のカラーフィルタが設けられた素子からC成分のC信号が出力され、M(マゼンダ)のカラーフィルタが設けられた素子からM成分のM信号が出力され、Y(イエロー)のカラーフィルタが設けられた素子からY成分のY信号が出力され、G(緑)のカラーフィルタが設けられた素子からG成分のG信号が出力される。
撮像素子48から出力されたRGB信号は、CDS/AGC回路50に出力される。CDS/AGC回路50は、アナログ信号であるRGB信号に相関二重サンプリング(CDS(correlated double sampling))や自動利得制御(AGC(Auto gain control))を行う。CDS/AGC回路50を経たRGB信号は、ガンマ変換部51においてガンマ変換が施された後、A/D変換部52により、デジタル信号に変換される。A/D変換されたRGB信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部60と、ノイズ除去部61と、通常光画像生成部62と、狭帯域光画像生成部63と、表示制御部65とを備える。プロセッサ装置16は、CPU(Central Processing Unit)、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、本発明の内視鏡画像信号処理プログラムの一実施形態がインストールされたものである。この内視鏡画像信号処理プログラムがCPUによって実行されることによって、上記各部が機能する。
画像信号取得部60は、内視鏡12から出力されたRGB信号を取得するものである。画像信号取得部60によって取得されたRGB信号は、メモリなどに一旦記憶される。また、画像信号取得部60によって取得されたRGB信号には、図示省略したデモザイク処理部によってデモザイク処理が施され、画素毎について、R信号、G信号およびB信号が生成される。
ノイズ除去部61は、デモザイク処理の施されたRGB信号に対してノイズ除去処理を施すものである。具体的には、移動平均フィルタまたはメディアンフィルタ処理を施すものである。
通常光画像生成部62は、マトリックス処理部62a、階調処理部62b、3次元LUT処理部62c、色彩強調部62dおよび構造強調部62eを備えている。マトリックス処理部62a、階調処理部62bおよび3次元LUT処理部62cは、RGB信号に対して色変換処理を施すものである。具体的には、RGB信号に対して、マトリックス処理部62aによって3×3のマトリックス処理が施され、階調処理部62bによって階調処理が施され、3次元LUT処理部62cによって3次元LUT処理が施される。
階調処理部62bには、RGB信号の入力値と出力とを対応付けたRGB階調テーブルが予め設定されており、階調処理部62bは、このRGB階調テーブルを用いて、入力されたRGB信号に対して階調処理を施すものである。
図5は、階調処理部62bの具体的な構成を示すブロック図である。階調処理部62bは、図5に示すように、第1LUT処理部70と、第2LUT処理部71と、輝度算出部72とを備えている。
第1LUT処理部70は、通常光観察モードにおける通常画像生成の際に用いられる通常画像用のRGB階調テーブルが予め設定されたものである。
第2LUT処理部71は、通常光観察モードにおける特殊画像生成の際に用いられる特殊画像用のRGB階調テーブルが予め設定されたものである
第1LUT処理部70と第2LUT処理部71とは、通常画像生成の指示入力を受けた場合と特殊画像生成の指示入力を受けた場合とで切り替えて使用される。
第2LUT処理部71には、RGB信号から算出される輝度毎のRGB階調テーブルがそれぞれ設定されている。輝度算出部72は、階調処理部62bに入力されたRGB信号の輝度を算出するものである。輝度算出部72によって算出された輝度は、第2LUT処理部71に入力され、第2LUT処理部71は、入力された輝度に応じたRGB階調テーブルを用いてRGB信号に対して階調処理を施すものである。
図6Iおよび図6IIは、輝度毎に設定されたRGB階調テーブルの一例を示す図である。以下、図6Iおよび図6IIに示すRGB階調テーブルについて説明するが、ここでは、説明を分かりやすくするために、撮像対象がグレーであり、内視鏡12から出力されたR信号、G信号およびB信号の比が1:1:1である場合について説明する。
図6Iは、入力値であるR信号、G信号およびB信号が、それぞれR_in1、G_in1およびB_in1である場合に用いられるRGB階調テーブルの一例を示しており、図6IIは、入力値であるR信号、G信号およびB信号が、それぞれR_in2、G_in2およびB_in2である場合に用いられるRGB階調テーブルの一例を示している。すなわち、図6Iは、R_in1、G_in1およびB_in1から算出される輝度に応じたRGB階調テーブルであり、図6IIは、R_in2、G_in2およびB_in2から算出される輝度に応じたRGB階調テーブルである。なお、図6Iおよび図6IIにおいては、R_in1、G_in1およびB_in1を「A」で示し、R_in2、G_in2およびB_in2を「B」で示している。
図6Iおよび図6IIに示すように、RGB階調テーブルは、R信号の入力値と出力値とを対応付けたR階調テーブルRC1,RC2と、G信号の入力値と出力値とを対応付けたG階調テーブルGC1,GC2と、B信号の入力値と出力値とを対応付けたB階調テーブルBC1,BC2を備えている。
R階調テーブルRC1,RC2と、G階調テーブルGC1,GC2と、B階調テーブルBC1,BC2とは、たとえば正常粘膜など特定の撮像対象の色相および彩度が所定の位置になるようにしつつ、発赤などの他の撮像対象の色が強調されるような階調テーブルであることが好ましい。すなわち、正常粘膜を表すRGB信号については、階調処理後にそのRGBの比率が所定の比率になるようにし、発赤を表すRGB信号については、階調処理後に上記所定の比率よりもR成分の比率が大きくなるような階調テーブルとすることが好ましい。このような階調テーブルは、正常粘膜を表すRGB信号の分布と、発赤を表すRGB信号の分布とを予め取得し、それらの分布と出力値との関係を解析することによって設定することができる。
さらに、図6Iに示すRGB階調テーブルと、図6IIに示すRGB階調テーブルとは、上述したように輝度毎に設定されたRGB階調テーブルであるが、これらのRGB階調テーブルは、入力値のRGB信号から算出される輝度が変化した場合でも、RGBの比率が所定の比率のRGB信号の入力に対して、出力値のRGBの比率が所定の比率となるように設定されている。すなわち、図6Iおよび図6IIに示す各RGB階調テーブルにRGBの比率が第1の比率であるRGB信号(たとえば正常粘膜を撮像して得られたRGB信号)が入力された場合、RGBの比率が第2の比率となる出力値が各RGB階調テーブルから出力されるように設定されている。
具体的には、図6Iに示すRGB階調テーブルは、入力値がAの場合に用いられるRGB階調テーブルであり、R信号の出力値はR_out1、G信号の出力値はG_out1およびB信号の出力値はB_out1になる。一方、図6IIに示すRGB階調テーブルは、入力値がBの場合に用いられるRGB階調テーブルであり、R信号の出力値はR_out2、G信号の出力値はG_out2およびB信号の出力値はB_out2になる。そして、図6Iおよび図6IIに示すRGB階調テーブルは、R_out1とG_out1とB_out1の比率と、R_out2とG_out2とB_out2の比率とが同じになるように設定されている。なお、図6Iに示す直線RL,BL,GLと図6IIに示す直線RL,BL,GLとは同じ直線であり、R_out1とG_out1とB_out1の比率と、R_out2とG_out2とB_out2の比率とが変わっていないことが分かる。
このように輝度毎にRGB階調テーブルを設定し、所定の入力値の輝度が変化した場合でも、出力値のR信号、G信号およびB信号の比率が変化しないようにすることによって、たとえば内視鏡12によって大腸または小腸などの管腔臓器を撮像した際、明るさが異なる手前の撮像範囲と奥側の撮像範囲とでたとえば正常粘膜のカラーバランスを維持することができ、より正確な色を表した画像を生成することができる。これにより、より高精度な画像診断を行うことができる。
第2LUT処理部71は、具体的には、画素毎について、下式に従って輝度Yを算出し、その輝度に応じたRGB階調テーブルを用いて、画素毎の出力値R_out,G_out,B_outを算出する。なお、下式におけるLUT_R[R][Y]が輝度に応じたR階調テーブルであり、LUT_G[G][Y]が輝度に応じたG階調テーブルであり、LUT_B[B][Y]が輝度に応じたB階調テーブルである。
Y=0.3×R_in+0.6×G_in+0.1×B_in
R_out=LUT_R[R_in][Y]
G_out=LUT_G[G_in][Y]
B_out=LUT_B[B_in][Y]
なお、輝度Yは、0〜255の値となるが、RGB階調テーブルは、0〜255の値の全てについて設定する必要はなく、0〜255の値のうち一部の輝度の値についてのみ設定するようにしてもよい。
そして、たとえば入力値R_in,G_in,B_inから算出された輝度Yに対応するRGB階調テーブルが予め設定されていない場合には、その輝度Yの前後の輝度の値について設定されたRGB階調テーブルを用いて出力値R_out,G_out,B_outを算出するようにすればよい。具体的には、前後の輝度に設定されたRGB階調テーブルを補間して用いるようにすればよい。
また、撮像素子48が、CMYGの補色系のカラーフィルタを備えたものである場合には、CMYG信号をRGB信号に変換した後、上述したRGB階調テーブルを用いた階調処理を行うようすればよい。
図2に戻り、色彩強調部62dは、ユーザによる設定入力を受け付けて色変換済のRGB信号に対して、さらに各種の色彩強調処理を施すものである。構造強調部62eは、色彩強調処理済のRGB信号に対して、空間周波数強調などの構造強調処理を行うものである。
マトリックス処理部62a、色彩強調部62dおよび構造強調部62eには、それぞれ通常画像生成用のパラメータと特殊画像生成用のパラメータとが予め設定されている。
通常画像生成と特殊画像生成は、ユーザが入力装置20から指示入力することによって切り替えられる。なお、入力装置20からの指示入力に限らず、操作部22に通常画像生成と特殊画像生成とを切り替えるスイッチを設けるようにしてもよい。
ユーザによって通常画像生成の指示入力がされた場合には、通常光画像生成部62に入力されたRGB信号に対して各部において通常画像用の処理が施され、通常画像信号として通常光画像生成部62から表示制御部65に出力される。ユーザによって特殊画像生成の指示入力がされた場合には、通常光画像生成部62に入力されたRGB信号に対して各部において特殊画像用の処理が施され、特殊画像信号として通常光画像生成部62から表示制御部65に出力される。
狭帯域光画像生成部64は、マトリックス処理部64a、階調処理部64b、3次元LUT処理部64c、色彩強調部64dおよび構造強調部64eを備えている。マトリックス処理部64a、階調処理部64bおよび3次元LUT処理部62cは、RGB信号に対して狭帯域画像用の色変換処理を施すものである。具体的には、RGB信号に対して、マトリックス処理部64aによって3×3のマトリックス処理が施され、階調処理部64bによって階調処理が施され、3次元LUT処理部64cによって3次元LUT処理が施される。
階調処理部64bにも、階調処理部62bと同様に、RGB信号の入力値と出力とを対応付けたRGB階調テーブルが予め設定されており、階調処理部64bは、このRGB階調テーブルを用いて、入力されたRGB信号に対して階調処理を施すものである。
階調処理部64bの基本的な構成は、階調処理部62bと同様であり、図7に示すように、第1LUT処理部73と、第2LUT処理部74と、輝度算出部75とを備えている。
第1LUT処理部73は、狭帯域光観察モードにおける狭帯域画像生成の際に用いられる狭帯域画像用のRGB階調テーブルが予め設定されたものである。
第2LUT処理部74は、狭帯域光観察モードにおける特殊狭帯域画像生成の際に用いられる特殊狭帯域画像用のRGB階調テーブルが予め設定されたものである。
第1LUT処理部73と第2LUT処理部74とは、狭帯域画像生成の指示入力を受けた場合と特殊狭帯域画像生成の指示入力を受けた場合とで切り替えて使用される。
そして、第2LUT処理部74は、通常光画像生成部62の第2LUT処理部71と同様に、輝度毎に設定されたRGB階調テーブルを有するものである。この輝度毎のRGB階調テーブルも、輝度毎の各RGB階調テーブルにRGBの比率が第1の比率であるRGB信号が入力された場合、RGBの比率が第2の比率となる出力値が各RGB階調テーブルから出力されるように設定されている。図8および図9は、階調処理部64bに設定されるRBG階調テーブルの具体的な例を示す図である。
図8Iおよび図8IIに示すRGB階調テーブルは、入力されるRGB信号のRGBの比率(第1の比率)と階調処理後のRGB信号のRGBの比率(第2の比率)とが同じになるように設定されたものである。そして、図8Iに示すRGB階調テーブルは、輝度がY=82の場合に用いられるRGB階調テーブルであり、図8IIに示すRGB階調テーブルは、輝度がY=143の場合に用いられるRGB階調テーブルである。
図8Iに示すRGB階調テーブル(RC1,GC1,BC1)は、R_in=128,G_in=67,B_in=34のRGB信号に対して、R_out=128,G_out=67,B_out=34の出力値を出力する。このとき入力されるRGB信号のRGBの比率は、R:G:B=1:0.53:0.27であり、出力値のRGBの比率も、R:G:B=1:0.53:0.27である。
一方、図8IIに示すRGB階調テーブル(RC2,GC2,BC2)は、R_in=224,G_in=118,B_in=59のRGB信号に対して、R_out=224,G_out=118,B_out=59の出力値を出力する。このとき入力されるRGB信号のRGBの比率は、R:G:B=1:0.53:0.27であり、出力値のRGBの比率も、R:G:B=1:0.53:0.27である。
すなわち、図8Iに示すRGB階調テーブルと図8IIに示すRGB階調テーブルは、ともにRGBの比率がR:G:B=1:0.53:0.27(第1の比率)であるRGB信号が入力された場合、RGBの比率がR:G:B=1:0.53:0.27(第2の比率)となる出力値が各RGB階調テーブルから出力されるように設定されている。
次に、図9Iおよび図9IIに示すRGB階調テーブルは、入力されるRGB信号のRGBの比率(第1の比率)がR:G:B=1:0.53:0.27の場合、階調処理後のRGB信号のRGBの比率(第2の比率)がR:G:B=1:0.5:0.3となるように設定されたものである。
そして、図9Iに示すRGB階調テーブル(RC1,GC1,BC1)は、輝度がY=82の場合に用いられるRGB階調テーブルであり、図9IIに示すRGB階調テーブルは、輝度がY=143の場合に用いられるRGB階調テーブルである。
図9Iに示すRGB階調テーブルは、R_in=34,G_in=67,B_in=128のRGB信号に対して、R_out=128,G_out=63,B_out=38の出力値を出力する。このとき入力されるRGB信号のRGBの比率は、上述したようにR:G:B=1:0.53:0.27であり、出力値のRGBの比率は、R:G:B=1:0.5:0.3である。
一方、図9IIに示すRGB階調テーブル(RC2,GC2,BC2)は、R_in=224,G_in=118,B_in=59のRGB信号に対して、R_out=224,G_out=111,B_out=66の出力値を出力する。このとき入力されるRGB信号のRGBの比率は、上述したようにR:G:B=1:0.53:0.27であり、出力値のRGBの比率は、R:G:B=1:0.5:0.3である。
すなわち、図9Iに示すRGB階調テーブルと図9IIに示すRGB階調テーブルは、ともにRGBの比率がR:G:B=1:0.53:0.27(第1の比率)であるRGB信号が入力された場合、RGBの比率がR:G:B=1:0.5:0.3(第2の比率)となる出力値が各RGB階調テーブルから出力されるように設定されている。
狭帯域光観察モードで強調表示させたい萎縮粘膜は、萎縮粘膜と正常粘膜が同一輝度の場合、G信号およびB信号が正常粘膜に比べて大きく、R信号が正常粘膜に比べて小さい。また、発赤は、発赤と正常粘膜が同一輝度の場合、R信号が正常粘膜に比べて大きく、G信号およびB信号が正常粘膜に比べて小さい。図8および図9に示すRGB階調テーブルのように、基準点よりも高い入力値に対しては入力値に対する出力値の比率を基準点より高くし、基準点より低い入力値に対しては入力値に対する出力値の比率を基準点より低くすることで色強調することが可能になる。すなわち、各RGB階調テーブルは、入力値が大きくなるほど入力値に対する出力値の比が大きくなるように設定することが好ましい。
より具体的には、各RGB階調テーブルは、正常粘膜を撮像して得られたRGB信号が入力された場合のRの入力値に対するRの出力値の比よりも発赤を有する粘膜を撮像して得られたRGB信号が入力された場合のRの入力値に対するRの出力値の比を大きくするものであることが好ましい。
また、各RGB階調テーブルは、正常粘膜を撮像して得られたRGB信号が入力された場合のRの入力値に対するRの出力値の比よりも萎縮粘膜を撮像して得られたRGB信号が入力された場合のRの入力値に対するRの出力値の比を小さくするものであることが好ましい。
図2に戻り、色彩強調部64dは、ユーザによる設定入力を受け付けて色変換済のRGB信号に対して、さらに各種の色彩強調処理を施すものである。構造強調部64eは、色彩強調処理済のRGB信号に対して、空間周波数強調などの構造強調処理を行うものである。
マトリックス処理部64a、色彩強調部64dおよび構造強調部64eには、それぞれ狭帯域画像生成用のパラメータと特殊狭帯域画像生成用のパラメータとが予め設定されている。
狭帯域画像生成と特殊狭帯域画像生成は、ユーザが入力装置20から指示入力することによって切り替えられる。なお、入力装置20からの指示入力に限らず、操作部22に狭帯域画像生成と特殊狭帯域画像生成とを切り替えるスイッチを設けるようにしてもよい。
ユーザによって狭帯域画像生成の指示入力がされた場合には、狭帯域光画像生成部64に入力されたRGB信号に対して各部において狭帯域画像用の処理が施され、狭帯域画像信号として狭帯域光画像生成部64から表示制御部65に出力される。ユーザによって特殊狭帯域画像生成の指示入力がされた場合には、狭帯域光画像生成部64に入力されたRGB信号に対して各部において特殊狭帯域画像用の処理が施され、特殊狭帯域画像信号として狭帯域光画像生成部64から表示制御部65に出力される。
表示制御部65は、通常光画像生成部62または狭帯域光画像生成部64から出力された通常画像信号、特殊画像信号、狭帯域画像信号または特殊狭帯域画像信号を、モニタ18で表示可能な表示画像信号に変換する。モニタ18は、表示画像信号に基づいて、通常画像、特殊画像、狭帯域画像または特殊狭帯域画像を表示する。
次に、本実施形態の内視鏡システムの作用について、図10に示すフローチャートを参照しながら説明する。
まず、ユーザによってモード切替スイッチ22bが操作され、通常光観察モードまたは狭帯域光観察モードが選択されて設定される(S10)。通常光観察モードが設定された場合には、内視鏡12によって撮像対象に対して白色光WLが照射され、撮像対象を撮像することによって撮像素子48から出力されたRGB信号は、プロセッサ装置16の画像信号取得部60によって取得され、デモザイク処理が施される(S12)。
デモザイク処理の施されたRGB信号はノイズ除去部61に入力され、ノイズ除去部61においてノイズ除去処理が施された後、通常光画像生成部62に入力される。通常光画像生成部62に入力されたRGB信号は、マトリックス処理部62aにおいてマトリックス処理が施される。
そして、ユーザによって通常画像生成の指示入力がされた場合には(S14、通常画像)、階調処理部62bの第1LUT処理部70にRGB信号が入力され、そのRGB信号に対して通常画像用のRGB階調テーブルを用いた階調処理が施される(S24)。
階調処理の施されたRGB信号は3次元LUT処理部62cに入力されて3次元LUT処理が施された後、色彩強調部62dに入力されて色彩強調処理が施される。次いで、色彩強調処理済のRGB信号に対して構造強調部62eにおいて構造強調処理が施されて通常画像信号が生成され(S26)、表示制御部65に出力される。表示制御部65は、入力された通常画像信号に基づいてモニタ18に通常画像を表示させる(S28)。
ユーザが処理を終了したいと考えた場合には、処理の終了指示が入力されて処理を終了する(S48,YES)。または、処理を終了しない場合には(S48,NO)、S10に戻り、引き続き通常光観察モードが継続されるか、狭帯域光観察モードに切り換えられる。
一方、ユーザによって特殊画像生成の指示入力がされた場合には(S14、特殊画像)、RGB信号は第2LUT処理部71と輝度算出部72に入力される。輝度算出部72は、入力された画素毎のRGB信号に基づいて、画素毎に輝度を算出する(S16)。そして、輝度算出部72によって算出された輝度は第2LUT処理部71に出力され、第2LUT処理部71は、入力された輝度に基づいて、輝度毎に設定された特殊画像用のRGB階調テーブルを用いて、画素毎のRGB信号に対して階調処理を施す(S18)。
階調処理の施されたRGB信号は3次元LUT処理部62cに入力されて3次元LUT処理が施された後、色彩強調部62dに入力されて色彩強調処理が施される。次いで、色彩強調処理済のRGB信号に対して構造強調部62eにおいて構造強調処理が施されて特殊画像信号が生成され(S20)、表示制御部65に出力される。表示制御部65は、入力された特殊画像信号に基づいてモニタ18に特殊画像を表示させる(S22)。
ユーザが処理を終了したいと考えた場合には、処理の終了指示が入力されて処理を終了する(S48,YES)。または、処理を終了しない場合には(S48,NO)、S10に戻り、引き続き通常光観察モードが継続されるか、狭帯域光観察モードに切り換えられる。
ユーザによってモード切替スイッチ22bが操作され、狭帯域光観察モードが設定された場合には、内視鏡12によって撮像対象に対して狭帯域光SLが照射され、撮像対象を撮像することによって撮像素子48から出力されたRGB信号は、プロセッサ装置16の画像信号取得部60によって取得され、デモザイク処理が施される(S30)。
デモザイク処理の施されたRGB信号はノイズ除去部61に入力され、ノイズ除去部61においてノイズ除去処理が施された後、狭帯域光画像生成部64に入力される。狭帯域光画像生成部64に入力されたRGB信号は、マトリックス処理部64aにおいてマトリックス処理が施された後、階調処理部64bに入力される。
そして、ユーザによって狭帯域画像生成の指示入力がされた場合には(S32、狭帯域画像)、階調処理部64bの第1LUT処理部73にRGB信号が入力され、そのRGB信号に対して狭帯域画像用のRGB階調テーブルを用いた階調処理が施される(S42)。
階調処理の施されたRGB信号は3次元LUT処理部64cに入力されて3次元LUT処理が施された後、色彩強調部64dに入力されて色彩強調処理が施される。次いで、色彩強調処理済のRGB信号に対して構造強調部64eにおいて構造強調処理が施されて狭帯域画像信号が生成され(S44)、表示制御部65に出力される。表示制御部65は、入力された狭帯域画像信号に基づいてモニタ18に狭帯域画像を表示させる(S46)。
ユーザが処理を終了したいと考えた場合には、処理の終了指示が入力されて処理を終了する(S48,YES)。または、処理を終了しない場合には(S48,NO)、S10に戻り、引き続き通常光観察モードが継続されるか、狭帯域光観察モードに切り換えられる。
一方、ユーザによって特殊狭帯域画像生成の指示入力がされた場合には(S32、特殊画像)、RGB信号は第2LUT処理部74と輝度算出部75に入力される。輝度算出部75は、入力された画素毎のRGB信号に基づいて、画素毎に輝度を算出する(S34)。そして、輝度算出部75によって算出された輝度は第2LUT処理部74に出力され、第2LUT処理部74は、入力された輝度に基づいて、輝度毎に設定された特殊狭帯域画像用のRGB階調テーブルを用いて、画素毎のRGB信号に対して階調処理を施す(S36)。
階調処理の施されたRGB信号は3次元LUT処理部64cに入力されて3次元LUT処理が施された後、色彩強調部64dに入力されて色彩強調処理が施される。次いで、色彩強調処理済のRGB信号に対して構造強調部64eにおいて構造強調処理が施されて特殊狭帯域画像信号が生成され(S38)、表示制御部65に出力される。表示制御部65は、入力された特殊狭帯域画像信号に基づいてモニタ18に特殊狭帯域画像を表示させる(S40)。
ユーザが処理を終了したいと考えた場合には、処理の終了指示が入力されて処理を終了する(S48,YES)。または、処理を終了しない場合には(S48,NO)、S10に戻り、引き続き狭帯域光観察モードが継続されるか、通常光観察モードに切り換えられる。
次に、本発明の内視鏡画像信号処理装置および方法並びにプログラムの第2の実施形態を用いた内視鏡システムについて説明する。図11は、本実施形態の内視鏡システムの階調処理部の概略構成を示す図である。なお、図11は、図2に示す通常光画像生成部62の階調処理部62bと特殊光画像生成部64の階調処理部64bとをまとめて示した図である。第2の実施形態の内視鏡システムの階調処理部62b,64bは、第1の実施形態の内視鏡システムの各階調処理部62b,64bに対して、さらに低周波画像生成処理部66,67をそれぞれ設けたものである。
低周波画像生成処理部66,67は、画像信号取得部60においてデモザイク処理の施されたRGB信号に対して低周波画像生成処理を施すものである。そして、階調処理部62b,64bの輝度算出部72,75は、低周波画像生成処理部66,67において低周波画像生成処理の施されたRGB信号を用いて輝度を算出する。低周波画像生成処理は、いわゆるボケ処理であり、公知のフィルタ処理などを用いることができる。
このように輝度を算出する際に低周波画像生成処理の施されたRGB信号を用いることによって、極端に輝度が高いノイズ信号などを除去することができ、構造をとらえやすくなるので、より適切なRGB階調テーブルを用いることができる。なお、階調処理部62bは、階調処理の入力値としては、低周波画像生成処理の施されていないRGB信号を用いる。
なお、その他の構成については、上記第1の実施形態の内視鏡システム10と同様である。
また、上記第1および第2の実施形態の内視鏡システム10,11においては、RGB階調テーブルとして、R階調テーブルRC1,RC2,B階調テーブルBC1,BC2およびG階調テーブルGC1,GC2を用い、入力値のR_in,G_inおよびB_inに対して直接、R_out,G_outおよびB_outを出力する階調テーブルを用いるようにしたが、RGB階調テーブルの構成としてはこれに限られるものではない。
たとえばRGB信号をRGB以外の色空間に変換する色空間変換テーブルと、その変換した色空間の階調テーブルと、その階調テーブルの出力値を再びRGB信号に変換するRGB変換テーブルとからRGB階調テーブルを構成するようにしてもよい。すなわち、本発明のRGB階調テーブルは、このようにRGB以外の色空間の階調テーブルを用いて階調処理を行うものも含むものとする。
具体的には、たとえばRGB信号をHCL色空間の信号に変換する。そして、この変換によって得られる入力値の輝度In_LとC(彩度)の出力値Out_Cとを対応付けたC階調テーブルと、入力値の輝度In_LとH(色相)の出力値Out_Hとを対応付けたH階調テーブルと、入力値の輝度In_LとL(明度)の出力値Out_Lとを対応付けたL階調テーブルとを予め設定しておき、これらの階調テーブルを用いて、輝度In_Lに応じた出力値Out_C,Out_H,Out_Lを算出する。
C階調テーブル、H階調テーブルおよびL階調テーブルは、図12に示すように、輝度が変化しても所定の色相を維持し、明度および彩度が輝度に応じて変化するように設定されていることが好ましい。このように輝度が変化しても色相は変化しないので、上記第1および第2の実施形態と同様に、輝度の変化に対してカラーバランスを維持する効果を得ることができる。
そして、出力値Out_C,Out_H,Out_Lを、RGB変換テーブルを用いて再びRGB信号に変換する。RGB信号に変換された後の処理については、上記第1および第2の実施形態と同様である。
また、上記第1および第2の実施形態の内視鏡システム10,11においては、輝度毎のRGB階調テーブルを予め設定するようにしたが、輝度の代わりにRGB信号のうちのR成分のR信号の大きさ毎のRGB階調テーブルを予め設定するようにしてもよい。長波長の光は、血管などが多い粘膜に対する吸収特性がその他のG成分およびB成分よりも低い。したがって、R信号は、粘膜の吸収特性の影響を受けずに粘膜の表面のおおまかな構造を表した信号となるので、輝度の代わりに用いることができる。
このように輝度の代わりにR信号を用いるようにした場合には、RGB信号から輝度を算出する構成を省略することができ、処理を簡略化することができる。なお、輝度の代わりにR信号を用いる場合にも、0〜255の値の全てについてRGB階調テーブルを設定する必要はなく、0〜255の値のうち一部のR信号の値についてのみ設定するようにしてもよい。輝度の代わりにR信号を用いる場合においてもボケ処理を施したR信号を用いるようにしてもよい。
また、上記第1および第2の実施形態の内視鏡システムにおいては、通常光観察モードと狭帯域光観察モードとで、異なるRGB階調テーブルを備えるようにしてもよい。
また、上記第1および第2の実施形態の内視鏡システムにおいては、通常光を撮像対象に照射する通常光観察モードにおいて、通常画像を生成するようにしたが、さらに通常光画像生成部62に入力されたRGB信号に対して予め設定されたマトリクス演算を施すことによって、所望の波長帯域の画像信号を生成するようにしてもよい。具体的には、上述したマトリクス演算を行うことによって、たとえば狭帯域光観察モードにおいて取得されるようなRGB信号を生成するようにしてもよい。なお、このようなマトリクス演算としては、既に公知な演算方法を用いることができる。
また、上記第1および第2の実施形態の内視鏡システムにおいては、狭帯域光を撮像対象に照射する狭帯域光観察モードにおいて、狭帯域画像を生成するようにしたが、さらに狭帯域光画像生成部64に入力されたRGB信号に対して予め設定されたマトリクス演算を施すことによって、所望の波長帯域の画像信号を生成するようにしてもよい。具体的には、上述したマトリクス演算を行うことによって、たとえば青紫色レーザ光VLの波長帯域の画像信号を生成するようにしてもよい。なお、このようなマトリクス演算としては、既に公知な演算方法を用いることができる。
また、上記第1および第2の実施形態の内視鏡システム10,11では、粘膜の吸収物質に対して光吸収性が高い青色狭帯域光(青色レーザ光および青紫色レーザ光)を含む狭帯域光を用いた場合について説明したが、粘膜の吸収物質に対して光吸収性が高い緑色狭帯域光(例えば、540〜560nmの波長成分)を含む光を用いるようにしてもよい。
また、上記第1および第2の実施形態の内視鏡システム10,11においては、光源として、青色レーザ光源34と青紫色レーザ光源36とを用い、蛍光体44に青色レーザ光を照射することによって白色光を得るようにしたが、光源装置14の構成は、これに限らず、その他の構成でもよい。
具体的には、図13に示す内視鏡システム15のように、光源装置14が、V−LED(Violet Light Emitting Diode)42a、B-LED(Blue Light Emitting Diode)42b、G-LED(Green Light Emitting Diode)42c、およびR-LED(Red Light Emitting Diode)42dを備えるようにしてもよい。光源装置14は、さらに4色のLED42a〜42dの駆動を制御する光源制御部40と4色のLED42a〜42dから発せられる4色の光の光路を結合する光路結合部43とを備えている。光路結合部43で結合された光は、ライトガイド41を介して、被検体内に照射される。
図14に示すように、V-LED42aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED42bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED42cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED42dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。
光源制御部40は、通常光観察モード、第1狭帯域光観察モード、及び第2狭帯域光観察モードのいずれの観察モードにおいても、V−LED42a、B-LED42b、G-LED42c、R-LED42dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。また、光源制御部40は、通常光観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED42a〜42dを制御する。一方、光源制御部40は、第1及び第2狭帯域光観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED42a〜42dを制御する。なお、第1狭帯域光観察モードは、ピロリ菌の除菌が成功したか否かを判断する場合に用いられ、第1狭帯域画像をモニタ18上に表示するモードである。第2狭帯域光観察モードは、ピロリ菌に感染しているか否かを判断する場合に用いられ、第2狭帯域画像をモニタ18上に表示するモードである。
また、上記第1および第2の実施形態の内視鏡システム10,11においては、同時式撮像素子を用いるようにしたが、本発明は、いわゆる面順次方式の内視鏡システムにも適用することができる。
面順次方式の内視鏡システムにおいては、通常光観察モードの場合には、R(赤)フィルタ、G(緑)フィルタおよびB(青)フィルタが周方向に沿って設けられた回転フィルタが回転することで、青色光、緑色光および赤色光が撮像対象に順次照射される。
青色光、緑色光および赤色光の照射による撮像対象からの反射像がモノクロの撮像素子によって撮像され、撮像素子からR信号、G信号およびB信号が順次出力され、この信号が画像信号取得部60によって取得されることになる。
また、狭帯域光観察モードにおいては、中心波長415nmの青色狭帯域光を透過させるBnフィルタ、GフィルタおよびRフィルタが周方向に沿って設けられた回転フィルタを回転させることによって、撮像対象に対して青色狭帯域光、緑色光および赤色光が撮像対象に順次照射される。
青色狭帯域光、緑色光および赤色光の照射による撮像対象からの反射像がモノクロの撮像素子によって撮像され、撮像素子からR信号、G信号およびBn信号が順次出力され、この信号が画像信号取得部60によって取得されることになる。なお、Bn信号は、B信号と同様に取り扱われて処理される。
また、本発明は、第1および第2の実施形態の内視鏡システム10,11のような挿入部21を備えた内視鏡システムに限らず、カプセル内視鏡にも適用可能である。