図1は、本発明の実施の形態に係る内視鏡の実施例1の全体構成を示す模式図である。実施例1の内視鏡は、統括ユニット2によって制御されており、統括ユニット2は、観察画像等を表示するためのモニタ4を有する。操作ユニット6は接続ケーブル8によって統括ユニット2に接続されており、接続ケーブル8には光源光を伝達するための光ファイバーおよび電気信号を伝達するための信号線などが通っている。操作ユニット6はこれを操作する医師の手に握られるもので、胃などに挿入される挿入部10が延びており、その先端は、撮像光学系や照明光学系が配置される先端部12となっている。実施例1の内視鏡は、胃などの画像を観察する通常の機能と併せ、胃などにレーザビームを照射してそのラマン散乱を検知することで正常組織と癌組織とを弁別するよう構成されている。
図2は、図1の実施例1における内視鏡の全体構成のブロック図であり、図1と対応する部分には同一の番号を付す。統括ユニット2には内視鏡全体を統括制御する制御部14が設けられている。記憶部16は、制御部14の動作に必要な制御プログラムを記憶するとともに、測定データを蓄積記憶する。また、制御に関連するデータを一時的に記憶する。
画像処理部18は、先端部2で撮像された内視鏡画像を処理し、新たなカラー画像が得られると表示メモリ20の表示用画像データを更新する。そしてモニタ4は、表示メモリ20の表示用画像データに基づき画像表示を行う。画像処理部18は、また、ラマン散乱検知のための光源ビーム照射位置を内視鏡画像に重畳表示し、内視鏡画像のどの位置に光源ビームが照射されているかを表示する。後述するように、内視鏡画像の撮像とラマン散乱の検出は時分割で行われるが、表示メモリ20は、ラマン散乱検出のために内視鏡画像の撮像が行われない時間帯においても、最新の内視鏡画像を保持し、モニタ4での表示を継続する。
統括ユニット2には、さらに光源部22が設けられており、制御部14は、内視鏡画像撮像時間帯において赤色LED24、緑色LED26および青色LED28を順次発光させるよう制御する。光源部22には、さらに赤外光(例えば1056nm)を発生するラマン散乱用光源レーザ30が設けられており、制御部14は、ラマン散乱検出のため時間帯においてラマン散乱用光源レーザ30を発光させるよう制御する。
先端部12には、フォーカス調節およびズーミングが可能な撮像レンズ32が設けられており、CIGSイメージセンサ34は、撮像レンズ32による可視光像を撮像する。CIGSイメージセンサ34は、銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであって、その組成制御によりバンドギャップを変化させることで吸収波長域を制御し、400nm付近から1300nm付近にわたる広い感度域を持たせたものである。これによって、CIGSイメージセンサ34は赤色LED24、緑色LED26および青色LED28が順次発光しているタイミングの画像出力により可視光像の撮像を行うことができるとともに、後述のように例えば1056nmの光源光に対する1258nmのラマン散乱光を検知するセンサとしても機能する。
撮像レンズ32は、オートフォーカス信号に基づいて機能するフォーカス駆動部36により自動的にフォーカス調節されるとともに、手動操作信号に基づいて機能するズーム駆動部38により手動でズーム操作される。赤色LED24、緑色LED26および青色LED28から順次発光される可視照明光は、照明用光ファイバー40内を導かれて照明光学系42から撮像レンズ32の最広角の視野範囲を照明する。また、ラマン散乱用光源レーザ30から射出されたレーザ光は、レーザ用光ファイバー44内を導かれてビーム照射光学系46から撮像レンズ32の光軸48と平行に光源ビームを照射する。
照明用光ファイバー40およびレーザ用光ファイバー44が経由している操作ユニット6には、操作部50が設けられており、この操作部を手動操作することによりズーム手動操作信号がズーム操作部38に伝達される。また、操作ユニット6のオートフォーカス処理部52は、緑色LED26が照射された時点のCIGSイメージセンサ34の画像出力に基づいてそのコントラストを検出処理し、制御部14の制御に基づいてコントラストがより大きくなるよう撮像レンズ32を駆動するためのオートフォーカスをフォーカス駆動部36に伝達する。さらに、操作ユニット6のラマン散乱処理部54は、ラマン散乱用光源レーザ30からレーザビームが射出されるタイミングにおけるCIGSイメージセンサ34の出力を処理し、これを制御部14に伝える。なお、赤色LED24、緑色LED26および青色LED28が順次発光しているタイミングにおけるCIGSイメージセンサ34の出力も操作ユニット6を経由して行われる。
なお、上述のように、操作ユニット6と統括ユニット2との間の光ファイバー40、44の接続および電気信号を伝達するための信号線の接続は接続ケーブル8を通して行われる。また、操作ユニット6と先端部12との間の光ファイバー40、44の接続および電気信号を伝達するための信号線の接続は挿入部10を通して行われる。また、挿入部10の端部近傍には、挿入部10に対する先端部12の向きを自由に変更させるための屈曲機構56が設けられており、操作ユニット6の操作部50の手動操作に基づく屈曲制御信号が伝達される。
図3は、図2で示した実施例1におけるCIGSイメージセンサ34のカラーフィルタ配列図である。CIGSイメージセンサ34においては、赤外域をカットし可視光域を透過させる可視光域フィルタV11、V22、ラマン散乱光を選択的に透過させるために1258nmを中心として±4nmの半値幅を持つ狭帯域の測定用赤外フィルタIR12、およびラマン散乱光がない近接域の赤外光を選択的に透過させるために1271nmを中心として±4nmの半値幅を持つ狭帯域の参照用赤外フィルタRref21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、上記のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設け、可視光像の検知とラマン散乱光の測定を行うことができる。
上記のようにともに狭帯域の測定用赤外フィルタIR12および参照用赤外フィルタRref21を用いることにより、1056nmのラマン散乱用光源レーザ30の光源光に基づくレイリー散乱光を除去することができる。そして、ラマン散乱光の測定にあたっては、測定用赤外フィルタIR12が設けられている全画素の出力を加算するとともに、参照用赤外フィルタRref21が設けられている全画像の出力が加算し、両加算値の差をとることで、1258nmにおけるラマン散乱光の強度を検出することができる。
なお、可視光像の形成にあたっては、測定用赤外フィルタIR12、参照用赤外フィルタRref21が設けられている画像についても、その周囲にある可視光域フィルタが設けられている画素のデータによって補間を行うことにより画素信号を得る。この補間は、赤色LED24、緑色LED26および青色LED28が順次発光している各タイミングにおいてそれぞれ赤色画像、緑色画像および青色画像について行う。
図4は、図2で示した実施例1における赤色LED24、緑色LED26および青色LED28の発光、並びにラマン散乱用光源レーザ30から射出されるレーザビームの測定対象への照射タイミングの関係を示すタイミングチャートである。図4に示すように、t1で開始される緑色LED26の発光に基づく緑色画像、t3で開始される赤色LED24の発光に基づく赤色画像、およびt5で開始される青色LEDの発光に基づく青色画像によって、V1で示す1フレームの可視光カラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される緑色LED26の発光に基づく緑色画像、t11で開始される赤色LED24の発光に基づく赤色画像、およびt13で開始される青色LEDの発光に基づく青色画像によって、V2で示す1フレームの可視光カラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図2に示した画像処理部18で行われる。
一方、ラマン散乱の測定については、図4に示すように、t7で開始されるラマン散乱用光源レーザ30から射出されるレーザビームの測定対象への照射に基づき、測定用赤外フィルタIR12に対応する全画素の出力を加算するとともに、同タイミングにおける参照用赤外フィルタRref21に対応する全画像の出力を加算し、両加算値の差をとることでラマン散乱強度R1が求められる。同様にt15で開始されるレーザビームの照射に基づき、測定用赤外フィルタIR12に対応する全画素の出力を加算するとともに、同タイミングにおける参照用赤外フィルタRref21に対応する全画像の出力を加算し、両加算値の差をとることでラマン散乱強度R2が求められる。以下同様にして可視光像の撮像と並行して時分割でラマン散乱強度を連続して測定することができる。従って、可視光像により対処を測定しながら、可視光像の中に重畳表示されるレーザ照射位置についてラマン散乱強度を測定することができる。そして可視光の観察により測定位置を変えながら測定を続けることができる。
図5は、図2で示した実施例1における内視鏡の撮像光学系の断面図およびモニタ表示図であり、モニタ表示におけるビーム位置の表示を説明するためのものである。図2と対応する部分には同一の番号を付し、必要のない限り説明を省略する。図5(A)は、ズームのワイド端(最も広角側)における最長撮影距離での内視鏡の撮像光学系の断面を模式的に示したものである。胃壁等の撮像および測定の対象58の像がCIGSイメージセンサ34上に結像しているとともに、照射光学系46から撮像レンズ32の光軸48と平行に光源ビーム60が対象58に照射されている。
図5(B)は、図5(A)の状態においてモニタ4に表示される画面を示しており、図2で示した実施例1における内視鏡の撮像光学系の断面図およびモニタ表示図であり、モニタ4の中に、胃壁等の対象58が表示されている。モニタ4にはさらに、画像の中心を示す十字線62および光源ビーム60の照射位置マーク64が重畳表示されている。これによって、モニタ4に表示されている対象58のどこに光源ビーム60が照射されているかがわかる。このような表示により、対象58を観察しながら所望の位置に光源ビーム60を照射してその位置におけるラマン散乱の測定を行うことができる。
図5(C)は、ズームをワイド端のままにして撮像光学系を対象58に近づけた状態の断面を模式的に示している。このように対象に近づくことによって、対象58の一部の像がCIGSイメージセンサ34上に拡大して結像する。なお、撮像レンズ32はオートフォーカス機能によりフォーカス調節されて繰り出されている。この状態においても照射光学系46から照射される光源ビーム60と撮像レンズ32の光軸48の位置関係は変わらないが、撮像範囲が狭まることにより、光源ビーム60は撮像範囲のより外側寄りに照射されることになる。図5(D)は、図5(C)の状態においてモニタ4に表示される画面を示しており、対象58が拡大されて表示されるとともに、図5(B)と比較して光源ビーム60の照射位置マーク64が十字線62から離れ、モニタ4の視野内のより外側寄りに移動して表示される。
図5(E)は、撮影距離を図5(A)の状態のままにして、撮像レンズ32を望遠側にズームアップした状態の断面を模式的に示している。このようにズーミングを行うことによっても対象58の一部の像がCIGSイメージセンサ34上に拡大して結像する。この場合、撮像レンズ32の焦点距離が長くなるようズーム駆動部が撮像レンズ32を駆動する。この状態においても照射光学系46から照射される光源ビーム60と撮像レンズ32の光軸48の位置関係は変わらないが、図5(C)と同様にして撮像範囲が狭まることにより、光源ビーム60は撮像範囲のより外側寄りに照射されることになる。図5(F)は、図5(E)の状態においてモニタ4に表示される画面を示しており、図5(D)と同様にして対象58が拡大されて表示されるとともに、図5(B)と比較して光源ビーム60の照射位置マーク64が十字線62から離れ、モニタ4の視野内のより外側寄りに移動して表示される。以上、図5では、典型的な状態を示したが、撮影距離の変化および撮像レンズ32のズーミングにより所望の倍率での撮像が可能となる。そして、図、図5(B)、図5(D)および図5(E)に示したようなモニタ4の視野内における照射位置マーク64の移動は、ズーミングにおける撮像レンズの焦点距離情報およびフォーカス駆動部における撮像レンズのフォーカス調節状態の情報により行うことができる。
図6は、図5(B)で示したモニタ4の表示範囲を胃壁等の対象58の比較的広範囲とともに示した模式図であり、先端部12を屈曲させることにより対象58の比較的広範囲をスキャンして予備測定する様子を示している。このスキャンによる予備測定は、内視鏡を予備測定モードに設定し、モニタ4に表示される対象58を観察しながら可視画像としては正常に見える部分を、例えば図6における表示範囲4aから4bに移動させることに相当する。このようなスキャンによる予備測定によって、光源ビームは照射位置マーク64aから64bに軌跡64cを経由して移動する。この間、ラマン散乱処理部54はCIGSイメージセンサ34の出力に元づいてラマン散乱強度を繰り返し実測し、これらを蓄積記憶してその平均値を測定の基準値として設定記憶する。測定の初期においてこのような予備測定に基づいて基準値を求めることにより、この実測による基準値を正常組織のラマン散乱強度とみなして目的部分を本測定した際のラマン散乱強度と比較することができ、本測定における目的部分の組織が正常か否かを判断することができる。
図7は、図2で示した実施例1における内視鏡の制御部14の動作の基本フローチャートである。測定開始操作を行うとフローがスタートし、ステップS2で、撮像レンズ32をズームのワイド端に初期設定するとともに、ステップS4でフォーカス初期位置(例えば比較的撮影距離が長く焦点深度も深い位置)の設定を行う。次いでステップS6において、以上のズーム設定およびフォーカス設定に基づき、光源ビーム照射位置マーク64をモニタ4内で重畳表示するためのデータの初期値を設定する。以上の諸初期設定の後、ステップSS8で初期方向(例えば撮影距離を短くする方向)へのフォーカス駆動を開始する。実施例1のオートフォーカスはコントラスト方式なので、まず撮像レンズ32を駆動してみてコントラストの変化を見ないと焦点合わせができないからである。
そしてステップS10で可視光LED照明下での可視光撮像処理を行う。これにより視野内の可視光像が得られるとともにオートフォーカスのためのコントラスト情報が得られる。ステップS10での可視光撮像処理の詳細は後述する。さらにステップS12でラマン散乱用光源レーザによる光源ビーム照射下でのラマン散乱検出処理を行い、検出値を得る。ステップS12でのラマン散乱検出処理の詳細についても後述する。
ステップS10およびステップS12でそれぞれ一回ずつの可視光撮像およびラマン散乱の検出値が得られるとステップS14に進み、ラマン測定の検出値から基準値(実測値がない場合は所定の初期値)を引き、測定値として記録する。次にステップS16では基準値と検出値の差の絶対値が所定値以下であるかどうかがチェックされ、差の絶対値が所定値以下であればステップS18に進んで予備測定モードかどうかチェックする。そして予備測定モードであればステップS20に進んで今回の検出値を加入して平均を取り直す基準値の再演算を行い、ステップS22に移行する。後述のようにステップS10からステップS20の処理は図6に示したような予備測定において繰り返されるが、この繰り返しの中で実測平均に基づく基準値が設定される。ステップS16で基準値と測定値の絶対値の差が所定値以上であったとき、またはステップS18で予備測定モードでないことが確認されたときは今回の検出値を基準値に反映させることなく直接ステップS22に移行する。
ステップS22では、前回の撮像の可視光像に比べ今回撮像の可視光像のコントラストが低下しているか否かチェックする。そしてコントラストの低下がなければステップSステップS24に進み、コントラストの変化があったか否かチェックする。変化があった場合は、フォーカス駆動によりコントラストが高くなったことを意味するのでその方向へのフォーカス駆動を継続してステップS26に進む。一方、ステップS22でコントラストの低下が検知されたときはピントが外れる方向に撮像レンズがフォーカス駆動されていることを意味するので、ステップS28に移行し、フォーカス駆動を逆転させてステップS26に移行する。また、ステップS24でコントラストに変化がないことが確認されたときは、コントラストがピークでありピントが合ったことを意味するのでステップS30に進みフォーカス駆動を停止してステップS26に移行する。ステップS26では、いずれの場合も、新たなフォーカス調節位置に基づき光源ビーム照射位置重畳データを更新してステップS32に移行する。
なお、後述のようにステップS22、S24、S28およびS30のオートフォーカス制御は繰り返し行われる。この繰り返しの中で、ステップS30でフォーカス駆動が停止された後にステップS22に至り、ここでコントラストの低下がないことが確認されてステップS24でもコントラスト変化が確認されなかった場合はピントが合った状態が継続していることを意味する。この場合、ステップS30ではフォーカス駆動停止が継続され、ステップS26でのデータ更新でも結果的には同じデータが継続される。また、ステップS30でフォーカス駆動が停止された後にステップS22に至り、ここでコントラストの低下が確認されたときは、ステップS28でフォーカス駆動が再開される。その方向は停止前と逆方向となるが、これが不適当であれば次の繰り返しの中のステップS22でさらにコントラストが低下することが検知されるので再度ステップS28に至り、フォーカス駆動方向が訂正される。
ステップS32では、ズーム操作が行われたか否かをチェックする。そしてズーム操作があればステップS34に進み、ズーム操作の結果の新たな焦点距離に基づき光源ビーム照射位置重畳データを更新してステップS36に移行する。一方ステップS32でズーム操作が確認されないときは、直接ステップS36に移行する。
ステップS36では、測定停止操作が行われたかい否かチェックし、操作が確認されないときはステップS10に戻る。そしてステップS36で測定停止操作が確認されない限り、ステップS10からステップS36を繰り返し、可視光像の撮像とラマン散乱の測定を継続する。
図8は、図7のステップS10の可視光撮像処理およびステップS12のラマン散乱検出処理の詳細を示すフローチャートである。図7においてステップS8からステップS10に移行すると、図8のステップS42となり、緑色LED26を点灯させるとともにステップS44でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を緑色画像として画像処理部18に取り込む。そして、ステップS46では取り込んだ緑色画像のコントラストを検出して記憶する。
次いで、ステップS48では、赤色LED24を点灯させるとともにステップS50でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を赤色画像として画像処理部18に取り込む。同様に、ステップS52では、青色LED28を点灯させるとともにステップS54でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を青色画像として画像処理部18に取り込み、ステップS56に移行する。
ステップS56では、上記のようにして取り込まれた緑色画像、赤色画像および青色画像のそれぞれについて、測定用赤外フィルタおよび参照用赤外フィルタが設けられた画素についての補間を行うとともに、補間後の緑色画像、赤色画像および青色画像に基づいて可視光画像を得、これを記録する。
次いで、ステップS58では、ラマン散乱測定モードか否かチェックし該当すればステップS60で光源ビームの照射位置を可視光画像に重畳表示する処理をしてステップS62に移行する。一方、ステップS58でラマン散乱測定モードでないことが検知されるとステップS64に移行し、光源ビーム照射位置重畳を解除する処理をしてステップS62に移行する。例えば、内視鏡挿入時など、特にラマン散乱を測定する意図がないときは光源ビーム照射位置重畳表示があると煩わしく、また誤解を招くのでこのようにラマン散乱測定モードでないときは光源ビーム照射位置重畳表示を解除する。なお、最初からマン散乱測定モードでないときはステップS64では何もせずステップS62に移行する。
ステップS62では、ステップS56で得られた新しい可視光画像に必要に応じ光源ビーム照射位置を重畳した表示データにより、表示メモリ20の表示データを更新する。なお、上記のように表示データの更新がない限り、表示メモリ20には前回の表示データが保存され、これに基づくモニタ4での表示はラマン散乱測定中も継続される。そして表示データの更新があれば、モニタ4での表示も更新される。
次いで、ステップS66では、再度ラマン散乱測定モードか否かチェックし該当すればステップS68で光源ビームの照射を行い、ステップS70で測定用赤外フィルタが設けられた全画素の出力を加算するとともに、ステップS72で参照用赤外フィルタが設けられた全画素の出力を加算してステップS74に移行する。ステップS74では、測定用赤外フィルタが設けられた全画素の出力の加算値から参照用赤外フィルタが設けられた全画素の出力の加算値を減算し、結果を検出として記録して図7のステップS14に移行する。
上記本発明の種々の特徴は上記の実施例に限るものではなく、その利点が享受できる限り種々の他の実施例において活用可能である。例えば、実施例1における可視光像の測定は、CIGSイメージセンサに設けられた可視光域フィルタと赤色、緑色、青色LEDの時分割発光によっているが、これに限るものではない。例えば、CIGSイメージセンサに赤色フィルタ、緑色フィルタ、青色フィルタ、測定用赤外フィルタおよび参照用赤外フィルタを適切なパターンで配置し、白色光源による時分割なしの照明で可視光像を得るようにしてもよい。
また、実施例1では、光源部を統括ユニット2に配置しているが、先端部12に配置すれば途中の光ファイバーを省略し、統括ユニットとのやりとりは電気信号のみで行うようにしてもよい。さらに、実施例1では、オートフォーカス処理部52、ラマン散乱処理部54を操作ユニット6に配置しているがこれを統括ユニット2に配置してもよい。フォーカス調節についても実施例1はオートフォーカスを採用しているがこれを手動フォーカスとしてもよい。この場合も、手動フォーカス調節の結果の情報は光源ビーム照射位置重畳表示の修正に反映される。
図9は、本発明の実施の形態に係る内視鏡システムの実施例2の全体構成を示す模式図である。実施例2の内視鏡システムの各構成要素は百番台の番号を付して説明するが、そのうち内視鏡部分において実施例1の内視鏡と共通の構成要素については、十の位および一の位の数字を共通にし、必要のない限り説明を省略する。
図9に示す実施例2の内視鏡システムは、統括ユニット102、操作ユニット106、接続ケーブル108、挿入部110および先端部12を有する内視鏡を含む。この内視鏡の構成は、上記のように、実施例1の内視鏡と共通の構成要素を有するもので、実施例1と異なる点については後述する。
図9に示す実施例2の内視鏡システムは、さらに、内視鏡を操作する操作者が装着する操作者用眼鏡型ウエアラブルモニタ166、操作者に協力する医療スタッフが装着するスタッフ用眼鏡型ウエアラブルモニタ168、および患者が装着する患者用眼鏡型ウエアラブルモニタ170を有する。なお、これらの名称は医療の場面を想定したものであるが、検診の場合は、スタッフ用眼鏡型ウエアラブルモニタ168は検診チームのスタッフが装着することになるとともに、ウエアラブルモニタ170は「被験者用眼鏡型ウエアラブルモニタ」との名称に読み替えるものとする。また、スタッフ用眼鏡型ウエアラブルモニタ168は簡単のため一つだけ図示しているが、通常は複数のスタッフのために複数のスタッフ用眼鏡型ウエアラブルモニタ168が用いられる。
操作者用眼鏡型ウエアラブルモニタ166は、医療行為や診断行為を妨げないよう、基本的には視野を遮らないよう構成されるとともに、視野の一部または視野に重畳して内視鏡画像や診断情報が表示される。また、切換えにより視野全体に内視鏡画像や診断情報が表示されるようにすることができる。
操作者用眼鏡型ウエアラブルモニタ166は、近距離無線電波172により統括ユニット102と通信可能であり、統括ユニット102から内視鏡画像情報や診断情報を受信して視野内に内視鏡画像や診断情報を表示する。なお、後述のように操作者用眼鏡型ウエアラブルモニタ166は立体画像(以下「3D画像」)を観察することが可能であり、右目用画像および左目用画像が、右目および左目の視野内にそれぞれ表示される。
操作者用眼鏡型ウエアラブルモニタ166は、さらにマイク174およびイヤホン176を備えており、統括ユニット102との無線近距離通信を介してスタッフ用眼鏡型ウエアラブルモニタ168との間で医療側での会話を行なうことができる。統括ユニット102との無線近距離通信を介してまたマイク174から患者用眼鏡型ウエアラブルモニタ170に解説アナウンスを伝えることができる。なお、患者に不安を与えないため医療側での会話を行なうときはマイク174からの音声が患者用眼鏡型ウエアラブルモニタ170に伝わらないようミュートする信号を操作部178の操作により統括ユニット102に送信することができる。
実施例2の統括ユニット102には、さらに血圧、脈拍、SaO2(パルスオキシメータ等による動脈血酸素飽和度)、体温などを測定する外部測定装置180が接続される。そしてこれら外部測定装置による患者の測定情報も近距離無線電波172により統括ユニット102から操作者用眼鏡型ウエアラブルモニタ166に送信され、視野内に表示される。
以上のような操作者用眼鏡型ウエアラブルモニタ166の構成は、操作者が統括ユニット102のモニタ104の方に顔を向けなくても、医療行為や診断行為行なう姿勢のままの視野内に、内視鏡画像や診断情報を表示することを可能とする。従って顔を捻る等の不自然な姿勢ではなく患者の方を向いた姿勢で内視鏡の操作を行なうことができる。また、外部測定装置180の情報も視野内に表示されるので、外部測定装置180の表示を見るために顔を捻らなくても、医療行為や診断行為行なう姿勢のままでこれらの情報を把握することができる。
スタッフ用眼鏡型ウエアラブルモニタ168の構成は、基本的に操作者用眼鏡型ウエアラブルモニタ166の構成と同じなので、対応する部分には同一番号を付与して必要のない限り説明を省略する。スタッフ用眼鏡型ウエアラブルモニタ168は、操作者用眼鏡型ウエアラブルモニタ166と同様にして統括ユニット102から内視鏡画像情報や診断情報を受信して視野内に内視鏡画像や診断情報を表示する。また、外部測定装置180の情報も視野内に表示する。
これによって、医療スタッフは、それぞれの役割に応じた医療行為や診断行為の姿勢のままで操作者とリアルタイムで情報を共有できる。つまり、医療スタッフ全員がモニタ104の方に顔を向けなければならない等の必要性がなくなる。また、医療スタッフが自発的に操作者に質問等をしたいときは、操作部178の操作により統括ユニット102にその旨の信号を送信すれば、スタッフ用眼鏡型ウエアラブルモニタ168のマイク174がオンとなるとともに、スタッフからの質問および操作者の回答を含めた医療側での会話が患者に聞こえて不安を与えないよう、操作部178の操作後は患者用眼鏡型ウエアラブルモニタ170のイヤホンがミュートされる。なおこのミュートは操作者の操作により適宜解除可能である。
患者用眼鏡型ウエアラブルモニタ170の構成についても、基本的に操作者用眼鏡型ウエアラブルモニタ166の構成と同じなので、対応する部分には同一番号を付与して必要のない限り説明を省略する。但し、患者用眼鏡型ウエアラブルモニタ170については、統括ユニット102から内視鏡画像情報のみが送信され、患者に不安や誤解を与える可能性のある診断情報や外部測定装置180の情報は送信されない。なお、上記のように、患者用眼鏡型ウエアラブルモニタ170のイヤホンには操作者の解説アナウンスが統括ユニット102経由で出力される。因みに、混乱防止のため、患者用眼鏡型ウエアラブルモニタ170は受信専用であり、マイクは設けられていない。
以上の構成により、患者用眼鏡型ウエアラブルモニタ170の装着によって、患者はモニタ104の方に顔を捻らなくても楽な受診姿勢のままで、自身の内視鏡画像情報を見ることができ、適切な操作者からの解説アナウンスの提供により不安なく受信することができる。
図10は、図9の実施例2における内視鏡の先端部112のブロック図であり、図9と対応する部分には同一の番号を付す。実施例2の先端部112には、実施例1と同様の撮像レンズ132a、CIGSイメージセンサ134a、フォーカス駆動部136a、ズーム駆動部138aが設けられている。そして実施例では、3D画像を得るため、同様の撮像レンズ132b、CIGSイメージセンサ134b、フォーカス駆動部136b、ズーム駆動部138bがもう一組設けられている。前者は左目用、後者は右目用である。両者の光軸148a、148bは平行である。
また、実施例2では、撮像レンズ132a、132bの間にビーム照射光学系146が配置され、レーザ用光ファイバー144内を導かれたラマン散乱用光源レーザからの光源ビーム160が撮像レンズ132a、132bの光軸光軸148a、148bと平行に照射される。なお、実施例2においても、実施例1と同様にして、赤色LED24、緑色LED26および青色LED28から順次発光される可視照明光が、照明用光ファイバー140内を導かれて照明光学系142から撮像レンズ132a、132bの最広角の視野範囲を照明する。なお、実施例2の先端部112には例えば胃液のペーハーを測定するためのペーハーセンサ182が設けられている。このような内視鏡の内部測定値も、統括ユニット102との通信により、操作者用眼鏡型ウエアラブルモニタ166およびスタッフ用眼鏡型ウエアラブルモニタ168の視野内に表示される。
実施例2では、上記のような双眼の撮像系により対象組織158の表面158aが左目用CIGSイメージセンサ134aおよび右目用CIGSイメージセンサ134bにより可視光で3D撮像され、これによって得られた右目用画像および左目用画像が眼鏡型ウエアラブルモニタにおける右目および左目の視野内にそれぞれ表示される。
次に、ラマン散乱光の検知について説明する。図10のように、仮に検知対象の異常組織158bが比較的薄い場合、これがラマン散乱用光源レーザからの光源ビーム160に反応する領域158cが比較的狭い領域となることが期待される場合がある。そしてこの領域158cからのラマン散乱光を左目用CIGSイメージセンサ134aおよび右目用CIGSイメージセンサ134bでそれぞれ受光すると、散乱によって画像としてはそれぞれ広がりを持つ出力となるが、その強度分布の重心が検知される場合は、左目用CIGSイメージセンサ134aおよび右目用CIGSイメージセンサ134bによりそれぞれ検知される重心位置のずれ量を求めることにより、領域158cにおける光源ビーム160方向の情報とすることができる。
図11は、図9の実施例2における操作者用眼鏡型ウエアラブルモニタ166のブロック図であり、図9と対応する部分には同一の番号を付す。図11に示す実施例2の操作者用眼鏡型ウエアラブルモニタ166は、それぞれ左目および右目に表示用の虚像を提供する左目用モニタ184aおよび右目用モニタを有する。表示用の画像信号は通信部186により統括ユニット102から受信され、制御部188および表示ドライバ190経由でそれぞれ左目用モニタ184aおよび右目用モニタに提供される。
一方、スタッフの声などのオーディオ信号は、通信部186により統括ユニット102から受信され、制御部188およびオーディオ部192経由でイヤホンに出力される。またマイク174から入力される操作者の声は、オーディオ部192および制御部188経由で通信部186から統括ユニット102に送信される。
また、操作部178による操作は、制御部188経由で通信部186から統括ユニット102に送信される。例えば、操作者が患者への解説アナウンスに代えてスタッフのみに対し医療側での専門的指示を行いたいときなど、操作部178を操作することにより、自身の音声が患者用眼鏡型ウエアラブルモニタ170に伝わらないようミュートする信号を統括ユニット102に送信することができる。なお、電源部194は、電池196による電力を、操作者用眼鏡型ウエアラブルモニタ166各部に供給する。
スタッフ用眼鏡型ウエアラブルモニタ168の内部構成については、図11に示した操作者用眼鏡型ウエアラブルモニタ166のものと同様なので、図示と説明を省略する。またその機能は、図9での説明に基づき図11を読み替えることで理解することもできる。また、患者用眼鏡型ウエアラブルモニタの内部構成は、図11からマイク174および操作部178を除去して理解することができる。
図12は、図9の実施例2における統括ユニット102のブロック図であり、図9と対応する部分には同一の番号を付す。また、図2の実施例1のブロック図と共通の部分は、上記のようにそれぞれ百番台の番号を付し、十の位および一の位の数字を共通にして必要のない限り説明を省略する。
図12に示した統括ユニット102の通信部198は、操作者チャネル198a、スタッフチャネル198および患者チャネル198cを有し、それぞれ
操作者用眼鏡型ウエアラブルモニタ166、スタッフ用眼鏡型ウエアラブルモニタ168および患者用眼鏡型ウエアラブルモニタ170と通信している。
操作者チャネル198aおよびスタッフチャネル198には、画像表示メモリ120からの可視光像情報が入力されるとともに、診断表示メモリ200からの診断表示情報が入力される。診断表示メモリ200からの診断表示情報は、ラマン散乱処理部154からの入力、ペーハーセンサ182等の内部測定入力、および外部測定装置からの入力等に基づいて制御部114が処理するもので、その結果が診断表示メモリ200に記憶される。なお、診断表示メモリ200の診断表示情報はモニタ104にも伝達され、表示される。
また、操作者チャネル198aおよびスタッフチャネル198はオーディオ処理部202との間で双方向の情報交換を行う。これによって、操作者チャネル198aおよびスタッフチャネル198間で音声通話が可能となるとともに、操作者チャネル198aまたはスタッフチャネル198で受信される操作部178の操作に基づくミュート信号がオーディオ処理部202に伝達される。
一方、患者チャネル198cには、画像表示メモリ120からの可視光像情報が入力されるが診断表示メモリ200からの診断表示情報は入力されない。また、オーディオ処理部202からの一方向の音声信号が入力される。また、この音声信号は、ミュート部204を介して入力されており、オーディオ処理部202にミュート信号が伝達されたことをミュート信号検知部206が検知するとその制御でミュート部204がオーディオ処理部202から患者チャネル198cへの音声信号伝達をミュートする。
図13は、図12で示した実施例2における統括ユニット102の制御部114の動作の基本フローチャートであり、測定開始操作を行うとフローがスタートする。図12のフローは、図7、図8に示した実施例1のフローを引用して図示している。また同じ機能については同じステップ番号を付している。これらの部分については、必要のない限り説明を省略する。図13におけるステップS82は、図7のステップS2からステップS8をまとめたものである。ステップS82からステップS10を経てステップS84に至ると、可視光3D処理を行ってステップS12に移行する。ステップS12の可視光3D処理の詳細は後述する。
また、ステップS12のラマン散乱検出処が終了するとステップS86の深さ情報処理および情報付加処理を行ってステップS14に移行する。ステップS86の詳細に後述する。図13のステップS88は、図7のステップS16からステップS20における基準値再演算機能をまとめたものである。また、図13のステップS90は図7のステップS22からステップS34におけるオートフォーカスまたは手動ズーム操作に伴う光源ビーム照射位置重畳データ更新機能をまとめたものである。
ステップS92からステップS106が、図9および図12に基づいて説明した用眼鏡型ウエアラブルモニタによるリアルタイム情報共有に関する機能である。フローがステップS90からステップS92に移行すると、情報共有モードが設定されているか否かがチェックされる。そして情報共有モードであればステップS94に移行して、可視画像を通信部198の全チャネルに出力する。さらにステップS96において診断表示を作者チャネル198aおよびスタッフチャネル198に出力する。さらにステップS98においてスタッフの音声を操作者チャネルおよびスタッフチャネルに出力してステップS100に移行する。
ステップS100では、操作者チャネルで受信したミュート信号がミュート信号検知部206で検知されたか否かチェックする。検知がなければ、ステップS102に進み、スタッフチャネルで受信したミュート信号がミュート信号検知部206で検知されたか否かチェックする。そして検知があればステップS104に進み患者チャネルの音声をミュートしてステップS106に移行する。ステップS100において操作者チャネルで受信したミュート信号が検知された場合もステップS104に進み患者チャネルの音声をミュートしてステップS106に移行する。一方、操作者チャネルでもスタッフチャネルでもミュート信号が受信されなければステップS100からステップS102を経てステップS108に移行し、ミュートを解除してステップS106に移行する。
ステップS106では、操作者の音声を操作者チャネルおよび患者チャネルに出力してステップS36に移行する。このときステップS104で患者チャネルの音声がミュートされている場合は、患者用眼鏡型ウエアラブルモニタへの音声出力は行われない。なおステップS92で情報共有モードへの設定が検知できない場合はステップS110に移行し全チャネルの出力をオフしてステップS36に移行する。ステップS36では測定が停止されたか否かチェックし、測定が停止されたか否かチェックする。測定が停止されていない場合はステップS10に戻り、以下ステップS36で測定停止が検知されない限り、ステップS10、S84、S12、S86、S14、ステップS88からステップS110およびステップS36を繰り返す。一方、ステップS36で測定停止が検知された場合は直ちにフローを終了する。
図14は、図13におけるステップS84における可視光3D処理およびステップS12を経由して移行するステップS86深さ情報処理/情報付加処理の詳細を示すフローチャートである。ステップS10における可視光LED照明下での可視光撮像処理を経てステップS112に移行すると、左目用CIGSイメージセンサ134aおよび右目用CIGSイメージセンサ134bの画像信号に基づいて得られた視野内の可視光像は、それぞれ右目用画像および左目用画像として記録される。
次いで、ステップS114では、目幅調整のための画像拡大処理が行われる。これは、先端部112における光軸148a、148bの幅が自然な目幅よりも狭いのでそれぞれ画像を拡大し、操作者用眼鏡型ウエアラブルモニタ166等の左目用モニタ184aおよび左目用モニタ184bで表示されたとき自然な3D画像として認知されるようにするためである。以上のステップS112およびS114が図13における可視光3D処理の詳細である。
次いで、ステップS12を経てステップS116に至る。ステップS116からステップS134が図13のステップS86における深さ情報処理の詳細であり、ステップS136からステップS142が図13のステップS86における情報付加処理の詳細である。
まずステップS116でラマン散乱が検出されたか否かがチェックされる。そして検出があるとステップS118に進み、検出時点における左目用CIGSイメージセンサ134aおよび右目用CIGSイメージセンサ134bのラマン散乱画像が記録される。そしてこの時のフォーカス距離の情報もラマン散乱画像に関連付けて記録される。
まずステップS116でラマン散乱が検出されたか否かがチェックされる。以上の記録の後ステップS120に進み、フォーカス調節をしてラマン散乱が検出されなくなる限界を検知した後、そこからフォーカス距離を所定方向に所定量変更してステップS122に移行する。ステップS122では、フォーカス距離変更後ラマン散乱が検出されるか否かチェックするそして検出されればステップS118に戻り、この時の左右のラマン散乱画像およびフォーカス距離の情報が関連付けて記録される。以下、ステップSS122でラマン散乱が検出できなくなるまでステップS118からステップS122を繰り返し、フォーカス距離を変えた左右のラマン散乱画像の組(図10で示した異常組織158bに厚みがあれば複数組)記録していく。
ステップS122でラマン散乱が検出できなくなるとステップS124に進み、記録済みの左右ラマン散乱画像から一組を呼出し、ステップS126に進んで左右ラマン散乱画像に強度分布の重心が検出可能か否かチェックする。そして検出可能であればステップS128で検出された左右画像の重心を記録してステップS130に移行する。ステップS130では、記録済みの全ての左右ラマン散乱画像の組が呼出し済みであるかチェックする。呼出し済みでない記録画像があればステップS124に戻り、以下全ての左右ラマン散乱画像の組が呼出し済となるまでステップS124からステップS130を繰り返す。この繰り返しの中で重心検知が可能な左右画像の組の重心位置が記録されていく。(重心位置が検知されず、記録が全く得られない場合もある。)
ステップS130で全ての記録画像が呼出し済みであることが検知されるとステップS132に進み、重心位置が記録済み画像の組があれば、その各組について左右重心位置の差が検知される。そして検知された重心位置の差に基づいてステップS134で深さ方向(光源ビーム160方向)の情報を推定する演算処理を行ってステップS136に移行する。なお、ステップS116でラマン散乱が検出されない場合は直接ステップS136に移行する。
ステップS136では、ペーハーセンサ182等の内部測定値の入力の有無が検知され、入力があればステップS138に進んで、入力された内部測定値を診断情報に付加してステップS140に移行する。一方、内部測定値の入力がなければ直接ステップS140に移行する。ステップS140では、外部測定装置180等の外部測定値の入力の有無が検知され、入力があればステップS142に進んで、入力された外部測定値を診断情報に付加してステップS14に移行する。一方、外部測定値の入力がなければ直接ステップS14に移行する。ステップS138またはステップS142で付加された測定入力の表示画像は図12の診断表示メモリ200に入力され、通信部198から送信されて操作者用眼鏡型ウエアラブルモニタ166等で内視鏡画像とともに表示される。
上記本発明の種々の特徴は上記の実施例に限るものではなく、その利点が享受できる限り種々の他の実施例において活用可能である。例えば、実施例2はラマン散乱を用いた癌診断装置として構成されているが、眼鏡型ウエアラブルモニタを利用した操作者、スタッフおよび患者間のリアルタイム情報交換または3D処理等の特徴は、通常の内視鏡その他の診断医療装置に応用可能である。