JP2009039515A - 画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】物質内部に存在するオブジェクトをオブジェクトからの反射光あるいはＩＣＧ等蛍光物質からの発光を用いて観察する場合のオブジェクトの像ボケを補正する。
【解決手段】物質の内部に存在するオブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する特定波長画像取得部と、特定波長領域が異なる複数の特定波長画像から、オブジェクトの物質表面からの深さを算出する深さ算出部と、深さ算出部が算出したオブジェクトの深さに応じた前記オブジェクトの画像を生成するオブジェクト画像生成部と、を備える画像処理システムを提供する。
【選択図】図２

Description

本発明は、画像処理システム、画像処理方法およびプログラムに関する。本発明は、特に、生体内部に存在する血管等、表面観察では視認が困難な物質内部に存在するオブジェクトの画像を鮮明に表示できる画像処理システム、画像処理方法およびプログラムに関する。

たとえば非特許文献１に記載のように、生体にインドシアニングリーン（ＩＣＧ）を投与するとともに波長７８０ｎｍの赤外線レーザー光を照射して、生体内部の血液灌流をビデオ撮影する技術が知られている。また、内視鏡における像のボケの解消について、たとえば特許文献１に記載の内視鏡では、予め定められた所定範囲についての画像信号に対して、対物光学系の点ひろがり関数を用いて像回復処理を施す。これにより、撮像部への入射光量を大きく確保する一方、対物光学系の焦点深度不足による像のボケを解消できるとされている。
「インドシアニングリーンを用いた、皮下乳腺全摘出術後の乳頭乳輪の血液灌流の測定」、埼玉医科大学雑誌、第３２巻、第２号、Ｐ４５−５０、平成１７年４月 特開平１０−１６５３６５号公報

生体内部の血管等物質内部に存在するオブジェクトを、オブジェクトからの反射光あるいはＩＣＧ等蛍光物質からの発光を用いて観察する場合、オブジェクトの像がボケる問題がある。すなわち、反射光または発光が物質内を通過する間に散乱され、オブジェクトの輪郭が不明瞭になってしまう。医師が内視鏡を用いて診断あるいは施術する場合、血管等オブジェクトの位置を正確に認識することが望ましいから、オブジェクトの輪郭におけるボケを補正して、鮮明な画像を表示することが望まれる。また、物質内部のオブジェクトを撮像して表示する場合、オブジェクトの深さについての情報が同時に表示されることが好ましい。

上記課題を解決するために、本発明の第１の形態においては、と、物質の内部に存在するオブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する特定波長画像取得部と、特定波長領域が異なる複数の特定波長画像から、オブジェクトの物質表面からの深さを算出する深さ算出部と、深さ算出部が算出したオブジェクトの深さに応じたオブジェクトの画像を生成するオブジェクト画像補正部と、を備える画像処理システムを提供する。

物質の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部をさらに備え、オブジェクト画像生成部は、深さ算出部が算出したオブジェクトの深さに応じてオブジェクト画像を補正するオブジェクト画像補正部を有してよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態の画像処理システム１０の一例をＩＣＧ注入部７００および検体８００とともに示す。画像処理システム１０は、内視鏡１００、画像処理部２００、表示部３００、撮像制御部４００、発光部５００および発光制御部６００を備える。なお、図１において、Ａ部は、内視鏡１００の先端部１０２を拡大して示す。

ＩＣＧ注入部７００は、ルミネッセンス物質であるインドシアニングリーン（ＩＣＧ）を検体８００に注入する。なお、本実施形態においてルミネッセンス物質としてＩＣＧを例示するが、ルミネッセンス物質として、ＩＣＧ以外の蛍光物質を用いてもよい。ＩＣＧは、たとえば波長７５０ｎｍの赤外線に励起されて、８１０ｎｍを中心とするブロードなスペクトルの蛍光を発する。検体８００が生体である場合、ＩＣＧは、静脈注射によって生体の血管内に注入できる。ＩＣＧからの蛍光を撮像することにより、生体内の血管を造影できる。

ＩＣＧ注入部７００は、画像処理システム１０に組み込まれてもよい。生体内のＩＣＧ濃度を管理して、生体内でのＩＣＧ濃度が一定に維持されるようＩＣＧ注入部７００を制御できる。

検体８００は、たとえば人体等の生体であってよく、画像処理システム１０が処理する画像の撮像対象となる。検体８００の内部には血管等オブジェクトが存在する。本実施形態の画像処理システム１０は、検体８００の表面（器官等の内表面を含む）より深部に存在するオブジェクトの撮像画像におけるボケを補正する。

内視鏡１００は、撮像部１１０、ライトガイド１２０および鉗子口１３０を有する。内視鏡１００の先端部１０２には、撮像部１１０の一部としての対物レンズ１１２を有する。また先端部１０２には、ライトガイド１２０の一部としてのＩＲライトガイド１２２、Ｒライトガイド１２４、Ｇライトガイド１２６およびＢライトガイド１２８を有する。また先端部１０２には、ノズル１４０を有する。鉗子口１３０には鉗子１３５が挿入される。

撮像部１１０は、ルミネッセンス物質が発する光および照射光がオブジェクトで反射する反射光の画像を撮像する。撮像部１１０は、たとえばＣＣＤ等の２次元撮像デバイスと光学系とを含んでよく、光学系には対物レンズ１１２を含む。ルミネッセンス物質が発する光が赤外線である場合、撮像部１１０は、赤外線画像を撮像できる。オブジェクトへの照射光がＲＧＢの各成分を含むたとえば白色光である場合、撮像部１１０は、Ｒ成分、Ｇ成分およびＢ成分の各成分光画像を撮像できる。

撮像部１１０による赤外線、Ｒ成分、Ｇ成分およびＢ成分の各成分光は、たとえば入射光を分光フィルタにより分光して、フィルタリング後の光を１つのＣＣＤにより撮像できる。この場合光軸上に配置する分光フィルタを切り替えて各成分光画像を撮像できる。あるいは、入射光をハーフミラー等により分割して、分割した光軸ごとに分光フィルタを配置できる。光軸ごとに複数のＣＣＤを配置すれば、各成分光画像を同時に撮像できる。あるいは、１つのＣＣＤの画素ごとに、赤外線、Ｒ成分、Ｇ成分およびＢ成分の各分光フィルタを配置すれば、１つのＣＣＤで各成分光を同時に撮像できる。

ライトガイド１２０は、たとえば光ファイバで構成できる。ライトガイド１２０は、発光部５００で発生した光を内視鏡１００の先端部１０２にガイドする。ライトガイド１２０は、ＩＲライトガイド１２２、Ｒライトガイド１２４、Ｇライトガイド１２６およびＢライトガイド１２８を含むことができる。ＩＲライトガイド１２２は、赤外線をガイドして、Ｒライトガイド１２４は、Ｒ成分光をガイドする。Ｇライトガイド１２６は、Ｇ成分光をガイドして、Ｂライトガイド１２８は、Ｂ成分光をガイドする。

ライトガイド１２０は、赤外線、Ｒ成分、Ｇ成分およびＢ成分の成分光ごとにＩＲライトガイド１２２、Ｒライトガイド１２４、Ｇライトガイド１２６およびＢライトガイド１２８を備えるので各成分光を別々に照射できる。各成分光を別々に照射する場合、撮像部１１０には分光フィルタを備えなくてよく、各成分光を照射するタイミングに合わせて撮像することによりＣＣＤも１つでよい。もとより、撮像部１１０に各成分光を分光して撮像する機能を備える場合には、成分光ごとに時分割で照射しなくてもよく、ライトガイド１２０を１つのライトガイドに統合してもよい。

鉗子口１３０は、鉗子１３５を先端部１０２にガイドする。図１において鉗子１３５の先端形状の図示は省略している。各種の先端形状を備える鉗子１３５を適用できる。ノズル１４０は、水あるいは空気を送出できる。

画像処理部２００は、撮像部１１０から取得した画像データを処理する。表示部３００は、画像処理部２００が処理した画像データを表示する。撮像制御部４００は、撮像部１１０による撮像を制御する。

発光部５００は、内視鏡１００の先端部１０２から照射される光を発生する。発光部５００で発生する光は、ルミネッセンス物質を励起する励起光である赤外線、検体８００の内部のオブジェクトに照射する照射光を含む。照射光には、たとえばＲ成分、Ｇ成分およびＢ成分の成分光を含む。

発光制御部６００は、撮像制御部４００からの制御を受けて、発光部５００を制御する。たとえば撮像部１１０が、赤外線、Ｒ成分、Ｇ成分およびＢ成分の各成分光を時分割で撮像する場合に、各成分光の照射のタイミングと撮像のタイミングとを同期させるよう制御できる。

図２は、画像処理部２００の構成例を示す。画像処理部２００には、オブジェクト画像取得部２１０、特定波長画像取得部２１２、表面画像取得部２１４、オブジェクト領域特定部２１６、深さ算出部２１８、オブジェクト画像生成部２３０、補正テーブル２２２、補間画像生成部２２４および表示制御部２２６を有する。

オブジェクト画像取得部２１０は、物質である検体８００の内部に存在する血管等オブジェクトからの光の画像であるオブジェクト画像を取得する。オブジェクトからの光として、オブジェクト内に存在するルミネッセンス物質が発する蛍光、あるいはオブジェクトに照射された光の反射光を例示できる。なお、オブジェクト画像取得部２１０は、後述するように、オブジェクトからの光がオブジェクトから物質の表面までの間で散乱した散乱光による画像であるオブジェクト画像を取得してよい。

オブジェクトからの光としてルミネッセンス物質が発する蛍光を利用する場合、オブジェクト画像取得部２１０が取得するオブジェクト画像には、物質の表面からルミネッセンス物質を励起する励起光が進入できる深さまでの範囲に存在するオブジェクトが含まれる。すなわち、内視鏡１００の先端部１０２から照射されるルミネッセンス物質の励起光は、たとえば７５０ｎｍの波長を有するから、検体８００の比較的深部（たとえば１ｃｍ程度）にまで到達する。よって、オブジェクト画像取得部２１０が取得するオブジェクト画像には、検体８００の比較的深部に存在する血管画像を含む。もとより、励起光の到達できる深さの範囲に存在するルミネッセンス物質は、当該励起光によって励起されるから、オブジェクト画像取得部２１０が取得するオブジェクト画像には、励起光が到達できる深さの範囲に存在する血管画像を含む。なお、血管が深い位置に存在するほど、血管からの蛍光が検体８００で散乱されるから、深い位置の血管画像ほどボケを多く含むことになる。

オブジェクトからの光としてオブジェクトからの反射光を利用する場合、オブジェクト画像取得部２１０が取得するオブジェクト画像には、オブジェクトへの照射光が進入して反射する深さの範囲に存在するオブジェクトが含まれる。物質への照射光の進入深さは照射光の波長に依存するから、赤色光は青色光より物質内部に深く進入でき、緑色光はそれらの中間深さまで進入できる。赤外線は赤色光より物質内部に深く進入できる。よって、物質表面から照射する光の波長範囲を反映した進入深さまでの範囲に存在するオブジェクトがオブジェクト画像に含まれることになる。

特定波長画像取得部２１２は、血管等オブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する。特定波長領域は、任意の波長領域であってよく、たとえば可視光のＲ成分を中心とする赤色領域、Ｇ成分を中心とする緑色領域、Ｂ成分を中心とする青色領域を例示できる。また、ＩＣＧからの蛍光が属する波長領域を複数に分割した波長領域であってよく、たとえばＩＣＧからの蛍光における波長領域のうち、長波長領域、中波長領域、短波長領域を例示できる。

これら特定波長領域を利用した特定波長画像は、波長が相違すれば検体８００への光の進入深さが相違する性質を利用して、あるいは、波長が相違すれば検体８００内での光の吸収率が相違する性質を利用して、血管等オブジェクトの深さ検出に利用できる。すなわち、青色領域の特定波長画像により識別できる血管は、当該青色領域に属する波長の光が反射する深さ領域に存在すると判断できる。同様に、緑色領域の特定波長画像により識別できる血管は、当該緑色領域に属する波長の光が反射する深さ領域に存在すると判断でき、赤色領域の特定波長画像により識別できる血管は、当該赤色領域に属する波長の光が反射する深さ領域に存在すると判断できる。なお、青色光が反射する深さは赤色光が反射する深さより浅く、緑色光が反射する深さはこれらの中間に位置する。

また、血管内のＩＣＧが発した蛍光のうち、長波長領域に属する光の吸収は、短波長領域に属する光の吸収より小さいから、長波長領域、中波長領域あるいは短波長領域の特定波長画像に含まれる血管画像の明るさの比から当該血管の深さを推定できる。たとえば長波長領域の特定波長画像に係る血管画像の明るさに対して、短波長領域の特定波長画像に係る血管画像が暗ければ、当該血管は深い位置に存在すると推定できる。逆に長波長領域の特定波長画像に係る血管画像の明るさに対して、短波長領域の特定波長画像に係る血管画像が明るければ、短波長領域の光を吸収するであろう光の行路が長くなく、当該血管は浅い位置に存在すると推定できる。

以上のような光の波長による物質への進入深さ（反射光の進入深さ）の相違を利用して血管等オブジェクトの深さを検出する場合、特定波長画像取得部２１２は、オブジェクトから反射した反射光の画像である反射光画像を、特定波長画像として取得する。特定波長画像取得部２１２は、オブジェクトに白色光を照射してオブジェクトから反射した反射光のうち、特定波長領域に属する反射光の画像である反射光画像を、特定波長画像として取得してもよい。あるいは特定波長画像取得部２１２は、オブジェクトに特定波長領域に属する照射光を照射してオブジェクトから反射した反射光の画像である反射光画像を、特定波長画像として取得してもよい。また、物質の深部で発光した蛍光の波長による吸収率の相違を利用して血管等オブジェクトの深さを検出する場合、特定波長画像取得部２１２は、ルミネッセンス物質が発した光のうち、特定波長領域に属する光の画像である発光画像を、特定波長画像として取得する。

表面画像取得部２１４は、物質の表面の画像である表面画像を取得する。すなわち表面画像取得部２１４は、視認すると同等の画像を取得する。オブジェクト領域特定部２１６は、複数の特定波長画像ごとにオブジェクトの画像領域を特定する。すなわちオブジェクト領域特定部２１６は、特定波長画像に含まれる血管等のオブジェクトの画像領域を画定して血管画像等を特定する。

深さ算出部２１８は、特定波長領域が異なる複数の特定波長画像から、オブジェクトの物質の表面からの深さを算出する。前記した通り、特定波長画像には光の進入深さの情報を含むから、特定波長画像に含まれるオブジェクトの明るさ（輝度）を比較または演算してオブジェクトの深さを計算できる。

たとえば深さ算出部２１８は、オブジェクト領域特定部２１６が特定した画像領域における輝度に基づいて深さを算出できる。たとえば深さ算出部２１８は、長波長域の特定波長領域における画像領域の輝度に対する短波長域の特定波長領域における画像領域の輝度の比に基づいて深さを算出できる。たとえば深さ算出部２１８は、画像領域における最高輝度または平均輝度に基づいて深さを算出できる。たとえば深さ算出部２１８は、画像領域の端部における輝度の変化率に基づいて深さを算出できる。

なお、深さ算出部２１８は、血管に存在しているＩＣＧの量および当該血管の画像の輝度に対応づけて、深さを予め記憶していてよい。深さ算出部２１８は、ＩＣＧ注入部７００から注入されたＩＣＧの量に基づき検体８００に存在しているＩＣＧの量を算出して、算出したＩＣＧの量に応じた値、およびオブジェクト領域特定部２１６が特定した画像領域における輝度に応じた値に対応づけて予め記憶している深さを、血管の深さとして算出してよい。

画像領域の端部における輝度の変化率は、たとえば画像空間における位置（距離）を変数とする輝度の微分係数で表現できる。当該微分係数は画像領域に係るオブジェクトのボケの大きさを数値化した例であり、微分係数が大きいほどボケは小さく、オブジェクトはより浅い位置に存在すると推定できる。

なお、特定波長画像取得部２１２は、上述したように、オブジェクトからの光であって、特定波長領域に属する光が物質の表面までの間で散乱された散乱光の画像である特定波長画像を取得する。そして、深さ算出部２１８は、オブジェクト領域特定部２１６が特定した画像領域における輝度、および物質が光を散乱する散乱特性に基づいて、深さを算出してよい。散乱特性としては、物質の散乱係数を例示することができる。

なお、深さ算出部２１８は、検体８００の部位毎の散乱特性を部位に対応づけて予め記憶している。そして、深さ算出部２１８は、部位に対応づけて、上述した輝度の比を予め記憶している。そして、深さ算出部２１８は、特定波長画像として撮像されたオブジェクトが存在する部位に対応づけて予め記憶している散乱特性、および当該部位に対応づけて予め記憶している輝度の比に基づいて、深さを算出してよい。このように、深さ算出部２１８は、オブジェクト領域特定部が特定した画像領域における輝度、および物質の光学特性に基づいて、深さを算出してよい。

オブジェクト画像生成部２３０は、深さ算出部２１８が算出したオブジェクトの深さに応じたオブジェクトの画像を生成する。具体的には、オブジェクト画像生成部２３０は、深さ算出部２１８が算出したオブジェクトの深さに応じてオブジェクト画像を補正する。すなわち、オブジェクト画像生成部２３０は、補正値を適用して、オブジェクト画像におけるオブジェクトの広がりを補正する。なお、オブジェクト画像生成部２３０が補正した補正画像は表示部３００に送られ、表示部３００において表示される。なお、オブジェクト画像生成部２３０における具体的な処理については、図３に関連してより詳細に説明する。

補正テーブル２２２は、オブジェクトの深さに対応付けて、オブジェクトのオブジェクト画像における広がりを補正する補正値を記録する。オブジェクト画像生成部２３０は、補正テーブル２２２が記録している補正値を利用してオブジェクト画像を補正できる。

補間画像生成部２２４は、表面画像の撮像タイミングと補正画像の撮像タイミングとが異なる場合に、時系列に連続した複数の補正画像から、表面画像の撮像タイミングにおける補間画像を生成する。補間方法として、たとえば複数の補正画像における各画素の輝度から、補間画像における当該画素の輝度を内挿により求める方法が例示できる。

表示制御部２２６は、表面画像および補正画像の表示部３００への表示を制御する。また表示制御部２２６は、補正画像におけるオブジェクトの明るさまたは色を深さに応じて変化させて表示部３００に表示できる。あるいは表示制御部２２６は、表面画像と補正画像とを並べて表示部３００に表示できる。あるいは表示制御部２２６は、補間画像を補正画像として表示部３００に表示できる。その他、表示制御部２２６は、オブジェクトの深さ情報を数値として表示部３００に表示してもよい。

図３は、オブジェクト画像生成部２３０の構成例を示す。オブジェクト画像生成部２３０は、オブジェクト画像補正部２２０、オブジェクト予測画像生成部２３２、画像比較部２３４、位置関係特定部２３６、および大きさ特定部２３８を有する。

オブジェクト画像補正部２２０は、深さ算出部２１８が算出したオブジェクトの深さに応じてオブジェクト画像を補正する。具体的には、オブジェクト画像補正部２２０は、深さ算出部２１８が算出したオブジェクトの深さに応じてオブジェクト画像を補正する。例えば、オブジェクト画像補正部２２０は、補正値を適用して、オブジェクト画像におけるオブジェクトの広がりを補正する。なお、オブジェクト画像補正部２２０は、補正テーブル２２２が記録している補正値を利用してオブジェクト画像を補正できる。オブジェクト画像補正部２２０が補正した補正画像は、補間画像生成部２２４および表示制御部２２６を通じて、表示部３００に送られ、表示部３００において表示される。

オブジェクト予測画像生成部２３２は、深さ算出部２１８が算出した深さにオブジェクトが存在する場合に得られるべきオブジェクトの画像であるオブジェクト予測画像を、オブジェクトが異なる大きさであるそれぞれの場合について、深さ算出部２１８が算出した深さに基づいて生成する。画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数のオブジェクト予測画像を、オブジェクト画像とそれぞれ比較する。例えば、画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数のオブジェクト予測画像を、オブジェクト画像とそれぞれ比較して、複数のオブジェクト予測画像のそれぞれと、オブジェクト画像との間における画像の一致度を算出してよい。

そして、大きさ特定部２３８は、画像比較部２３４による比較結果に基づいて、オブジェクト画像として撮像されているオブジェクトの大きさとして、オブジェクト画像とより一致したオブジェクト予測画像が得られた大きさをより優先して特定する。例えば、大きさ特定部２３８は、画像比較部２３４による比較結果に基づいて、オブジェクト画像として撮像されているオブジェクトの大きさとして、オブジェクト画像と最も一致したオブジェクト予測画像が得られた大きさをより優先して特定してよい。例えば、大きさ特定部２３８は、画像比較部２３４による比較結果に基づいて、オブジェクト画像として撮像されているオブジェクトの大きさとして、オブジェクト画像と予め定められた値より高い一致度で一致したオブジェクト予測画像が得られた大きさをより優先して特定してよい。

オブジェクト画像補正部２２０は、オブジェクト画像の大きさを、大きさ特定部２３８が特定した大きさに応じた大きさに補正してよい。このようにして、オブジェクト画像生成部２３０は、大きさ特定部２３８が特定した大きさに応じた大きさのオブジェクトの画像を生成することができる。

なお、深さ算出部２１８は、複数の特定波長画像から、特定波長画像における異なる複数の位置のそれぞれに撮像されているオブジェクトの深さを、当該複数の位置毎に算出してよい。オブジェクト予測画像生成部２３２は、複数のオブジェクトが近接して存在する場合に得られるべきオブジェクトの画像であるオブジェクト予測画像を、複数のオブジェクトの位置関係が異なるそれぞれの場合について、深さ算出部２１８が複数の位置毎に算出した深さに基づいて生成する。そして、画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数のオブジェクト予測画像を、オブジェクト画像とそれぞれ比較する。例えば、画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数のオブジェクト予測画像を、オブジェクト画像とそれぞれ比較して、複数のオブジェクト予測画像のそれぞれと、オブジェクト画像との間の画像の一致度を算出してよい。

位置関係特定部２３６は、画像比較部２３４による比較結果に基づいて、オブジェクト画像として撮像されている複数のオブジェクトが近接して存在する領域における位置関係として、オブジェクト画像とより一致したオブジェクト予測画像が得られた位置関係をより優先して特定する。このように、位置関係特定部２３６は、深さ算出部２１８が複数の位置毎に算出した深さに基づいて、オブジェクト画像として撮像されている複数のオブジェクトの位置関係を特定することができる。そして、オブジェクト画像補正部２２０は、深さ算出部２１８が複数の位置毎に算出した深さ、および位置関係特定部２３６が特定した位置関係に応じて、オブジェクト画像を補正する。

図４は、検体８００の内部で光が反射等する様子を模式的に示す。検体８００の内部にはオブジェクトの一例である血管８１０が存在する。検体８００にはルミネッセンス物質であるＩＣＧが注入されており、血管８１０の内部にはＩＣＧが存在する。検体８００にはＩＣＧの励起光である赤外線Ｉｉｒと、オブジェクトである血管８１０への照射光である赤色光Ｉｒ、緑色光Ｉｇおよび青色光Ｉｂとが照射される。

赤外線Ｉｉｒは、検体８００の比較的深い位置（深さｄｉｒ）まで進入でき、表面から深さｄｉｒの間に存在する血管８１０内のＩＣＧは赤外線Ｉｉｒによって励起される。よって深さｄｉｒより浅い位置に存在する血管８１０の像は、ＩＣＧからの蛍光Ｒｆによってオブジェクト画像として取得される。なお、オブジェクト画像として取得された血管８１０の像にはボケを伴う。

赤色光Ｉｒは、深さｄｒまで進入して深さｄｒの近傍で反射される。よって、赤色光Ｉｒの赤色反射光Ｒｒには深さｄｒ近傍の血管８１０の像情報が含まれる。赤色反射光Ｒｒによる血管８１０の像は赤色領域の特定波長画像として取得され、赤色領域の特定波長画像には、深さｄｒ近傍の血管８１０の画像が含まれる。

緑色光Ｉｇは、深さｄｇまで進入して深さｄｇの近傍で反射される。よって、緑色光Ｉｇの緑色反射光Ｒｇには深さｄｇ近傍の血管８１０の像情報が含まれる。緑色反射光Ｒｇによる血管８１０の像は緑色領域の特定波長画像として取得され、緑色領域の特定波長画像には、深さｄｇ近傍の血管８１０の画像が含まれる。

青色光Ｉｂは、深さｄｂまで進入して深さｄｂの近傍で反射される。よって、青色光Ｉｂの青色反射光Ｒｂには深さｄｂ近傍の血管８１０の像情報が含まれる。青色反射光Ｒｂによる血管８１０の像は青色領域の特定波長画像として取得され、青色領域の特定波長画像には、深さｄｂ近傍の血管８１０の画像が含まれる。

たとえば、赤色反射光Ｒｒ、緑色反射光Ｒｇ、緑色反射光Ｒｇの各特定波長画像から血管８１０の深さを特定できる。特定した深さから蛍光Ｒｆによるオブジェクト画像を補正できる。

図５は、表示部３００における表示画面３１０の一例を示す。表示画面３１０にはオブジェクト画像を補正した補正画像の血管３３０を、表面画像における血管３２０に重畳して表示している。表面画像の血管３２０は検体８００の表面観察で視認できる。補正画像の血管３３０は表面観察では視認できないが、本実施形態の画像処理システム１０によって視覚化できる。

なお、表面画像の血管３２０は検体８００の表面観察で視認できるので、オブジェクト画像生成部２３０は、所定の深さより浅い位置を示す深さが深さ算出部２１８により算出された血管８１０については補正画像を生成せず、所定の深さ以上の深さが深さ算出部２１８により算出された血管８１０については補正画像を生成してよい。そして、表示制御部２２６は、表面画像の血管３２０の色と異なる色で、補正画像の血管３３０を表示してよい。このように、画像処理システム１０によると、浅い位置にある血管８１０と深い位置にある血管８１０とを、容易に区別して視認することができる画像を提供することができる。

補正画像の血管３３０は、本実施形態の画像処理システム１０によって補正されるから、血管画像の端部にボケは生じず、鮮明に表示される。なお、補正画像の血管３３０は、たとえば濃淡を変えて、あるいは色を変えて表面からの深さを表示できる。本実施形態の画像処理システム１０を適用すれば、たとえば医師が表示部３００の表示画面３１０を見つつ手術等を実施するとき、表面観察によっては視認できない内部の血管３３０を鮮明に認識できる場合がある。また、医師は内部の血管３３０の深さ情報を参照しつつ手術等を実施できる利点が得られる場合がある。

図６は、交差している血管８１０の像である血管像の一例を示す。血管部分像６１０ａ〜ｄは、特定波長画像において、交差していない血管部分の像であるとする。また、領域６３０は、特定波長画像において血管８１０が交差している領域であるとする。なお、本実施形態における異なる血管８１０は、連続する血管８１０を形成する異なる複数の血管部分であってよい。以後の説明では、血管部分像６１０ａ〜ｄを血管部分像６１０と総称する場合がある。

深さ算出部２１８は、異なる血管８１０が交差していない領域における血管部分像６１０ａ〜ｄの輝度値に基づいて、上述したようにして血管８１０の深さを算出することができる。一方、異なる血管８１０が交差した領域からの光は、異なる血管８１０のそれぞれからの光が合わさった光になる。このため、領域６３０内の血管像の輝度値は、異なる血管８１０のそれぞれからの光の強度の和を示す値となる。このため、深さ算出部２１８は、領域６３０内の血管像の輝度値だけから、異なる血管８１０のそれぞれの深さを正確に算出することができない場合がある。

この場合、オブジェクト画像生成部２３０は、後述する方法で異なる血管８１０の位置関係を特定して、特定した位置関係に応じた血管の画像を生成する。例えば、オブジェクト画像生成部２３０は、特定した位置関係に基づいて、特定した位置関係を示す血管の画像を生成したり、オブジェクト画像における交差した血管の像のぼけを補正した補正画像を生成する。なお、図中のｓは、血管の走行方向に沿う経路を示しており、図８における説明で使用される。

図７は、血管の走行状態の一例を示す。図６に示した血管の像として撮像される血管８１０は、本図の（ａ）、（ｂ）、および（ｃ）のいずれかの走行状態にあるとみなすことができる。本図では、２つの血管８１０が、実線および破線で区別して示されている。

位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分のそれぞれの深さに基づいて、２つの血管８１０がａ）、ｂ）、ｃ）のいずれの走行状態にあるかを特定する。なお、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分のそれぞれの深さは、上述したように深さ算出部２１８によって得ることができる。また、以後の説明では、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分の深さを、それぞれ血管部分像６１０ａ〜ｄからの深さと略称する。

例えば、位置関係特定部２３６は、血管部分像６１０ａからの深さおよび血管部分像６１０ｃからの深さが、血管部分像６１０ｂからの深さおよび血管部分像６１０ｄからの深さのいずれよりも深いか浅い場合に、異なる血管８１０は本図の（ａ）が示す位置関係にあると判断することができる。また、位置関係特定部２３６は、血管部分像６１０ａからの深さおよび血管部分像６１０ｂからの深さが、血管部分像６１０ｃからの深さおよび血管部分像６１０ｄからの深さのいずれよりも深いか浅い場合に、異なる血管８１０は本図の（ｂ）が示す位置関係にあると判断することができる。他にも、位置関係特定部２３６は、血管部分像６１０ａからの深さおよび血管部分像６１０ｄからの深さが、血管部分像６１０ｂからの深さおよび血管部分像６１０ｃからの深さのいずれよりも深いか浅い場合に、異なる血管８１０は本図の（ｃ）が示す位置関係にあると判断することができる。このように、位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれからの深さについて分類することにより、異なる血管８１０の位置関係を特定することができる。

このように、位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれからの深さに基づいて、異なる血管８１０の位置関係を特定することができる。なお、位置関係特定部２３６は、複数の位置関係の中から、異なる血管８１０がそれらの位置関係にあるそれぞれの場合に予測される血管８１０の曲率に基づいて一の位置関係を選択して、選択した位置関係を血管８１０の位置関係として特定してもよい。

例えば、異なる血管８１０が本図の（ｃ）が示す位置関係にあるとした場合、本図の（ａ）または（ｂ）が示す位置関係である場合より曲率が著しく大きくなる。実際には、血管８１０が本図の（ｃ）が示す走行状態にある可能性は、本図の（ａ）または（ｂ）が示す走行状態にある可能性より著しく小さい。そこで、位置関係特定部２３６は、血管８１０の位置関係として、曲率が予め定められた値より小さくなる位置関係を、曲率が予め定められた値以上になる位置関係より優先して特定してよい。これにより、非現実的な血管８１０の位置関係が特定される可能性を著しく低減することができる。

なお、位置関係特定部２３６は、上述の深さに基づく位置関係の特定方法と同様の方法で、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分のそれぞれの太さに基づいて、異なる血管８１０の位置関係を特定してもよい。例えば、大きさ特定部２３８は、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分のそれぞれの太さを特定する。なお、以後の説明では、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分のそれぞれの太さを、それぞれ血管部分像６１０ａ〜ｄのそれぞれからの太さと略称する。

大きさ特定部２３８は、一例として、血管部分像６１０ａ〜ｄのそれぞれからの深さに基づいて、血管部分像６１０ａ〜ｄのそれぞれからの太さを特定することができる。例えば、血管部分像６１０のそれぞれの太さには、それぞれの血管部分の太さと、血管８１０からの光の散乱に起因するぼけが寄与していると考えることができる。そこで、大きさ特定部２３８は、血管部分像６１０ａ〜ｄのそれぞれからの深さに基づいて、光の散乱に起因するぼけの寄与分を算出する。そして、大きさ特定部２３８は、算出した寄与分、および血管部分像６１０ａ〜ｄのそれぞれの太さに基づいて、血管部分像６１０ａ〜ｄのそれぞれからの太さを特定する。例えば、大きさ特定部２３８は、血管部分像６１０ａの太さから、算出した寄与分を減算することによって、血管部分像６１０ａからの太さを特定することができる。なお、血管部分の太さは、この発明におけるオブジェクトの大きさの一例であってよい。

そして、位置関係特定部２３６は、血管部分像６１０ａからの太さおよび血管部分像６１０ｃからの太さが、血管部分像６１０ｂからの太さおよび血管部分像６１０ｄからの太さのいずれよりも太いか細い場合に、異なる血管８１０は本図の（ａ）が示す位置関係にあると判断することができる。また、位置関係特定部２３６は、血管部分像６１０ａからの太さおよび血管部分像６１０ｂからの太さが、血管部分像６１０ｃからの太さおよび血管部分像６１０ｄからの太さのいずれよりも太いか細い場合に、異なる血管８１０は本図の（ｂ）が示す位置関係にあると判断することができる。他にも、位置関係特定部２３６は、血管部分像６１０ａからの太さおよび血管部分像６１０ｄからの太さが、血管部分像６１０ｂからの太さおよび血管部分像６１０ｃからの太さのいずれよりも太いか細い場合に、異なる血管８１０は本図の（ｃ）が示す位置関係にあると判断することができる。このように、位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれからの太さについて分類することにより、異なる血管８１０の位置関係を特定することができる。

なお、位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれからの深さおよび太さについて分類することにより、異なる血管８１０の位置関係を特定してもよい。このように、位置関係特定部２３６は、血管部分像６１０ａ〜ｄのそれぞれからの深さおよび太さに基づいて、異なる血管８１０の位置関係を特定してもよい。

なお、大きさ特定部２３８は、上述した方法の他にも、深さ算出部２１８が算出した深さに血管８１０が存在すると仮定した場合に得られるべき血管予測像と、血管部分像６１０ａ〜ｄとの比較結果に基づいて、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分の太さを算出してもよい。具体的には、オブジェクト予測画像生成部２３２は、深さ算出部２１８が算出した深さに、所与の太さの血管８１０が存在する場合に得られるべき血管予測像を生成する。

なお、オブジェクト予測画像生成部２３２は、血管部分像６１０に細線化処理を施すことによって血管の走行方向を特定して、特定した走行方向で走行する所与の太さの血管８１０が、深さ算出部２１８が算出した深さに存在する場合に得られるべき血管予測像を生成してよい。なお、オブジェクト予測画像生成部２３２は、異なる複数の太さのそれぞれについて血管予測像をそれぞれ生成することにより、複数の血管予測像を生成する。なお、血管予測像は、この発明におけるオブジェクト予測画像の一例であってよい。また、オブジェクト予測画像生成部２３２は、血管部分像６１０にスムージング処理および２値化処理を施してから、細線化処理を施してよい。

なお、オブジェクト予測画像生成部２３２は、深さ算出部２１８が算出した深さに応じた血管８１０からの光の拡がり量に基づいて、血管予測像を生成することができる。例えば、オブジェクト予測画像生成部２３２は、所与の太さの血管部分が存在する場合の血管部分からの光強度の空間分布、および深さ算出部２１８が算出した深さにある点からの光に対する点拡がり関数に基づいて、血管予測像を生成することができる。

そして、画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数の血管予測像を、血管部分像６１０とそれぞれ比較することによって、画像の一致度を算出する。そして、大きさ特定部２３８は、最も高い一致度が得られた血管予測像を生成する場合に与えられた血管部分の太さを、血管部分像６１０として撮像された血管部分の太さとして特定する。このようにして、大きさ特定部２３８は、血管部分像６１０ａ〜ｄのそれぞれからの太さを特定することができる。なお、大きさ特定部２３８は、予め定められた一致度より高い一致度が得られた血管予測像を生成する場合に与えられた血管部分の太さを一致度に応じて重みづけ平均して得られた値を、血管部分像６１０として撮像された血管部分の太さとして特定してもよい。

なお、画像処理部２００は、深さ算出部２１８が算出した深さおよび大きさ特定部２３８が算出した太さを、血管部分像の輝度値および血管部分像の太さに対応づけて記憶してよい。そして、深さ算出部２１８は、新たに得られた血管部分像の輝度値および当該新たに得られた血管部分像の太さに対応づけて記憶している深さを、当該新たに得られた血管部分像として撮像された血管部分の深さとして算出してよい。そして、大きさ特定部２３８は、新たに得られた血管部分像の輝度値および当該新たに得られた血管部分像の太さに対応づけて記憶している太さを、当該新たに得られた血管部分像として撮像された血管部分の太さとして特定してよい。これにより、血管部分の深さおよび太さを速やかに算出することができ、ひいては血管８１０のジオメトリを速やかに決定することができる。

図８は、血管８１０の走行方向ｓに沿った方向の深さ変化の一例を示す。本図において、（ａ）、（ｂ）、（ｃ）、および（ｄ）は、それぞれ血管部分像６１０ａからの深さ変化、血管部分像６１０ｂからの深さ変化、血管部分像６１０ｃからの深さ変化、および血管部分像６１０ｄからの深さ変化を示す。

本図の（ａ）および（ｃ）は、走行方向ｓに沿って深さが増大しており、（ｂ）および（ｄ）は、走行方向ｓに沿って深さが減少している。このような場合、位置関係特定部２３６は、異なる血管８１０の位置関係として、図６の（ａ）が示す位置関係を特定してよい。このように、位置関係特定部２３６は、類似する深さ変化を示す血管部分像を同じ血管８１０の像とみなすことによって、血管８１０の位置関係を特定してよい。このように、位置関係特定部２３６は、血管８１０の深さの空間的変化に基づいて、位置関係を特定することができる。なお、深さの空間的変化としては、血管８１０の走行方向ｓに沿った方向の深さの微分値を例示することができる。なお、微分値の次数は一次であってよく、多次であってもよい。

なお、位置関係特定部２３６は、本図に関連して説明した深さ変化に替えて、血管８１０の太さ変化に基づいて位置関係を特定することができる。例えば、位置関係特定部２３６は、類似する太さ変化を示す血管部分像を同じ血管８１０の像とみなすことによって、血管８１０の位置関係を特定してよい。

図９は、血管８１０の位置関係の一例を示す。本図は、血管８１０が図６の（ａ）の位置関係にある場合に、血管部分像６１０ａおよび血管部分像６１０ｃとして撮像された血管部分の中心線を含む断面で切断した切断面を示す。血管８１０が本図に示した位置関係にある場合、血管部分像６１０ａ〜ｄのそれぞれとして撮像された血管部分の表面９００からの深さは、ほぼ同じになる。このため、血管部分像６１０ａ〜ｄの深さに基づいて、交差している領域における血管８１０の位置関係を特定することができない場合がある。例えば、血管８１０が交差する位置での位置関係として、本図の例のように血管部分像６１０ａおよび血管部分像６１０ｃとして撮像された血管部分の方が他方より深い位置にある場合と、血管部分像６１０ａおよび血管部分像６１０ｃとして撮像された血管部分の方が他方より浅い位置にある場合との双方が実際にあり得る。

このような場合においても、位置関係特定部２３６は、血管８１０が所与の位置関係にあると仮定した場合に得られるべき血管予測像と、血管８１０の像との比較結果に基づいて、血管８１０の位置関係を特定することができる。具体的には、オブジェクト予測画像生成部２３２は、所与の太さの血管８１０が所与の位置関係で存在する場合に得られるべき血管予測像を生成する。

位置関係としては、一例として図６で示した（ａ）、（ｂ）、および（ｃ）が示す走行方向に関する複数の位置関係と、交差している領域における血管８１０の深さに関する複数の位置関係の組み合わせを含む。オブジェクト予測画像生成部２３２は、血管８１０の太さが異なるそれぞれの場合において、位置関係が異なるそれぞれの場合の血管予測像をそれぞれ生成することにより、複数の血管予測像を生成する。なお、血管予測像は、この発明におけるオブジェクト予測画像の一例であってよい。

そして、画像比較部２３４は、オブジェクト予測画像生成部２３２が生成した複数の血管予測像を、領域６３０における血管８１０の像とそれぞれ比較することによって、画像の一致度を算出する。そして、大きさ特定部２３８は、最も高い一致度が得られた血管予測像を生成する場合に異なる血管８１０の太さとして与えられた値を、異なる血管８１０のそれぞれの太さとして算出する。また、位置関係特定部２３６は、最も高い一致度が得られた血管予測像を生成する場合に与えられた位置関係を、異なる血管８１０の位置関係として特定する。このようにして、位置関係特定部２３６および大きさ特定部２３８は、交差している血管８１０の位置関係および太さをより高い精度で特定することができる。

なお、上記において、血管８１０の深さに基づいた位置関係の特定方法、血管８１０の太さに基づいた位置関係の特定方法、血管８１０の深さ変化に基づいた位置関係の特定方法、血管８１０の太さ変化に基づいた位置関係の特定方法、および血管予測像に基づいた位置関係の特定方法について説明した。位置関係特定部２３６は、それらの位置関係の特定方法の任意の組み合わせに基づき、異なる血管８１０の位置関係を特定することができる。

なお、オブジェクト画像補正部２２０は、オブジェクト画像において異なる血管８１０が重なって撮像されている領域の画像を、位置関係特定部２３６が特定した位置関係に基づき補正してよい。具体的には、オブジェクト画像補正部２２０は、位置関係特定部２３６が特定した位置関係に基づき、浅い位置にある血管８１０の画像を、深い位置にある血管８１０の画像より強調した補正画像を生成してよい。このように、オブジェクト画像補正部２２０は、より深い位置にあるオブジェクトの画像より、当該オブジェクトより浅い位置にあるオブジェクトが優先して表示されるべく、オブジェクト画像を補正してよい。

一例として、オブジェクト画像補正部２２０は、深い位置にある血管８１０の画像を深さに応じて補正して得られた画像に、浅い位置にある血管８１０の画像を深さに応じて補正して得られた画像で上書きしてよい。オブジェクト画像においては、血管８１０が重なって撮像されている領域の画素値は、深い位置にある血管８１０による画素値への寄与分と浅い位置にある血管８１０による画素値への寄与分との和に応じた値となっている。オブジェクト画像補正部２２０が、浅い位置にある血管８１０の画像を深さに応じて補正して得られた画像で上書きすることにより、血管８１０が重なって撮像される領域の画素値には、深い位置にある血管８１０は寄与せず、浅い位置にある血管８１０だけが寄与することになる。これにより、オブジェクト画像補正部２２０は、血管８１０が重なって撮像される領域においても、浅い位置にある血管８１０の境界および走行状態がより明確な補正画像を生成することができる。

なお、図６から図９に関連して、２つの血管８１０の位置関係を特定して、特定した位置関係に応じた２つの血管８１０の画像を生成する場合を例に挙げて画像処理部２００の動作を説明した。同様にして、画像処理部２００は、３以上の血管８１０の位置関係を特定して、特定した位置関係に応じた３以上の血管８１０の画像を生成することができる。

以上説明したように、画像処理システム１０によると、交差または重なって撮像された複数の血管８１０のジオメトリが適切に表現された補正画像を提供することができる。このため、医師などは、補正画像により血管８１０の走行状態を容易に視認することができる。

図１０は、本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。本実施形態に係る画像処理システム１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部と、を備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理システム１０が起動時に実行するブート・プログラム、画像処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される通信プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理システム１０にインストールされて実行される通信プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理システム１０を、図１から図９にかけて説明した画像処理部２００等として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

たとえばＩＣＧからの蛍光強度は、ＩＣＧの検体８００内部における濃度に依存すると考えられる。ＩＣＧは検体８００で代謝されることによって減少するから、ＩＣＧ濃度の減少による蛍光強度の補償を実施することが好ましい。当該補償の方法として、ＩＣＧ投与からの経過時間に応じてＩＣＧを追加投与する方法が例示できる。また、ＩＣＧ濃度の減少を補償するように励起光強度を増加する方法、あるいは蛍光強度に依存する補正値の値を補償する方法が例示できる。

また、前記した実施形態では、内視鏡１００を利用して検体８００の内部の画像を補正する例を示した。しかし、本実施形態の画像処理システム１０は、検体８００内部の観察画像に適用が限定されるわけではない。たとえば検体８００の外部から励起光あるいは照射光を照射して、検体８００の外部から観察できる表面の深部に存在するオブジェクトの画像を補正する場合に適用してもよい。

前記した実施形態では、オブジェクトの内部に含まれるルミネッセンス物質が発する蛍光を利用してオブジェクト画像を取得する例を主に説明した。しかし、オブジェクト画像は、オブジェクトに可視光、赤外線その他の波長範囲の光を照射して、その反射光を撮像することにより取得することもできる。

本実施形態の画像処理システム１０の一例をＩＣＧ注入部７００および検体８００とともに示す。 画像処理部２００の構成例を示す。 オブジェクト画像生成部２３０の構成例を示す図である。 検体８００の内部で光が反射等する様子を模式的に示す。 表示部３００における表示画面３１０の一例を示す。 交差している血管８１０の像である血管像の一例を示す図である。 血管の走行状態の一例を示す図である。 血管８１０の走行方向ｓに沿った方向の深さ変化の一例を示す図である。 血管８１０の位置関係の一例を示す図である。 本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。

符号の説明

１０ 画像処理システム
１００ 内視鏡
１０２ 先端部
１１０ 撮像部
１１２ 対物レンズ
１２０ ライトガイド
１２２ ＩＲライトガイド
１２４ Ｒライトガイド
１２６ Ｇライトガイド
１２８ Ｂライトガイド
１３０ 鉗子口
１３５ 鉗子
１４０ ノズル
２００ 画像処理部
２１０ オブジェクト画像取得部
２１２ 特定波長画像取得部
２１４ 表面画像取得部
２１６ オブジェクト領域特定部
２１８ 算出部
２２０ オブジェクト画像補正部
２２２ 補正テーブル
２２４ 補間画像生成部
２２６ 表示制御部
２３０ オブジェクト画像生成部
２３２ オブジェクト予測画像生成部
２３４ 画像比較部
２３６ 位置関係特定部
２３８ 大きさ特定部
３００ 表示部
３１０ 表示画面
３２０ 血管
３３０ 血管
４００ 撮像制御部
５００ 発光部
６００ 発光制御部
６１０ 血管部分像
６３０ 領域
９００ 表面
７００ ＩＣＧ注入部
８００ 検体
８１０ 血管
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (25)

1. 物質の内部に存在するオブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する特定波長画像取得部と、
   前記特定波長領域が異なる複数の前記特定波長画像から、前記オブジェクトの前記物質の表面からの深さを算出する深さ算出部と、
   前記深さ算出部が算出した前記オブジェクトの前記深さに応じた前記オブジェクトの画像を生成するオブジェクト画像生成部と、
   を備える画像処理システム。
2. 前記オブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部
   をさらに備え、
   前記オブジェクト画像生成部は、
   前記深さ算出部が算出した前記オブジェクトの前記深さに応じて前記オブジェクト画像を補正するオブジェクト画像補正部
   を有する
   請求項１に記載の画像処理システム。
3. 前記特定波長画像取得部は、前記オブジェクトから反射した反射光の画像である反射光画像を、前記特定波長画像として取得する、
   請求項１または２に記載の画像処理システム。
4. 前記特定波長画像取得部は、前記オブジェクトに白色光を照射して前記オブジェクトから反射した反射光のうち、前記特定波長領域に属する反射光の画像である反射光画像を、前記特定波長画像として取得する、
   請求項３に記載の画像処理システム。
5. 前記特定波長画像取得部は、前記オブジェクトに前記特定波長領域に属する照射光を照射して前記オブジェクトから反射した反射光の画像である反射光画像を、前記特定波長画像として取得する、
   請求項３に記載の画像処理システム。
6. 前記特定波長画像取得部は、前記オブジェクトの内部のルミネッセンス物質が発した光のうち、前記特定波長領域に属する光の画像である発光画像を、前記特定波長画像として取得する、
   請求項１または２に記載の画像処理システム。
7. 前記複数の特定波長画像ごとに前記オブジェクトの画像領域を特定するオブジェクト領域特定部、をさらに備え、
   前記深さ算出部は、前記オブジェクト領域特定部が特定した前記画像領域における輝度に基づいて前記深さを算出する、
   請求項１または２に記載の画像処理システム。
8. 前記深さ算出部は、長波長域の前記特定波長領域における前記画像領域の輝度に対する短波長域の前記特定波長領域における前記画像領域の輝度の比に基づいて前記深さを算出する、
   請求項７に記載の画像処理システム。
9. 前記深さ算出部は、前記画像領域における最高輝度または平均輝度に基づいて前記深さを算出する、
   請求項７に記載の画像処理システム。
10. 前記深さ算出部は、前記画像領域の端部における輝度の変化率に基づいて前記深さを算出する、
    請求項７に記載の画像処理システム。
11. 前記深さ算出部は、前記オブジェクト領域特定部が特定した前記画像領域における輝度、および前記物質の光学特性に基づいて、前記深さを算出する
    請求項７に記載の画像処理システム。
12. オブジェクト画像取得部は、前記オブジェクトからの光が前記オブジェクトから前記表面までの間で散乱した散乱光による画像であるオブジェクト画像を取得する
    請求項１１に記載の画像処理システム。
13. 前記深さ算出部は、前記オブジェクト領域特定部が特定した前記画像領域における輝度、および前記物質が光を散乱する散乱特性に基づいて、前記深さを算出する
    請求項１２に記載の画像処理システム。
14. 前記オブジェクトの深さに対応付けて、前記オブジェクトの前記オブジェクト画像における広がりを補正する補正値を記録した補正テーブルをさらに備え、
    前記オブジェクト画像補正部は、前記補正値を適用して、前記オブジェクト画像における前記オブジェクトの広がりを補正する、
    請求項２に記載の画像処理システム。
15. 前記オブジェクトの内部のルミネッセンス物質を励起する励起光および前記オブジェクトに照射する照射光を発生する発光部と、
    前記ルミネッセンス物質が発する光および前記照射光が前記オブジェクトで反射する反射光の画像を撮像する撮像部と、
    前記オブジェクト画像補正部が補正した補正画像を表示する表示部と、
    をさらに備える請求項２に記載の画像処理システム。
16. 前記物質の表面の画像である表面画像を取得する表面画像取得部と、
    前記表面画像および前記補正画像の前記表示部への表示を制御する表示制御部と、
    をさらに備える請求項１５に記載の画像処理システム。
17. 前記表示制御部は、前記補正画像における前記オブジェクトの明るさまたは色を前記深さに応じて変化させて前記表示部に表示する、
    請求項１６に記載の画像処理システム。
18. 前記表示制御部は、前記表面画像と前記補正画像とを並べて前記表示部に表示する、
    請求項１６に記載の画像処理システム。
19. 前記表面画像の撮像タイミングと前記補正画像の撮像タイミングとが異なる場合に、時系列に連続した複数の前記補正画像から、前記表面画像の撮像タイミングにおける補間画像を生成する補間画像生成部をさらに備え、
    前記表示制御部は、前記補間画像を前記補正画像として前記表示部に表示する、
    請求項１６に記載の画像処理システム。
20. 前記深さ算出部は、複数の前記特定波長画像から、前記特定波長画像における異なる複数の位置のそれぞれに撮像されている前記オブジェクトの前記深さを、当該複数の位置毎に算出し、
    前記オブジェクト画像生成部は、
    前記深さ算出部が複数の位置毎に算出した前記深さに基づいて、前記オブジェクト画像として撮像されている複数の前記オブジェクトの位置関係を特定する位置関係特定部をさらに有し、
    前記オブジェクト画像補正部は、前記深さ算出部が複数の位置毎に算出した前記深さ、および前記位置関係特定部が特定した位置関係に応じて、前記オブジェクト画像を補正する
    請求項２に記載の画像処理システム。
21. 前記オブジェクト画像生成部は、
    複数の前記オブジェクトが近接して存在する場合に得られるべき前記オブジェクトの画像であるオブジェクト予測画像を、複数の前記オブジェクトの位置関係が異なるそれぞれの場合について、前記深さ算出部が複数の位置毎に算出した前記深さに基づいて生成するオブジェクト予測画像生成部と、
    前記オブジェクト予測画像生成部が生成した複数の前記オブジェクト予測画像を、前記オブジェクト画像とそれぞれ比較する画像比較部と、をさらに有し、
    前記位置関係特定部は、前記画像比較部による比較結果に基づいて、前記オブジェクト画像として撮像されている複数の前記オブジェクトが近接して存在する領域における位置関係として、前記オブジェクト画像とより一致した前記オブジェクト予測画像が得られた位置関係をより優先して特定する
    請求項２０に記載の画像処理システム。
22. 前記オブジェクト画像補正部は、より浅い位置にある前記オブジェクトがより優先して表示されるべく、前記オブジェクト画像を補正する
    請求項２１に記載の画像処理システム。
23. 前記オブジェクト画像生成部は、
    前記深さ算出部が算出した前記深さに前記オブジェクトが存在する場合に得られるべき前記オブジェクトの画像であるオブジェクト予測画像を、前記オブジェクトが異なる大きさであるそれぞれの場合について、前記深さ算出部が算出した前記深さに基づいて生成するオブジェクト予測画像生成部と、
    前記オブジェクト予測画像生成部が生成した複数の前記オブジェクト予測画像を、前記オブジェクト画像とそれぞれ比較する画像比較部と、
    前記画像比較部による比較結果に基づいて、前記オブジェクト画像として撮像されている前記オブジェクトの大きさとして、前記オブジェクト画像とより一致した前記オブジェクト予測画像が得られた大きさをより優先して特定する大きさ特定部と、をさらに有し、
    前記オブジェクト画像補正部は、前記オブジェクト画像の大きさを、前記大きさ特定部が特定した大きさに応じた大きさに補正する
    請求項２に記載の画像処理システム。
24. 物質の内部に存在するオブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する特定波長画像取得段階と、
    前記特定波長領域が異なる複数の前記特定波長画像から、前記オブジェクトの前記物質の表面からの深さを算出する深さ算出段階と、
    前記深さ算出段階において算出した前記オブジェクトの前記深さに応じた前記オブジェクトの画像を生成するオブジェクト画像生成段階と、
    を備える画像処理方法。
25. 画像処理システム用のプログラムであって、前記画像処理システムを、
    物質の内部に存在するオブジェクトからの光であって特定波長領域に属する光の画像である特定波長画像を取得する特定波長画像取得部、
    前記特定波長領域が異なる複数の前記特定波長画像から、前記オブジェクトの前記物質の表面からの深さを算出する深さ算出部、
    前記深さ算出部が算出した前記オブジェクトの前記深さに応じた前記オブジェクトの画像を生成するオブジェクト画像生成部、
    として機能させるプログラム。

Images