JP6774550B2 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

Description

本発明は、診断に資する指標等を算出する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。特に近年においては、内視鏡を用いて観察対象を単に撮像するだけでなく、観察対象を撮像して得る画像を用いて、例えば酸素飽和度等一見して知得し難い観察対象の状態を表す情報または指標等（以下、まとめて指標値という）を算出する内視鏡システムが知られている。

指標値を算出する際に、観察対象に例えば残渣または残液（以下、残液等という）が付着しているなど観察対象が指標値の算出に適した状態となっていない場合、不正確な指標値を算出してしまう場合がある。このため、例えば、指標値を算出する従来の内視鏡システムにおいては、観察している部位または残液の影響を補正している（特許文献１）。また、残液等がある領域を判別し、検査対象から除外するようにした内視鏡システムも知られている（特許文献２）。

特開２０１１−１９４０２８号公報 特開２０１３−０５１９８７号公報

上記のように、指標値を算出する場合、指標値の算出に不適な領域を指標値を算出する対象から除外しようとすることは従来から試みられているが、指標値が正しく求められない可能性がある部分を内視鏡画像から正確に除くのは未だ容易ではない。例えば、前述のように残液等が付着している領域においては指標値が不正確な値になるので、残液等が付着している部分を指標値を算出する対象から除外することは算出した指標値の信頼性を向上するために有効である。しかし、残液等が付着している領域を除外しさえすれば、その余の領域において正確な指標値を算出可能であるというわけではない。具体的には、指標値の算出精度は、通常、残液等の有無だけでなく、観察対象の光散乱特性または光吸収特性にも依存する。このため、想定していない光散乱特性もしくは光吸収特性を観察対象が実際に有する領域、または、照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域等においては、残液等がなくても正確な指標値を算出できない場合がある。

本発明は、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、従来よりも簡易にかつ正確に特定し得る内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出する指標値算出部と、を備え、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いてベースライン情報を算出する。

ベースライン情報算出部は、内視鏡画像の１または複数の画素からなる部分ごとにベースライン情報を算出し、かつ、領域設定部は、当該部分ごとに指標値を算出するか否かを決定することにより、１または複数の当該部分からなる領域を、指標値を算出する算出領域を設定することが好ましい。

領域設定部は、ベースライン情報を閾値と比較した比較結果に基づいて、指標値を算出する算出領域を設定することが好ましい。

領域設定部は、ベースライン情報を複数算出する場合に、複数のベースライン情報のうちの１つのベースライン情報、または、複数のベースライン情報を用いて算出する統計量を用いて閾値を設定することが好ましい。

領域設定部は、ベースライン情報を用いて、残渣もしくは残液がある領域、暗部領域、ハレーション領域、または、処置具がある領域のうちいずれか１以上を除外することにより、指標値を算出する算出領域を設定することが好ましい。

指標値算出部は、ベースライン情報算出部がベースライン情報の算出に使用する複数の内視鏡画像とは撮像に使用した照明光の種類が異なる１または複数の内視鏡画像を用いて指標値を算出することが好ましい。

内視鏡画像または内視鏡画像を用いて生成した画像、及び、指標値を表示する表示部を備えることが好ましい。

内視鏡画像または内視鏡画像を用いて生成した画像に、指標値を算出する算出領域を表示する表示部を備えることが好ましい。

特定の生体情報は、観察対象が含むヘモグロビンの状態に起因して変化する情報であることが好ましい。

特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度であることが好ましい。

特定の生体情報は、観察対象が含む血管に関する情報であることが好ましい。

特定の生体情報は、血管密度、血管深さ、または、血管太さであることが好ましい。

本発明のプロセッサ装置は、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出する指標値算出部と、を備え、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて前記ベースライン情報を算出する。

本発明の内視鏡システムの作動方法は、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いて内視鏡システムの作動方法であって、画像取得部が、観察対象を撮像した内視鏡画像を取得するステップと、ベースライン情報算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、領域設定部が、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定するステップと、指標値算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出するステップと、を備え、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いてベースライン情報を算出する。

本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法によれば、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、簡易にかつ従来よりも正確に特定することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 ベースライン情報である演算値“Ｚ”を示すグラフである。 内視鏡システムの動作の流れを示すフローチャートである。 表示用の内視鏡画像である。 指標値を算出する算出領域を示す説明図である。 モニタの表示例である。 カプセル内視鏡の概略図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、観察対象を撮像する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８はプロセッサ装置１６によって生成する表示用の内視鏡画像を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡１２は、被検体内に挿入可能な挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。なお、先端部１２ｄには、観察対象に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３が設けられている。ズーム操作部１３を操作することによって、観察対象を拡大または縮小して撮像することができる。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備える。

光源部２０は、例えば、中心波長または波長帯域が異なる（以下、単に「波長が異なる」という）光を発光する複数のＬＥＤ(Light Emitting Diode)を光源として備えており、各ＬＥＤの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部２０は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部２０は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域（波長帯域が１０ｎｍから２０ｎｍ程度の範囲であることをいう）な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部２０は、照明光として、中心波長が約４００ｎｍの狭帯域紫色光、中心波長が約４５０ｎｍの第１狭帯域青色光、中心波長が約４７０ｎｍの第２狭帯域青色光、中心波長が約５４０ｎｍの狭帯域緑色光、及び、中心波長が約６４０ｎｍの狭帯域赤色光を発光できる。この他、光源部２０は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。

なお、光源部２０には、ＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせ、または、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部２０をＬＥＤによって構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部２２は、イメージセンサ４８の撮像のタイミング（いわゆるフレーム）に合わせて光源部２０を制御する。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。なお、ｎｍはナノメートルを表し、μｍはマイクロメートルを表し、ｍｍはミリメートルを表す。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に向けて出射する。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４７は、ズーム操作部１３の操作をすることによって移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。

イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて観察対象を撮影すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサ、または、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。

制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、コンソール１９等を用いて、領域判別をする領域の種類及び数等を設定した場合には、制御部５２は、その設定を光源制御部２２に入力する。

画像取得部５４は、イメージセンサ４８から、観察対象を撮像した画像を取得する。本実施形態においては、イメージセンサ４８はカラーフィルタを有するので、画像取得部５４は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。画像取得部５４がイメージセンサ４８から取得する画像（撮像した画像）、及び、画像取得部５４がイメージセンサ４８から取得した画像を用いて生成する表示用の画像は、いずれも「内視鏡画像」である。以下、明示して区別する場合を除き、単に画像という場合にはイメージセンサ４８から得る観察対象を撮像した内視鏡画像を意味し、かつ、単に内視鏡画像という場合には表示用の内視鏡画像１０１（図６参照）を意味する。

画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。

ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮影して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

画像処理部６１は、画像取得部５４が取得した画像を用いて、モニタ１８に表示する内視鏡画像を生成する。また、画像処理部６１は、生成した内視鏡画像を用いて指標値を算出する。その際、画像処理部６１は、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を特定し、指標値を正確に算出可能な領域において指標値を算出する。

より具体的には、図３に示すように、画像処理部６１は、画像生成部８１と、ベースライン情報算出部８２と、領域設定部８３と、指標値算出部８４と、強調処理部８５と、を備える。

画像生成部８１は、画像取得部５４が取得した１または複数の画像を用いて、表示用の内視鏡画像１０１を生成する。画像生成部８１は、表示用の内視鏡画像１０１を生成する際に、必要に応じて、画像取得部５４が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。

ベースライン情報算出部８２は、観察対象を撮像した内視鏡画像（画像取得部５４が取得した画像）、または、画像生成部８１が生成した表示用の内視鏡画像１０１を用いて、ベースライン情報を算出する。ベースライン情報とは、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である。ここで言う「依存しない」とは、少なくともベースライン情報の変化が、特定の生体情報の高低に対してよりも、光散乱特性もしくは光吸収特性の強弱に対しての方が大きいことを言う。

「特定の生体情報」とは、例えば、観察対象が含むヘモグロビンの状態に起因して変化する情報である。具体的には、酸素飽和度もしくはヘモグロビン濃度、またはこれらの組み合わせ等が特定の生体情報である。また、「特定の生体情報」とは、例えば、観察対象が含む血管に関する情報である。具体的には、血管密度、血管深さ、もしくは血管太さ、またはこれらの２以上の組み合わせ等が特定の生体情報である。

本実施形態においては、ベースライン情報算出部８２は、撮像に使用した照明光の種類が異なる複数の画像（イメージセンサ４８から取得する内視鏡画像）を用いてベースライン情報を算出する。また、本実施形態においては、ベースライン情報算出部８２は、少なくとも酸素飽和度に依存しないベースライン情報を算出する。具体的には、第１狭帯域青色光を用いて観察対象を撮像して得る画像をＢ１画像とし、第２狭帯域青色光を用いて観察対象を撮像して得る画像をＢ２画像とし、狭帯域緑色光を用いて観察対象を撮像して得る画像をＧ２画像とし、かつ、狭帯域赤色光を用いて観察対象を撮像して得る画像をＲ２画像として用いる。そして、ベースライン情報算出部８２は、Ｇ２画像に対するＢ１画像の比（以下、Ｂ１／Ｇ２という）と、Ｇ２画像に対するＢ２画像の比（以下、Ｂ２／Ｇ２という）と、Ｇ２画像に対するＲ２画像の比（以下、Ｒ２／Ｇ２という）を算出する。次いで、式１にしたがって、演算値“Ｚ”を算出する。式１における位相φは観察対象が含むヘモグロビンの酸素飽和度に対して演算値“Ｚ”が不変となるように定める。位相φは予め実験等により求めることができる。
［式１］ Ｚ＝（Ｂ１／Ｇ２）×ｃｏｓφ−（Ｂ２／Ｇ２）×ｓｉｎφ

図４に実線によって示すように、演算値“Ｚ”は、ビリルビン等の黄色色素を含む残液等がなければ、観察対象の酸素飽和度に依らず、比Ｒ２／Ｇ２の値に応じた一定の値になる。一方、破線によって示すように、演算値“Ｚ”は、黄色色素を含む残液等があると、観察対象の酸素飽和度に依らないが、残液等が含む黄色色素の量（濃度）に応じて変動する。

また、残液等がない場合に、演算値“Ｚ”が、比Ｒ２／Ｇ２の値に応じた一定の値になるのは、観察対象が、指標値の算出及び位相φの調整において想定している光散乱特性もしくは光吸収特性を実際に有する場合である。したがって、観察対象が、指標値の算出等において想定しない散乱特性もしくは光吸収特性を実際に有する領域、または、照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域においては、残液等がない場合においても演算値“Ｚ”の値が比Ｒ２／Ｇ２の値に応じた一定の値から変動する。照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域とは、例えば、暗部領域１０２（他の領域と比較して相対的に暗い暗部である領域。図６参照）、ハレーション領域（画素値が飽和し、もしくは画素値が飽和した状態に近く、観察対象が観察し難い、ハレーションした領域。図示しない。）、または、鉗子等の処置具がある領域（図示しない）等である。このように残液等以外に起因して演算値“Ｚ”の値が比Ｒ２／Ｇ２の値に応じた一定の値から変動する場合においても、位相φを適切に調整してあれば、演算値“Ｚ”は酸素飽和度には依存しない。

したがって、演算値“Ｚ”は、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも酸素飽和度に依存しない「ベースライン情報」である。なお、ベースライン情報算出部８２は、ベースライン情報である演算値“Ｚ”を、内視鏡画像の１または複数の画素からなる部分ごとに算出する。本実施形態においては、ベースライン情報算出部８２は、画素ごとにベースライン情報である演算値“Ｚ”を算出する。

なお、本実施形態においては、ベースライン情報が酸素飽和度に依存しないように位相φの値を定めているが、代わりに、ベースライン情報が、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に依存しないように位相φを定めることができる。この場合、ベースライン情報算出部８２は、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に対して依存しないベースライン情報を算出することができる。同様に、酸素飽和度、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度のうち、２以上の「特定の生体情報」に対してベースライン情報が依存しないように位相φを調整しておいた場合には、ベースライン情報算出部８２は、その２以上の「特定の生体情報」に対して依存しないベースライン情報を算出することができる。

領域設定部８３は、ベースライン情報を用いて、内視鏡画像のなかで、観察対象の状態を表す指標値を算出する算出領域１０５（指標値算出領域という場合がある。図７または図８参照。）を設定する。具体的には、領域設定部８３は、観察対象の光散乱特性及び光吸収特性が指標値の算出等において想定内であって、かつ、残液等がない場合に、実際に算出した比Ｒ２／Ｇ２の値において演算値“Ｚ”がとる値Ｚ₀を基準として、実際に算出した比Ｒ２／Ｇ２の値において実際に算出した演算値“Ｚ”の変化量ΔＺ（＝Ｚ−Ｚ₀）を算出する（図４参照）。この変化量ΔＺは、残液等の有無及び量、または、観察対象の光散乱特性及び光吸収特性が指標値の算出等において想定内であるか否かを表す値になる。

その後、領域設定部８３は、例えば、変化量ΔＺを閾値と比較し、その結果、内視鏡画像において変化量ΔＺが閾値以上の領域と変化量ΔＺが閾値未満の領域を特定する。変化量ΔＺが閾値以上の領域は、残液等があるか、または、観察対象の光散乱特性もしくは光吸収特性が指標値の算出において想定の範囲外であるから、指標値が正確に算出できない領域である。変化量ΔＺが閾値未満の領域は、残液等がなく、かつ、観察対象の光散乱特性及び光吸収特性が指標値の算出において想定の範囲内であるから、指標値を正確に算出できる領域である。したがって、領域設定部８３は、内視鏡画像において、変化量ΔＺが閾値以上の領域を除外し、かつ、変化量ΔＺが閾値未満の領域において指標値を算出する算出領域１０５に設定する。すなわち、領域設定部８３は、ベースライン情報である演算値“Ｚ”を用いて、残液等がある領域１０４（図６参照）、暗部領域１０２、ハレーション領域、または、処置具がある領域等の指標値を正確に算出できない可能性がある領域を除外することにより、指標値を算出する算出領域１０５を設定する。

なお、ベースライン情報算出部８２は、ベースライン情報である演算値“Ｚ”を内視鏡画像の１または複数の画素からなる部分ごとに算出するので、領域設定部８３は、ベースライン情報算出部８２がベースライン情報である演算値“Ｚ”を算出した１または複数の画素からなる部分ごとに、上記変化量ΔＺの算出及び変化量Δと閾値の比較を行って、当該部分ごとに指標値を算出するか否かを決定する。その結果、領域設定部８３は、ベースライン情報算出部８２がベースライン情報である演算値“Ｚ”を算出した１または複数の画素で構成する部分からなる領域を、指標値を算出する算出領域１０５を設定する。本実施形態においては、ベースライン情報算出部８２は、画素ごとにベースライン情報である演算値“Ｚ”を算出するので、領域設定部８３も画素ごとに変化量ΔＺの算出及び変化量ΔＺと閾値の比較をし、その結果、画素ごとに、指標値を算出するか否かを設定する。

指標値算出部８４は、内視鏡画像を用いて、領域設定部８３が指標値を算出する算出領域１０５に設定した領域において、指標値を算出する。指標値算出部８４は、例えば、ピットパターン等の観察対象が有する構造の特徴（大きさ、形状、分布、または密度等）に基づいた指標値、または、血管等の組織の特徴に基づいた指標値を算出することができる。

本実施形態においては、指標値算出部８４は、血管に関する指標値（血管指標値）を算出する。具体的には、指標値算出部８４は、血管情報または血管パラメータを指標値（血管指標値）として算出する。血管情報とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、ヘモグロビン濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量等である。血管パラメータは、２以上の血管情報を用いた演算により得られる演算結果である。

なお、指標値算出部８４は、ベースライン情報算出部８２がベースライン情報である演算値“Ｚ”を算出した１または複数の画素からなる部分ごとに、または、領域設定部８３が設定した指標値を算出する算出領域１０５ごとに、指標値を算出する。本実施形態においては、指標値算出部８４は、領域設定部８３が設定した指標値を算出する算出領域１０５ごとに、指標値（血管指標値）を算出する。

強調処理部８５は、画像取得部５４が取得した画像または画像生成部８１が生成した内視鏡画像に、指標値を算出した領域を強調する強調処理を施す。具体的には、強調処理部８５は、指標値を算出した領域の輪郭を表示し、または、指標値を算出した領域内にある観察対象の構造もしくは組織等の一部もしくは全部に対して周波数強調処理、エッジ強調処理、明るさ調整処理、もしくは、色変更処理等をする。これにより、強調処理部８５は、画像取得部５４が取得した画像または画像生成部８１が生成した内視鏡画像において、指標値を算出した領域を強調する。本実施形態においては、強調処理部８５は、画像生成部８１が生成した内視鏡画像において、指標値を算出した領域の輪郭を表示することにより、指標値を算出した領域を強調する。

表示制御部６６は、画像処理部６１から強調処理部８５が強調処理をした内視鏡画像または画像生成部８１が生成した内視鏡画像を取得し、取得した内視鏡画像を表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８は、内視鏡画像を表示する。本実施形態においては、表示制御部６６は、強調処理部８５が強調処理をした内視鏡画像をモニタ１８に出力する。その結果、表示部であるモニタ１８は、内視鏡画像に指標値を算出する算出領域１０５を強調表示する。

また、表示制御部６６は、設定等に応じて、指標値またはその他の付加的情報をモニタ１８に出力する。これにより、モニタ１８は、内視鏡画像とともに、指標値または付加的な情報を表示する。本実施形態においては、表示制御部６６は、少なくとも指標値算出部８４が算出した指標値をモニタ１８に出力する。その結果、表示部であるモニタ１８は、内視鏡画像、及び、指標値算出部８４が算出した指標値を表示する。

次に、内視鏡システム１０の動作の流れを、図５に示すフローチャートに沿って説明する。観察を開始すると、内視鏡システム１０は照明光を適宜切り替えながら観察対象を撮像し、その結果、画像取得部５４はイメージセンサ４８から画像を取得する（Ｓ１１）。

より具体的には、照明光を、第１狭帯域青色光からなる第１照明光と、第２狭帯域青色光、狭帯域緑色光、及び狭帯域赤色光からなる第２照明光と、白色光である第３照明光と、に順次切り替えながら観察対象を撮像する。第１照明光を用いた撮像によってＢ１画像を取得でき、第２照明光を用いた撮像によってＢ２画像、Ｇ２画像、及びＲ２画像を取得できる。また、白色光である第３照明光を用いた撮像によって、ＢＧＲ各色の画像を取得できる。以下、白色光である第３照明光を用いた撮像によって、Ｂ画素から取得する画像をＢ３画像、Ｇ画素から取得する画像をＧ３画像、及び、Ｒ画素から取得する画像をＲ３画像という。

上記のように、撮像の各フレームにおいてＢＧＲ各色の画像を取得すると、画像生成部８１が、Ｂ３画像、Ｇ３画像、及び、Ｒ３画像を用いて、表示用の内視鏡画像１０１を生成する（Ｓ１２）。図６に示すように、表示用の内視鏡画像１０１には、例えば、暗部領域１０２、及び、残液等がある領域１０４がある。

一方、撮像の各フレームにおいてＢＧＲ各色の画像を取得すると、ベースライン情報算出部８２が、Ｂ１画像、Ｂ２画像、及びＧ２画像を用いて、ベースライン情報である演算値“Ｚ”を算出する（Ｓ１３）。そして、領域設定部８３は、ベースライン情報である演算値“Ｚ”の基準値からの変化量ΔＺに基づいて、指標値を算出する算出領域１０５を設定する。例えば、内視鏡画像１０１であれば、図７に示すように、領域設定部８３は、暗部領域１０２及び残液等がある領域１０４を除いた領域を、指標値を算出する算出領域１０５に設定する。

領域設定部８３が指標値を算出する算出領域１０５を設定すると、指標値算出部８４は、この算出領域１０５において、指標値を算出する（Ｓ１５）。例えば、指標値算出部８４は、Ｂ１画像とＢ２画像を用いて血管を抽出し、少なくとも１つ抽出した血管の血管情報を、指標値（血管指標値）として算出する。

内視鏡画像１０１を生成し、かつ、指標値を算出すると、強調処理部８５は、内視鏡画像１０１に強調処理を施す（Ｓ１６）。そして、表示制御部６６は、強調処理後の内視鏡画像１１０と指標値をモニタ１８に出力する。これにより、図８に示すように、モニタ１８は、強調処理後の内視鏡画像１１０を表示して、指標値を算出した算出領域１０５の輪郭１０６を強調表示しつつ、かつ、指標値表示部１１１に、算出領域１０５において算出した指標値を表示する。

上記のように、内視鏡システム１０は、ベースライン情報（演算値“Ｚ”）を用いて指標値を算出する算出領域１０５を設定する。このため、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、従来よりも簡易にかつ正確に特定して、指標値を算出することができる。

例えば、画素の明るさに基づいて暗部領域１０２を判別し、その結果、指標値を算出する算出領域１０５から暗部領域１０２を除外する場合、明るさが正常な残液等がある領域１０４を、指標値を算出する算出領域１０５から除外できない。逆に、画素の色に基づいて残液等がある領域１０４を判別し、その結果、指標値を算出する算出領域１０５から残液等がある領域１０４を除外する場合、色が黄色がかっていない暗部領域１０２は、指標値を算出する算出領域１０５から除外できない。もちろん、暗部領域１０２と残液等がある領域１０４をそれぞれ判別し、これらをそれぞれ除外すればよいが、現実には、この他にも、ハレーションがある領域や、鉗子等の処置具がある領域において指標値を算出する算出領域１０５から除かなければならないことを考慮すれば、可能であるにしても非常に重い処理になる。

これに対し、内視鏡システム１０は、暗部領域１０２、及び、残液等がある領域１０４、並びに、この他、ハレーション領域及び鉗子等の処置具がある領域等、指標値を正確に算出できないおそれのある領域を、ベースライン情報という１つの基準にしたがって画一的に特定し、指標値を算出する算出領域１０５を設定できる。したがって、内視鏡システム１０は、従来の内視鏡システムよりも簡易に指標値を算出する算出領域１０５を設定できる。

また、暗部領域１０２を判別して指標値を算出する算出領域１０５から除外する場合、または、残液等がある領域１０４を判別して指標値を算出する算出領域１０５から除外する場合等においては、通常、観察対象の光散乱特性または光吸収特性は考慮されない。これに対して、内視鏡システム１０は、暗部領域１０２、残液等がある領域１０４、ハレーション領域及び鉗子等の処置具がある領域等とともに、指標値が正確に算出できない可能性がある想定外の光散乱特性または光吸収特性を有する領域も自動的に指標値を算出する算出領域１０５から除外することができる。したがって、内視鏡システム１０は、指標値を算出する算出領域１０５を、従来の内視鏡システムよりも正確に設定することができる。

なお、上記実施形態においては、領域設定部８３は、ベースライン情報である演算値“Ｚ”の基準値からの変化量ΔＺに基づいて、指標値を算出する算出領域１０５を設定しているが、領域設定部８３は、ベースライン情報である演算値“Ｚ”を閾値と比較した比較結果に基づいて、指標値を算出する算出領域１０５を設定することができる。この場合、閾値は、少なくとも比Ｒ２／Ｇ２の値ごとに、かつ、比Ｒ２／Ｇ２の値に対して上限の閾値及び下限の閾値を定める。こうすれば、変化量ΔＺに基づいて指標値を算出する算出領域１０５を設定する上記実施形態と実質的に等しい結果が得られる。

また、上記のように、領域設定部８３が、ベースライン情報である演算値“Ｚ”を閾値と比較した比較結果に基づいて指標値を算出する算出領域１０５を設定する場合、使用する閾値は、撮像した画像または内視鏡画像１０１等の性質（例えば観察対象の写り具合等）に応じて変化しても良い。例えば、ベースライン情報を複数算出する場合に、複数のベースライン情報のうちの選択した１つのベースライン情報、または、複数のベースライン情報を用いて算出する統計量を用いて閾値を設定することができる。より具体的には、上記実施形態と同様に、ベースライン情報算出部８２は画素ごとにベースライン情報である演算値“Ｚ”を算出する場合、領域設定部８３は、これら画素ごとの演算値“Ｚ”の中から選択した１つの値（例えば中央値または最頻値に最も近い演算値“Ｚ”等）を基準として、流動的に閾値を設定することができる。また、領域設定部８３は、ベースライン情報算出部８２が画素ごとに算出した演算値“Ｚ”を用いて、平均値、中央値、分散、または最頻値等（以下、統計量という）を算出し、算出した統計量を用いて流動的に閾値を設定することができる。このように、閾値を設定すると、指標値を算出する算出領域１０５を、より正確に設定できるようになる場合がある。

上記実施形態においては、具体例として、暗部領域１０２と残液等がある領域１０４を除外して指標値を算出する算出領域１０５を設定しているが、領域設定部８３は、ベースライン情報を用いて、残液等がある領域１０４、暗部領域１０２、ハレーション領域、または、処置具がある領域のうち、少なくともいずれか１以上を除外することにより、指標値を算出する算出領域１０５を設定することが好ましい。こうすれば、残液等がある領域１０４、暗部領域１０２、ハレーション領域、または、処置具がある領域のうち、明確に除外する設定としたいずれか１つ以外の領域以外の領域もほぼ自動的に指標値を算出する算出領域１０５から除外できる。

なお、算出する指標値の種類等によっては、ベースライン情報を算出するための内視鏡画像と、指標値を算出するための内視鏡画像が異なる場合がある。このため、上記実施形態においては、指標値算出部８４は、ベースライン情報算出部８２がベースライン情報である演算値“Ｚ”の算出に使用する複数の内視鏡画像（Ｂ１画像、Ｂ２画像、及びＧ２画像）のうち、一部の内視鏡画像（Ｂ１画像及びＢ２画像）を用いて指標値を算出しているが、指標値算出部８４は、ベースライン情報算出部８２がベースライン情報の算出に使用する複数の内視鏡画像とは撮像に使用した照明光の種類が異なる１または複数の内視鏡画像を用いて指標値を算出することができる。

上記実施形態においては、各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（Processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上記実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図９に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、内視鏡画像は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０、７０２ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８、７０４ イメージセンサ
５２、７０３ 制御部
５４、７０６ 画像取得部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６６ 表示制御部
８１ 画像生成部
８２ ベースライン情報算出部
８３ 領域設定部
８４ 指標値算出部
８５ 強調処理部
１０１、１１０ 内視鏡画像
１０２ 暗部領域
１０４ 残液等がある領域
１０５ 指標値を算出する算出領域
１０６ 輪郭
１１１ 指標値表示部
７００ カプセル内視鏡
７０８ 送受信アンテナ
Ｚ 演算値（ベースライン情報）
ΔＺ 変化量
Ｒ２／Ｇ２ Ｇ２画像に対するＲ２画像の比

Claims (14)

1. 光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、
   前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
   前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、
   前記ベースライン情報を用いて、前記観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、
   前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記領域設定部が設定した前記算出領域において前記指標値を算出する指標値算出部と、
   を備え、
   前記ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて前記ベースライン情報を算出する内視鏡システム。
2. 前記ベースライン情報算出部は、前記内視鏡画像の１または複数の画素からなる部分ごとに前記ベースライン情報を算出し、かつ、
   前記領域設定部は、前記部分ごとに前記指標値を算出するか否かを決定することにより、１または複数の前記部分からなる領域を、前記指標値を算出する前記算出領域を設定する請求項１に記載の内視鏡システム。
3. 前記領域設定部は、前記ベースライン情報を閾値と比較した比較結果に基づいて、前記指標値を算出する前記算出領域を設定する請求項１または２に記載の内視鏡システム。
4. 前記領域設定部は、前記ベースライン情報を複数算出する場合に、複数の前記ベースライン情報のうちの１つの前記ベースライン情報、または、複数の前記ベースライン情報を用いて算出する統計量を用いて前記閾値を設定する請求項３に記載の内視鏡システム。
5. 前記領域設定部は、前記ベースライン情報を用いて、残渣もしくは残液がある領域、暗部領域、ハレーション領域、または、処置具がある領域のうちいずれか１以上を除外することにより、前記指標値を算出する前記算出領域を設定する請求項１〜４のいずれか１項に記載の内視鏡システム。
6. 前記指標値算出部は、前記ベースライン情報算出部が前記ベースライン情報の算出に使用する複数の前記内視鏡画像とは撮像に使用した照明光の種類が異なる１または複数の前記内視鏡画像を用いて前記指標値を算出する請求項１〜５のいずれか１項に記載の内視鏡システム。
7. 前記内視鏡画像または前記内視鏡画像を用いて生成した画像、及び、前記指標値を表示する表示部を備える請求項１〜６のいずれか１項に記載の内視鏡システム。
8. 前記内視鏡画像または前記内視鏡画像を用いて生成した画像に、前記指標値を算出する前記算出領域を表示する表示部を備える請求項１〜７のいずれか１項に記載の内視鏡システム。
9. 前記特定の生体情報は、前記観察対象が含むヘモグロビンの状態に起因して変化する情報である請求項１〜８のいずれか１項に記載の内視鏡システム。
10. 前記特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度である請求項９に記載の内視鏡システム。
11. 前記特定の生体情報は、前記観察対象が含む血管に関する情報である請求項１〜８のいずれか１項に記載の内視鏡システム。
12. 前記特定の生体情報は、血管密度、血管深さ、または、血管太さである請求項１１に記載の内視鏡システム。
13. 光源と、光源から出射された光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、
    前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、
    前記ベースライン情報を用いて、前記観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記領域設定部が設定した前記算出領域において前記指標値を算出する指標値算出部と、
    を備え、
    前記ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて前記ベースライン情報を算出するプロセッサ装置。
14. 光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いて内視鏡システムの作動方法であって、
    画像取得部が、前記観察対象を撮像した内視鏡画像を取得するステップと、
    ベースライン情報算出部が、前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、
    領域設定部が、前記ベースライン情報を用いて、前記観察対象の状態を表す指標値を算出する算出領域を設定するステップと、
    指標値算出部が、前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記領域設定部が設定した前記算出領域において前記指標値を算出するステップと、
    を備え、
    前記ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて前記ベースライン情報を算出する内視鏡システムの作動方法。