JP7455716B2

JP7455716B2 - 内視鏡用プロセッサ及び内視鏡システム

Info

Publication number: JP7455716B2
Application number: JP2020160703A
Authority: JP
Inventors: 貴雄牧野
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2024-03-26
Anticipated expiration: 2040-09-25
Also published as: JP2022053845A

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡用プロセッサ及び内視鏡システムに関する。

生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫部や易出血性部を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。

しかし、術者が内視鏡の画像内に含まれる色の相違によって健常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の進行の程度を客観的に数値化した評価結果を提供することが好ましい。

これに対して、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡システムが知られている（特許文献１）。

国際公開第２０１９／１５９７７０号

上記内視鏡システムは、体腔内の生体組織を撮像して得られる生体組織の画像から、生体組織の病変の進行の程度を数値化した病変の重症度を求める画像処理ユニットを含む。この画像処理ユニットは、特徴量算出部と、代表値算出部と、統合部と、を備える。
特徴量算出部は、複数の外観の特徴のそれぞれを、病変部が示す色成分あるいは形状により生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を画素毎に算出する。
代表算出部は、算出した画素評価値のそれぞれを、複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する。
統合部は、算出した代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度として算出する。
これにより、生体組織の病変部における病変の進行の程度を精度よく評価することができる。

しかし、大腸のような長い管状の臓器に内視鏡を挿入する場合、内視鏡を挿入する入り口側の部分と、奥行方向の奥側の部分とでは、粘膜の色や血管の見た目が異なっており、算出する代表評価値は、同じ健常部であっても異なる。このため、入り口側の部分と、奥行方向の奥側の部分とでは、同じ程度の病変の進行であっても、代表評価値は互いに異なる。このように、代表評価値は、同じ程度の病変の進行であっても、撮像位置に依存して変化する。また、長い臓器の奥行方向の各撮像位置で、代表評価値から計算式を用いて重症度を算出する場合、撮像位置によらず同じ計算式を用いて重症度を計算すると、実際に健常な臓器であっても、上記代表評価値の変化に起因して、撮像位置に依存して重症度の値が大きくなる場合がある。この場合、重症度の値が大きい部分には、病変部が存在するといった誤った判断を行い易い。このように、算出される代表評価値あるいは重症度の値が、撮像位置に依存して変化することにより、実際の病変の進行の程度の評価結果と乖離する、といった問題がある。実際の病変の進行の程度の評価結果とは、例えば医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果である。

そこで、本発明は、病変の進行の程度を評価しようとするとき、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる内視鏡用プロセッサ及び内視鏡システムを提供することを目的とする。

本発明の一態様は、内視鏡用プロセッサである。前記内視鏡用プロセッサは、電子内視鏡で得られた生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットを備える。
前記画像処理ユニットは、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、を備える。

前記統合部は、前記重症度と前記複数の特徴それぞれの前記代表評価値とを関連付けた関係式に従って前記重症度の値を計算し、
前記関係式において、前記代表評価値に係る係数には、前記撮像位置の前記情報に応じた値が設定される、ことが好ましい。

前記内視鏡用プロセッサは、病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記代表評価値に関する２つの基準値を、前記参照画像の前記撮像位置の前記情報に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部をさらに備える。この場合、前記統合部は、前記電子内視鏡で撮像した参照画像の前記撮像位置の前記情報に応じた前記２つの基準値により前記参照画像の前記代表評価値を正規化した正規化評価値と前記重症度とを事前に関連付けた関係式を用いて、前記重症度の値を計算し、前記重症度の値は、前記評価対象画像の前記代表評価値を前記評価対象画像の前記撮像位置の前記情報に応じて定まる前記２つの基準値により正規化した前記正規化評価値を前記関係式に入力することにより計算する、ことが好ましい。

前記内視鏡用プロセッサは、病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記重症度に関する２つの基準値を、前記参照画像の前記撮像位置に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部をさらに備える。この場合、前記統合部は、前記評価対象画像の前記代表評価値と前記重症度とを事前に関連付けた関係式を用いて前記重症度の計算をし、計算結果の値を、前記評価対象画像の前記撮像位置の情報に対応して定まる前記２つの基準値により正規化した正規化値を前記重症度の値として算出する、ことが好ましい。

前記関係式は、事前に用意されている前記病変の進行の程度の評価結果が定まっている参照画像の前記評価結果に、前記複数の特徴それぞれの前記代表評価値から算出される前記重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式である、ことが好ましい。

前記撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの１つの区域の位置情報である、ことが好ましい。

本発明の他の一態様は、体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡に接続される、前記内視鏡用プロセッサと、を備える内視鏡システムである。

上述の内視鏡用プロセッサ及び内視鏡システムによれば、病変の進行の程度を評価しようとするとき、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。

一実施形態の内視鏡用プロセッサで行う重症度の計算処理の一例を説明する図である。一実施形態の内視鏡システムの構成を示すブロック図である。一実施形態の内視鏡用プロセッサ内の重症度の計算を行う画像処理ユニットの構成を説明する図である。一実施形態の内視鏡用プロセッサで用いる色空間内における基準軸の例を説明する図である。一実施形態の内視鏡用プロセッサで用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。一実施形態の内視鏡用プロセッサで行う血管領域の抽出方法の一例を説明する図である。一実施形態の内視鏡用プロセッサで用いるテンプレートを空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの一例を示す図である。（ａ）～（ｂ）は、一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの例を示す図である。

以下、本発明の実施形態の内視鏡用プロセッサ及び内視鏡システムについて図面を参照しながら説明する前に、まず、一実施形態の内視鏡用プロセッサの重症度の計算を説明する。

（重症度の計算）
生体組織における病変部は、病変の進行の程度によって、炎症から潰瘍まで種々存在する。例えば、従来の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、従来の内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、算出した複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度の値とする。上記演算は、事前に重症度と複数の代表評価値との間の関係を表した関係式に従って行われる。しかし、この関係式は、撮像した位置が異なっても同じものを用いる場合、管状の細長い臓器の入り口側の部分と、奥行方向の奥側の部分とでは、同じ程度の病変の進行であっても、算出した代表評価値は互いに異なり、重症度の値が変わるといった不都合が生じる場合がある。

これに対して、本発明の一実施形態の内視鏡用プロセッサでは、複数の代表評価値から病変の重症度の値を算出する際、評価対象画像に対応した撮像位置の情報に応じて調整した重症度の計算処理を設定して、計算を行う。すなわち、重症度の値を、撮像位置の情報に応じて調整する。これにより、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。

ここで、代表評価値が表す外観の特徴は、病変部が示す特定の色成分の程度を含む。例えば、炎症部が呈する赤色の程度である。この場合、この特徴の程度を数値化した画素毎の画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。また、別の外観の特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度である。この場合の特徴の程度を数値化した画素毎の画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。また、別の外観の特徴は、潰瘍部が呈する特定の色成分、たとえば白色の程度である。
外観の特徴は、形状に関するものも含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。

図１は、一実施形態の内視鏡用プロセッサ及び内視鏡システムで行う処理の一例を説明する図である。図１に示す例では、複数の代表評価値として、生体組織の炎症の程度を示す生体組織赤色度の代表値、血管領域における赤色の程度を示す血管赤色度の代表値、及び潰瘍の程度を示す生体組織白色度の代表値が少なくとも含まれる。これらの代表評価値の算出方法については後述する。
まず、事前処理として、電子内視鏡で撮像され、病変の進行の程度（重症度）の評価結果が定まっている参照画像が複数用意され、これらの参照画像それぞれにおいて上記複数の代表評価値が事前に算出される。重症度に関する評価とは、例えば、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果である。これらの３つの代表評価値を含む複数の代表評価値を組み合わせて計算される重症度が、各参照画像において定まっている病変の進行の程度（重症度）の評価結果に最良に相関するように、複数の代表評価値を用いて重症度の計算処理を最適化する。このとき、重症度の計算処理の最適化では、参照画像の撮像位置の情報を用いて撮像位置毎に行われる。
重症度の計算の最適化は、例えば、関係式における各代表評価値に係る係数の値を、撮像位置に応じて設定すること、関係式に入力する代表評価値の情報として、撮像位置に応じた代表評価値に関する２つの基準値により正規化した代表評価値（正規化評価値）を用いて重症度の値を計算すること、あるいは、関係式を用いて計算した重症度の計算結果を、撮像位置に応じて設定された重症度に関する２つの基準値により正規化した値を重症度の値とすること、を含む。こうして得られる関係式を用いた重症度の最適化された計算処理内容が、内視鏡用プロセッサにおける評価対象画像における重症度の計算の前に設定される。

次に、生体組織を、電子内視鏡で撮像することにより画像から得られた、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値を含む複数の代表評価値を算出し、算出した複数の代表評価値を関係式に入力することにより重症度を算出する。この場合、最適化された重症度の計算処理内容にしたがって、例えば、関係式内の各代表評価値に係る係数の値を、撮像位置に応じて設定して、計算式を用いて重症度の値を計算する。あるいは、撮像位置によって変化しない関係式に入力する代表評価値の情報として、撮像位置に応じた代表評価値に関する２つの基準値により正規化した代表評価値（正規化評価値）を用いて、重症度の値を計算する。あるいは、撮像位置によって変化しない関係式を用いて重症度の計算をした後、この計算結果の値を、撮像位置に応じて設定された２つの基準値により正規化して重症度の値とする。

このように、評価対象画像における複数の代表評価値から病変の重症度の値を算出する際、評価対象画像の撮像位置の情報に応じて調整した重症度の計算処理を設定して、計算を行うので、画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。

図２は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、電子内視鏡１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

電子内視鏡用プロセッサ２００は、電子内視鏡１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
なお、図２に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子内視鏡１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
光源部２３０が射出する照明光は、白色光に限らず、所定の狭い波長帯域を波長帯域とする狭帯域光等の特殊光であってもよい。

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子内視鏡１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子内視鏡１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。

電子内視鏡１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子内視鏡１００の固有情報を読み出す。メモリ１１４に記録される電子内視鏡１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子内視鏡１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の病変部の画像から、生体組織の病変の進行の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度の値を求める。また、画像処理ユニット２２０は、重症度の計算を行う際に得られる生体組織赤色度や血管赤色度等に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット２２０は、重症度の値及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度の情報を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。

電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。

図３は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット２２０の構成を説明する図である。

画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像から、生体組織の病変の進行の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、統合部２２０ｄ、及び撮像位置情報処理部２２０ｅを備える。
特徴量算出部２２０ｂは、一実施形態では、複数の代表評価値は、２つの代表評価値であり、１つの代表評価値を算出するための画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、もう１つの代表評価値を算出するための画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。

前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。

被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の進行の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。

一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。

そこで、図４に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図４は、一実施形態で用いる色空間内における基準軸の例を説明する図である。

図４に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図４に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図４に示されるプロットの数よりも遥かに多い。

上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図４に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。

一方、健常部に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図４に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部に近いほど）プロットされる画素対応点が収束する軸である。

補足すると、病変部の病変の進行の程度の最も高い部分は、出血を伴う。一方、病変の進行の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図４に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部を示す軸（粘膜変化軸ＡＸ２）に相当する。

このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図４に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。

前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子内視鏡の個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。

Ｒ_new ：補正後の画素データ（Ｒ成分）
Ｇ_new ：補正後の画素データ（Ｇ成分）
Ｍ₀₀～Ｍ₁₁：補正マトリックス係数
Ｒ：補正前の画素データ（Ｒ成分）
Ｇ：補正前の画素データ（Ｇ成分）

特徴量算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図５は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部２２０ｂは、図５に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（－１５０，－７５）に位置する。基準点Ｏ’を座標（－１５０，－７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。

基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。

また、例えば、基準点Ｏ’を座標（－１０，－１０）から（１０，１０）の間に設定すると、座標（－１５０，－７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。

体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。

ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθ_ＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θ_ＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０～２５５の範囲に収まる生体組織赤色度（第１画素評価値）を求める。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図５に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。

特徴量算出部２２０ｂは、ずれ角度θに基づいて生体組織赤色度を画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部は白色を示し、浮腫や易出血性を含む赤色を示す炎症部や黄色あるいは緑色を示す正常部と色成分によって区別することができる。生体組織白色度は、図５に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、ヘモグロビン変化軸ＡＸ１とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。

特徴量算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０～５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０～２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。

特徴量算出部２２０ｂは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図６（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図６（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部と同じ色で表示される場合がある。図６（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。

図７は、一実施形態における血管領域Ｙを抽出する方法の一例を説明する図である。
特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図７に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１～ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。

テンプレートＴＰ１～ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。

図８は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図８に示すように、図中の上下方向に直線が延びる形状を有する。図７では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として－１／２０が与えられている。フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１～ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Ｙの確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域Ｙの確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。

このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートＴＰ１～ＴＰ４のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートＴＰ１～ＴＰ４のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Ｙを反映した画素値となっている。したがって、特徴量算出部２２０ｂは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Ｙにあると判定することにより、血管領域Ｙを抽出する。
特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０～１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度及び血管赤色度を画素評価値として算出する。

代表値算出部２２０ｃは、特徴量算出部２２０ｂが算出した各画素の生体組織赤色度を統合することにより撮像した生体組織の生体組織赤色度の代表値を算出し、さらに、特徴量算出部２２０ｂが算出した各画素の血管赤色度を統合することにより撮像した血管赤色度の代表値を算出する。
画像における代表評価値である生体組織赤色度の代表値及び血管赤色度の代表値を算出する処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、画素評価値である生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ^－Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。

統合部２２０ｄは、生体組織赤色度の代表値及び血管赤色度の代表値を統合することにより、病変の重症度の値を算出する。その際、統合部２２０ｄは、撮像した画像の撮像位置の情報に応じて調整した重症度の計算処理を設定する。
撮像位置の情報は、撮像位置情報処理部２２０ｅにおいて、撮像した画像と対応付けられる。撮像位置の情報は、例えば、内視鏡システム１に設けられた位置測定システムから撮像位置情報処理部２２０ｅに送られる。

位置測定システムは、例えば、器官内に挿入された電子内視鏡の先端部に位置する固体撮像素子１０８の位置、さらには、後続する可撓管の各位置を、センサを利用して取得するシステム、器官の開口端から挿入された電子スコープ１００の挿入長さを取得するシステム、あるいは、撮像された画像が、モニタ３００に表示され、この画像を見た術者がマニュアルで入力指示することにより、挿入された器官内の特徴となる部分を電子スコープ１００の先端部が通過したことを示す特定部分通過信号を取得するシステムが例示される。

固体撮像素子１０８の位置を、センサを利用して取得するシステムでは、例えば、電子内視鏡１００の先端部の固体撮像素子１０８の近傍の位置及び先端部からプロセッサ２００の側に後続する可撓管に所定の間隔をあけて、磁気センサを複数設け、電子内視鏡１００が器官内に挿入された人体の外部から、位置によって強さが異なる磁界を付与し、上記磁気センサが磁界の強さを計測することにより、先端部に設けられた磁気センサの位置を知ることができ、さらに、複数の磁気センサの位置から可撓管の器官内における湾曲形状を知ることができる。これにより、固体撮像素子１０８の先端部の位置を知ることができ、電子内視鏡１００の器官内における形状、さらには、電子内視鏡１００の器官の開口端からの挿入長さを知ることができる。

器官の開口端から挿入された電子内視鏡１００の挿入長さを取得するシステムの場合、例えば、撮像した動画における隣り合うフレーム画像間で、生体組織がどの程度移動したかに関する移動距離情報を、オプティカルフローの処理を利用して取得し、フレーム画像が変化する度に上記移動距離情報を積算して移動距離を算出することにより、現在の電子内視鏡１００の挿入長さの情報を取得することができる。また、例えば、挿入される電子内視鏡１００の先端部から後続する可撓管が器官内に向かって繰り出されている長さを計測することにより、現在の電子内視鏡１００の挿入長さの情報を取得することができる。

器官の特定部分通過信号を取得するシステムでは、モニタ３００に表示された画像を術者が見ながら、器官内部の識別可能な特定部分が画像に現れ通過した時点で、術者が手元にあるボタンを押すことにより特定部分通過信号を生成し、撮像位置情報処理部２２０ｃはこの特定部分通過信号を取得することができる。器官内部の特定部分の位置とは、例えば、器官が大腸の場合、上行結腸が始まる位置、上行結腸が終了し大腸が曲がって横行結腸が始まる位置、横行結腸が終了し大腸が曲がって下行結腸が始まる位置、下行結腸が終了し大腸が曲がってＳ字結腸が始まる位置、Ｓ字結腸が終了し直腸が始まる位置、及び、直腸が終了し肛門に到達する位置、を含む。

こうして得られ、画像と対応付けられた撮像位置の情報に応じて、統合部２２０ｄは、重症度の計算処理内容を設定する。統合部２２０ｄは、重症度と複数の特徴それぞれの代表評価値とを関連付けた関係式に従って重症度の値を計算する場合、一実施形態によれば、関係式において、代表評価値に係る係数には、撮像位置の情報に応じた値が設定される。このような係数は、図１に示す事前処理により、参照画像における病変の進行の程度（重症度）の評価結果の数値と、複数の重症度の計算結果との間の相関が最も高くなるように、撮像位置毎に関連式の係数の値が算出されてメモリ２０４に保持される。これにより、重症度の値が撮像位置の情報に依存して変化する程度を抑制することができる。
したがって、統合部２２０ｄは、メモリ２０４から撮像位置の情報に応じた係数の値が読みだされ、係数の値を関係式に付与する。

一実施形態によれば、メモリ２０４は、病変の進行の程度が異なる複数の病変部を電子内視鏡で撮像した複数の参照画像（図１参照）に基づいて設定された代表評価値に関する２つの基準値を、参照画像の撮像位置の情報に応じて定まる値として撮像位置毎に保持する。この場合、統合部２２０ｄは、電子内視鏡１００で撮像した参照画像の撮像位置の情報に応じた２つの基準値により参照画像の代表評価値を正規化した正規化評価値と重症度とを事前に関連付けた関係式を用いて、統合部２２０ｄは、電子内視鏡１００で撮像した評価対象画像における重症度の計算をする。

２つの基準値として、例えば、生体組織の健常部が示す代表評価値、及び病変部の病変が最も進行したときの病変部が示す代表評価値が例示される。２つの基準値は、参照画像の代表評価値が撮像位置において取り得る上限値及び下限値であることが好ましい。この基準値は、事前処理の重症度の計算処理の最適化により、関係式とともに撮像位置毎に取得される。したがって、事前処理では、２つの基準値により代表評価値を正規化した正規化評価値と重症度とを関連付けた関係式が抽出される。

電子内視鏡１００により撮像した評価対象画像から重症度の計算を行うとき、統合部２２０ｄは、評価対象画像の撮像位置の情報に応じた２つの基準値をメモリ２０４から読みだして、２つの基準値により代表評価値を正規化した正規化評価値と重症度とを関連付けた上述の関係式に、正規化評価値を入力することにより重症度の値を計算する。これにより、重症度の値が撮像位置に依存して変化することを抑制することができる。なお、重症度の値が撮像位置に依存して変化する程度が依然として大きい場合、関係式に正規化評価値を用いるのに加えて、正規化評価値と重症度とを関連付けた関係式で用いる係数の値も、撮像位置に応じて設定するように構成してもよい。

一実施形態によれば、メモリ２０４は、病変の進行の程度が異なる複数の病変部を電子内視鏡１００で撮像した複数の参照画像（図１参照）に基づいて設定された重症度に関する２つの基準値を、参照画像の撮像位置に応じて定まる値として電子内視鏡１００の撮像位置毎に保持する。統合部２２０ｄは、電子内視鏡１００で撮像した評価対象画像の代表評価値と重症度とを事前に関連付けた関係式を用いて重症度の計算をし、計算結果の値を、評価対象画像の撮像位置の情報に対応して定まる２つの基準値により正規化した正規化値を重症度の値として算出する。

ここで、２つの基準値として、例えば、生体組織の健常部が示す重症度の正規化前の値、及び病変部の病変が最も進行したときの病変部が示す重症度の正規化前の値が例示される。２つの基準値は、参照画像の重症度の値（正規化前の値）が撮像位置において取り得る上限値及び下限値であることが好ましい。この基準値は、事前処理の重症度の計算処理の最適化により、関係式とともに撮像位置毎に取得される。したがって、事前処理では、２つの基準値と、代表評価値と重症度とを関連付けた関係式が抽出される。

したがって、統合部２２０ｄは、重症度と、複数の特徴それぞれの代表評価値とを関連付けた関係式に、評価対象画像の代表評価値を入力して計算し、計算結果の値を、メモリ２０４から撮像位置に応じて読みだした２つの基準値により正規化した正規化値を重症度の値として算出する。これにより、重症度の値が撮像位置に依存して変化する程度を抑制することができる。なお、重症度の値が撮像位置に依存して変化する程度が依然として大きい場合、重症度の値として正規化値を用いるのに加えて、関係式に用いる係数を撮像位置の情報に応じた値に設定してもよく、さらに、代表評価値を正規化した正規化評価値と重症度とを関連付けた関係式を用いた構成にしてもよい。

一実施形態によれば、上述の関係式は、事前に用意されて重症度に関する評価結果が定まっている参照画像の病変の進行の程度の評価結果に、複数の特徴それぞれの代表評価値から算出される重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式であることが好ましい。このような回帰式は、事前処理における重症度の計算処理の最適化において算出される。回帰式を用いることで、重症度の計算結果は、高い相関をもって重症度の評価結果に対応することができる。

また、一実施形態によれば、撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの１つの区域の位置情報である、ことが好ましい。管状の臓器では、臓器の入り口の部分と奥行き側の部分との間で、生体組織の表面の形態が異なっている部分があるため、同じ健常部であっても撮像位置の情報に応じて重症度の値は異なり、値が変化する程度は大きくなる。このため、撮像位置の情報に応じて重症度の計算処理の内容を設定することは、管状の臓器を検査対象とする場合、特に好ましい。臓器が、例えば直腸、S字結腸、下降結腸、横行結腸、及び上行結腸を含む大腸の場合、大腸の直腸～S字結腸までの区間と、S字結腸より奥側で上行結腸までの区間との２区間に分割してもよいし、直腸、S字結腸、下降結腸、横行結腸、及び上行結腸の５区間に分割してもよい。

図９は、一実施形態の内視鏡システムで行われる重症度の計算方法のフローの一例を示す図である。

まず、電子内視鏡１００による評価対象画像を得るために撮像が行われ、このときの撮像位置の情報が評価対象画像と対応付けられて内視鏡用プロセッサ内の位置情報取得部で取得される（ステップＳ１０）。一方、撮像された画像がドライバ信号処理回路１１２により処理された後、システムコントローラ２０２を通して現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１２）。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に算出する（ステップＳ１４）。

特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算するまで処理を繰り返す。この後、代表値算出部２２０ｃは、画素評価値を統合した代表値、すなわち代表評価値を算出する（ステップＳ１６）。代表値は、画素評価値の種類毎に算出される。代表評価値は、上述の例では、生体組織赤色度、血管赤色度、あるいは生体組織白色度等の代表値である。

統合部２２０ｄは、ステップＳ１０で取得した撮像位置の情報に応じた重症度の計算処理の内容を設定し、重症度を計算する（ステップＳ１８）。図１０（ａ）～（ｃ）は、重症度の計算処理内容のフローの例を示す図である。

図１０（ａ）は、計算処理１のフローの例を示す。計算処理１では、統合部２２０ｄは、撮像位置の情報に応じた関係式における各代表評価値に係る係数の値を設定する（ステップＳ３０）。このような係数の値は、図１に示す事前処理により、重症度の値が重症度の評価結果に最も対応するように、関係式の各係数の値が算出されてメモリ２０４に記憶保持されたものである。したがって、撮像位置の情報が取得されると、撮像位置の情報に対応した係数の値がメモリ２０４から読みだされる。
さらに、統合部２２０ｄは、設定された係数の値を、回帰式の係数に与え、この回帰式に代表評価値を入力することにより重症度の値を算出する（ステップＳ３２）。係数の値は、撮像位置の情報に応じたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。

図１０（ｂ）は、計算処理２のフローの例を示す。計算処理２では、統合部２２０ｄは、２つの基準値（第１基準値、第２基準値）を、評価対象画像の撮像位置の情報に応じて定め、この２つの基準値を用いて代表評価値を正規化した正規化評価値を算出する（ステップＳ４０）。例えば、第１基準値がＸ１であり、第２基準値がＸ２（＞Ｘ１）であり、代表評価値がＰである場合、（Ｐ－Ｘ１）／（Ｘ２－Ｘ１）である。Ｐは、Ｘ１とＸ２の間の値である必要はないが、ＰがＸ１とＸ２の間の値である場合、（Ｐ－Ｘ１）／（Ｘ２－Ｘ１）は０～１の値となる。

次に、統合部２２０ｄは、正規化評価値を説明変数として表された回帰式に、正規化評価値を入力して、重症度の値を算出する（ステップＳ４２）。回帰式は、事前処理により、参照画像の正規化評価値を用いて、重症度の計算を最適化した関係式であり、この最適化により、撮像位置の情報毎に２つの基準値（第１基準値、第２基準値）が算出されてメモリ２０４に記憶されている。２つの基準値は、撮像位置の情報に応じたものであり、正規化評価値は、撮像位置によって値が変化しないように正規化されたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。

図１０（ｃ）は、計算処理３のフローの例を示す。計算処理３では、統合部２２０ｄは、重症度に関する２つの基準値（第３基準値、第４基準値）を、評価対象画像の撮像位置の情報に応じて設定する（ステップＳ５０）。

次に、統合部２２０ｄは、ステップＳ１６で算出した代表評価値を回帰式に入力して、重症度を計算する（ステップＳ５２）。
統合部２２０ｄは、重症度の計算結果を２つの基準値により正規化して、重症度の正規化値を、重症度の値として算出する（ステップＳ５４）。例えば、第３基準値がＸ３であり、第４基準値がＸ４であり、重症度の計算結果がＱである場合、（Ｑ－Ｘ３）／（Ｘ４－Ｘ３）である。ＱがＸ３とＸ４の間の値である必要はないが、ＱがＸ３とＸ４の間の値である場合、（Ｑ－Ｘ３）／（Ｘ４－Ｘ３）は０～１の値となる。２つの基準値は、撮像位置の情報に応じたものであり、重症度の正規化値は、撮像位置によって値が変化しないように正規化されたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。

このようにして重症度の値が得られた後、図９のステップＳ２０に戻り、画像処理ユニット２２０は、特徴量算出部２２０ｂにおいて画素評価値から作成された上述のカラーマップ画像とステップＳ１８で得られた重症度の値をモニタ３００の表示画面に表示するように制御する。
こうして、画像処理ユニット２２０は、評価対象画像を得るための撮像を継続して行うか否かを判定し、撮像が継続される場合、ステップＳ１０に戻り、上述の処理が繰り返される。撮像が継続されない場合、上述の処理は終了する。

このように算出した重症度の値をモニタ３００に画面表示するので、ユーザは、モニタ３００を見て病変の進行の程度を知ることができる。

以上、本発明の内視鏡用プロセッサ及び内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１電子内視鏡システム
１００電子内視鏡
２００電子内視鏡用プロセッサ
２２０画像処理ユニット
２２０ａ前処理部
２２０ｂ特徴量算出部
２２０ｃ代表値算出部
２２０ｄ統合部
２０４メモリ
２３０光源部
３００モニタ
４００プリンタ
６００サーバ

Claims

電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットを備え、
前記画像処理ユニットは、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、を備え、
前記統合部は、前記重症度と前記複数の特徴それぞれの前記代表評価値とを関連付けた関係式に従って前記重症度の値を計算し、
前記関係式において、前記代表評価値に係る係数には、前記撮像位置の前記情報に応じた値が設定される、ことを特徴とする内視鏡用プロセッサ。
電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットであって、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、
を備える画像処理ユニットと、
病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記代表評価値に関する２つの基準値を、前記参照画像の前記撮像位置の前記情報に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部と、
を備え、
前記統合部は、前記電子内視鏡で撮像した参照画像の前記撮像位置の前記情報に応じた前記２つの基準値により前記参照画像の前記代表評価値を正規化した正規化評価値と前記重症度とを事前に関連付けた関係式を用いて、前記重症度の値を計算し、前記重症度の値は、前記評価対象画像の前記代表評価値を前記評価対象画像の前記撮像位置の前記情報に応じて定まる前記２つの基準値により正規化した前記正規化評価値を前記関係式に入力することにより計算する、ことを特徴とする内視鏡用プロセッサ。
電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットであって、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、
を備える画像処理ユニットと、
病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記重症度に関する２つの基準値を、前記参照画像の前記撮像位置に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部と、
を備え、
前記統合部は、前記評価対象画像の前記代表評価値と前記重症度とを事前に関連付けた関係式を用いて前記重症度の計算をし、計算結果の値を、前記評価対象画像の前記撮像位置の情報に対応して定まる前記２つの基準値により正規化した正規化値を前記重症度の値として算出する、ことを特徴とする記載の内視鏡用プロセッサ。
前記関係式は、事前に用意されている前記病変の進行の程度の評価結果が定まっている参照画像の前記評価結果に、前記複数の特徴それぞれの前記代表評価値から算出される前記重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式である、請求項１～３のいずれか１項に記載の内視鏡用プロセッサ。
前記撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの1つの区域の位置情報である、請求項１～４のいずれか１項に記載の内視鏡用プロセッサ。
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡に接続される、請求項１～５のいずれか1項に記載の内視鏡用プロセッサと、を備える内視鏡システム。