JP7200393B2 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP7200393B2 JP7200393B2 JP2021548728A JP2021548728A JP7200393B2 JP 7200393 B2 JP7200393 B2 JP 7200393B2 JP 2021548728 A JP2021548728 A JP 2021548728A JP 2021548728 A JP2021548728 A JP 2021548728A JP 7200393 B2 JP7200393 B2 JP 7200393B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- blood vessel
- light
- feature amount
- deep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
Description
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
このような構成によれば、画像の明るさによる評価値の変動を抑えて、安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることができる。
照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記光源装置は、第1の光、及び前記第1の光の波長帯域よりも短波長側に波長帯域を有する第2の光を、少なくとも前記照明光として射出するように構成される。
前記画像処理ユニットは、
血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第1の光の照明によって得られる第1撮像画像から、強調した血管像を含む第1血管検出画像を生成し、さらに、前記第2の光の照明によって得られる第2撮像画像から、強調した血管像を含む第2血管検出画像を生成するように構成された検出部と、
前記第1血管検出画像及び前記第2血管検出画像から、前記第1血管検出画像及び前記第2血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離して取り出すように構成された分離部と、
前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備える。
前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、ことが好ましい。
照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像する電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記光源装置は、第1の光、及び前記第1の光の波長帯域よりも短波長側に波長帯域を有する第2の光を、少なくとも前記照明光として射出するように構成される。
前記画像処理ユニットは、
前記第1の光の照明によって得られる第1撮像画像及び前記第2の光の照明によって得られる第2撮像画像から、前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第1画像部分と、前記深い血管像を一部の像として含む第2画像部分とを分離して取り出すように構成された分離部と、
前記第1画像部分及び前記第2画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備える。
前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第1撮像画像及び前記第2撮像画像に分離するように構成されている、ことが好ましい。
前記第2の光は、前記複数の吸収ピーク波長のうち前記第1吸収ピーク波長よりも短波長側の第2吸収ピーク波長を波長帯域に含む、ことが好ましい。
また、第1の光及び第2の光に関する別の一例では、生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像が第1撮像画像と第2撮像画像から分離できる限りにおいて、第1の光及び第2の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない。
また、第1の光及び第2の光に関する別の一例では、第2の光の波長帯域は、第1の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む。これにより、第1撮像画像と第2撮像画像から浅い血管像と深い血管像を確実に分離することができる。
さらに、内視鏡システムは、第1血管検出画像及び第2血管検出画像から、第1血管検出画像内の血管像及び第2血管検出画像内の血管像を、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像に分離する。
さらに、内視鏡システムは、分離した浅い血管像に関する浅部血管特徴量と、深い血管像に関する深部血管特徴量とを算出し、この浅部血管特徴量と深部血管特徴量をすくなくとも用いて、生体組織の病変の重症度を算出する。
なお、第1撮像画像及び第2撮像画像から強調された血管像を検出した後に、浅い血管像と深い血管像に分離するが、第1撮像画像及び第2撮像画像から、浅い血管像を一部の像として含む画像部分と深い血管像を一部の像として含む画像部分とに分離した後、この分離した画像部分から強調された血管像を検出することにより、浅い血管像と深い血管像を得ることもできる。
あるいは、光源部230は、波長帯域が互いに異なる第1の光及び第2の光を射出する発光ダイオードを備える。第1の光及び第2の光は、発光ダイオードから交互に射出し、あるいは、発光ダイオードから射出した第1の光及び第2の光は、ダイクロイックミラー等の光学素子を用いて1つの照明光として合成されて射出する。射出した第1の光及び第2の光は、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
画像処理ユニット220は、図2に示すように、少なくとも、検出部220a、分離部220b、特徴量算出部220c、及び評価部220dを備える。
検出部220aが行う血管像の検出は、第1の光の照明によって得られる第1撮像画像と第2の光の照明によって得られる第2撮像画像を用いて行われる。このとき、第2の光は、第1の光の波長帯域よりも短波長側に波長帯域を有する。第1の光の波長帯域は、一例として、ヘモグロビンの複数の吸収ピーク波長のうち第1吸収ピーク波長を波長帯域に含み、第2の光の波長帯域は、一例として、第1ピーク波長よりも短波長側の第2吸収ピーク波長を波長帯域に含む。すなわち、第1の光及び第2の光は、狭帯域光である。例えば、ヘモグロビンは、400~450nmに大きな吸収ピークを有し(ポルフィリン環のソーレー吸収帯)、さらに、520~590nmにも吸収ピークを有している(ポルフィリン環のQ帯)。したがって、第1の光の波長帯域は、520~590nmの波長を含み、第2の光の波長帯域は、400~450nmの波長を含む。例えば、第1の光の波長帯域は400~450nmの波長を含まず、第2の光の波長帯域は520~590nmの波長を含まない。波長400~450nmの光は、青色領域の光であり、波長520~590nmの光は、緑色領域の光である。
したがって、図3に示すように、第1の光の照明により得られる第1撮像画像IM1は、生体組織の表面近傍にある血管像IMsと表面近傍に比べてある程度深い部分にある血管像IMdとを含む。第2の光の照明により得られる第2撮像画像IM2は、生体組織の表面近傍にある血管像IMsのみを含む。
このような第1撮像画像IM1及び第2撮像画像IM2から、検出部220aで、第1血管検出画像IM1 *及び第2血管検出画像IM2 *が検出される。
このように、第1の光及び第2の光は種々波長帯域を設定することができる。
検出部220aは、例えば、生体組織の画像の一部の検査対象エリアARの形状と複数のテンプレートTP1~TP4の直線形状それぞれとの相関の程度を表すマッチング度を求める。さらに、検出部220aは、複数のテンプレートTP1~TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度の値を検査対象エリアARにおける血管領域の確からしさとして求める。テンプレートTP1~TP4は、画素で構成され、テンプレートTP1~TP4は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートTP1~TP4は、それぞれの直線形状に合わせて各画素は画素値を有する。図4に示すように、画像の端から矢印に沿って順番に検査対象エリアARをオーバーラップさせながら移動させることにより、検査対象エリアAR内の画像の画素評価値とテンプレートTP1~TP4それぞれの対応する画素の値との相関度が求められる。一実施形態によれば、テンプレートTP1~TP4は、血管を特徴付ける形状として、直線を4つの異なる延在方向に延ばした4つの直線形状を備える。テンプレートTP1~TP4は、図4に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートTP1~TP4の画素の値と、検査対象領域ARの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートTP1~TP4の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアARの対応する画素の画像評価値を乗算して合計した値であってもよい。
フィルタ係数のそれぞれと検査対象エリアARの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアARのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアARに上下方向に線状に延びる血管像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートTP1に近似する像を含んでいるといえる。したがって、テンプレートTP1~TP4のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域の確からしさとして、検査対象領域ARの中心画素に与える。すなわち、血管領域の確からしさの値は、検査対象エリアARの中心画素に与えられる。こうして血管領域の確からしさの値により強調された血管像を含む第1血管検出画像IM1 *及び第2血管検出画像IM2 *を得ることができる。
図6(a)に示す分離では、分離部220bは、生体組織の表面近傍の浅い血管が撮像された第2撮像画像IM2から生成され、血管像が強調された第2血管検出画像IM2 *の画素値が予め定めた閾値TH2以上である場合、この画素に値1を与え、それ以外の画素に値0を与える。これにより、分離部220bは、二値化した画像の値1の画素値の領域を、浅い血管像IMs *の領域として求める。さらに、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第1撮像画像IM1から生成され、血管像が強調された第1血管検出画像IM1 *の画素値が予め定めた閾値TH1以上である場合、この画素に値1を与え、それ以外の画素に値0を与える。これにより、分離部220bは、二値化した画像の値1の画素値の領域、すなわち血管像の領域から、先に求めた浅い血管像IMs *の領域を除去した残りの領域を深い血管像IMd *の領域として求める。
さらに、分離部220bは、第1血管検出画像IM 1 * の各画素値に対して予め設定された閾値TH3(第2閾値)以上であるか否かによって、浅い血管像IMs *の領域及び深い血管像IMd *の領域を含む混合領域を検出し、検出した混合領域から、先に検出した浅い血管像の領域を除去する。これにより、分離部220bは、深い血管像IMd *の領域を検出する。すなわち、分離部220bは、混合領域から、先に検出した浅い血管像の領域を除去した残りの領域を、深い血管像IMd *の領域として検出する。
さらに、分離部220bは、平均画像IMAの各画素値に対して、予め設定された閾値TH5(閾値TH5は、閾値TH6よりも値が低い)以上であるか否かを判定する。分離部220bは、閾値TH5(第2閾値)以上の画素値の領域を、浅い血管像及び深い血管像を一部の像として含む混合画像を検出し、検出した混合画像から先に作成した第1画像部分IMBを除去することにより(具体的には、上記混合画像の画素値から、先に作成した第1画像部分IMBの対応する画素値を差し引くことにより)、深い血管像を一部の像として含む第2画像部分IMCを作成する。
図6(c)に示す例の場合、画像処理ユニット220の分離部220bが、第1撮像画像IM1及び第2撮像画像IM2から、浅い血管像IMs *を一部の像として含む第1画像部分IMBと、深い血管像IMd *を一部の像として含む第2画像部分IMCとに分離する。第1画像部分IMB及び第2画像部分IMCには、浅い血管像及び深い血管像の他に、非血管の部分の像も含んでいるため、血管部分の、非血管部分に対して識別可能な特徴を用いて、非血管の部分の像を除去して血管像を検出する。すなわち、検出部220aは、第1画像部分IMB及び第2画像部分IMCから、血管の特徴を用いて、浅い血管像IMs *と、深い血管像IMd *を検出する。
また、図6(c)に示す分離では、生体組織の表面近傍の浅い血管が撮像された第2撮像画像IM2、及び生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第1撮像画像IM1から、照明光の波長帯域によって撮像される血管像が異なることを利用することにより、最終的に、血管像が強調された浅い血管像IMs *の領域と血管像が強調された深い血管像IMd *の領域に分離することができる。
浅部血管特徴量及び深部血管特徴量が、画素値の合計値あるいは代表値である場合、分離部220bは、浅い血管像IMs *の領域に対応する第2撮像画像IM2の対応領域の画素値を、浅い血管像IMs *の画素値として求める。さらに、深い血管像IMd *の領域に対応する第1撮像画像IM1の対応領域の画素値を、深い血管像IMd *の画素値として求める。徴量算出部220cは、求めた浅い血管像IMs *の画素値および深い血管像IMd *の画素値を用いて、浅部血管特徴量及び深部血管特徴量を算出する。これにより、画素値を考慮した浅部血管特徴量及び深部血管特徴量を用いて、重症度を評価することができる。
また、上述した参照画像の評価が複数段階のレベルの1つに設定されている場合、評価部220dは、参照画像から得られる浅部血管特徴量と深部血管特徴量の値の組をサンプルとしてクラスタ分析して複数のクラスタにわけ、このクラスタ内の複数のサンプルに最も良く一致するレベルを事前に付与しておく。評価部220dは、算出した浅部血管特徴量と深部血管特徴量の値がどのクラスタに属するかを判定して、重症度を複数段階のレベルの1つに評価してもよい。
検出部220aは、第1画像部分及び第2画像部分から、血管の特徴形状を用いたテンプレートマッチングを用いて、浅い血管像IMs *と、深い血管像IMd *を生成する。
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 撮像素子
108a IRカットフィルタ
108b カラーフィルタ
112 ドライバ信号処理回路
114 メモリ
200 電子内視鏡用プロセッサ
202 システムコントローラ
204 メモリ
206 タイミングコントローラ
208 操作パネル
210 NIC
220 画像処理ユニット
220a 検出部
220b 分離部
220c 特徴量算出部
220d 評価部
224 メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ
Claims (11)
- 照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備え、
前記光源装置は、第1の光、及び前記第1の光の波長帯域よりも短波長側に波長帯域を有する第2の光を、少なくとも前記照明光として射出するよう構成され、
前記画像処理ユニットは、
血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第1の光の照明によって得られる第1撮像画像から、強調した血管像を含む第1血管検出画像を生成し、さらに、前記第2の光の照明によって得られる第2撮像画像から、強調した血管像を含む第2血管検出画像を生成するように構成された検出部と、
前記第1血管検出画像及び前記第2血管検出画像から、前記第1血管検出画像及び前記第2血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離するように構成された分離部と、
前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備え、
前記分離部は、前記第1血管検出画像と前記第2血管検出画像の対応する画素の画素値同士の平均値を画素値とする平均検出画像の各画素値に対して、予め設定された第1閾値以上であるか否かによって、前記浅い血管像の領域を検出し、前記第1血管検出画像の各画素値に対して予め設定された第2閾値以上であるか否かによって、前記浅い血管像の領域及び前記深い血管像の領域を含む混合領域を検出し、検出した前記混合領域から、検出した前記浅い血管像の領域を除去することにより、前記深い血管像の領域を検出する、ように構成されていることを特徴とする内視鏡システム。 - 前記分離部は、前記浅い血管像の領域に対応する前記第2撮像画像の対応領域の画素値を、前記浅い血管像の画素値として求め、前記深い血管像の領域に対応する前記第1撮像画像の対応領域の画素値を、前記深い血管像の画素値として求めるように構成され、
前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、請求項1に記載の内視鏡システム。 - 照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備え、
前記光源装置は、第1の光、及び前記第1の光の波長帯域よりも短波長側に波長帯域を有する第2の光を、少なくとも前記照明光として射出するように構成され、
前記画像処理ユニットは、
前記第1の光の照明によって得られる第1撮像画像及び前記第2の光の照明によって得られる第2撮像画像から、前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第1画像部分と、前記深い血管像を一部の像として含む第2画像部分とに分離して取り出すように構成された分離部と、
前記第1画像部分及び前記第2画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備え、
前記分離部は、前記第1撮像画像と前記第2撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第1閾値以上であるか否かによって、前記第1画像部分を作成し、前記第1撮像画像の各画素値に対して予め設定された第2閾値以上であるか否かによって、前記浅い血管像及び前記深い血管像を一部の像として含む混合画像を検出し、検出した前記混合画像から、作成した前記第1画像部分を除去することにより、前記第2画像部分を作成するように構成されていることを特徴とする内視鏡システム。 - 前記検出部は、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより強調した血管像を検出するように構成された、請求項1~3のいずれか1項に記載の内視鏡システム。
- 前記評価部は、前記浅部血管特徴量の値に係数をかけた値と、前記深部血管特徴量の値に係数をかけた値とを加減算することにより、前記重症度を算出するように構成されている、請求項1~4のいずれか1項に記載の内視鏡システム。
- 前記評価部は、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの前記評価の情報と、前記参照画像から前記画像処理ユニットを用いて算出した前記浅部血管特徴量及び前記深部血管特徴量とを機械学習データとして、前記浅部血管特徴量及び前記深部血管特徴量と、前記生体組織の病変の重症度に関する前記評価との対応関係を機械学習した予測モデルを用いて、前記特徴量算出部で算出した、前記生体組織における前記浅部血管特徴量の値と、前記深部血管特徴量の値とから、前記重症度に関して予測評価するように構成されている、請求項1~4のいずれか1項に記載の内視鏡システム。
- 前記光源装置は、前記第1の光及び前記第2の光のそれぞれを光成分として含む1つの光を前記照明光として射出するように構成され、
前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第1撮像画像及び前記第2撮像画像に分離するように構成されている、請求項1~6のいずれか1項に記載の内視鏡システム。 - 前記第1の光は、ヘモグロビンの複数の吸収ピーク波長のうち第1吸収ピーク波長を波長帯域に含み、
前記第2の光は、前記複数の吸収ピーク波長のうち前記第1吸収ピーク波長よりも短波長側の第2吸収ピーク波長を波長帯域に含む、請求項1~7のいずれか1項に記載の内視鏡システム。 - 前記第1の光及び前記第2の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない、請求項1~7のいずれか1項に記載の内視鏡システム。
- 前記第2の光の波長帯域は、前記第1の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む、請求項1~9のいずれか1項に記載の内視鏡システム。
- 前記光源装置は、前記第1の光の波長帯域よりも長波長側に波長帯域を有する第3の光を射出するように構成されている、請求項1~10のいずれか1項に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177859 | 2019-09-27 | ||
JP2019177859 | 2019-09-27 | ||
PCT/JP2020/033030 WO2021059889A1 (ja) | 2019-09-27 | 2020-09-01 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021059889A1 JPWO2021059889A1 (ja) | 2021-12-23 |
JP7200393B2 true JP7200393B2 (ja) | 2023-01-06 |
Family
ID=75166614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021548728A Active JP7200393B2 (ja) | 2019-09-27 | 2020-09-01 | 内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220192470A1 (ja) |
JP (1) | JP7200393B2 (ja) |
CN (1) | CN113556968B (ja) |
DE (1) | DE112020004617T5 (ja) |
WO (1) | WO2021059889A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7019039B2 (ja) * | 2018-06-05 | 2022-02-14 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004181096A (ja) | 2002-12-05 | 2004-07-02 | Olympus Corp | 画像処理方法 |
JP2016077756A (ja) | 2014-10-21 | 2016-05-16 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
WO2017057572A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017057573A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2019159435A1 (ja) | 2018-02-13 | 2019-08-22 | Hoya株式会社 | 内視鏡システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1302152B1 (en) * | 2000-07-21 | 2013-03-20 | Olympus Corporation | Endoscope apparatus |
JP5389612B2 (ja) * | 2009-11-06 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
JP5393554B2 (ja) * | 2010-03-23 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
JP5395725B2 (ja) * | 2010-04-05 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
EP2502547B1 (en) | 2010-06-30 | 2015-03-04 | Olympus Medical Systems Corp. | Image processing apparatus and image processing method |
JP5334952B2 (ja) * | 2010-12-16 | 2013-11-06 | 富士フイルム株式会社 | 画像処理装置 |
JP5496075B2 (ja) * | 2010-12-27 | 2014-05-21 | 富士フイルム株式会社 | 内視鏡診断装置 |
JP5550574B2 (ja) * | 2011-01-27 | 2014-07-16 | 富士フイルム株式会社 | 電子内視鏡システム |
JP5667917B2 (ja) * | 2011-04-01 | 2015-02-12 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
EP2754378B1 (en) * | 2011-09-05 | 2023-03-22 | FUJIFILM Corporation | ENDOSCOPE SYSTEM and PROCESSOR DEVICE THEREOF |
US10052015B2 (en) * | 2014-09-30 | 2018-08-21 | Fujifilm Corporation | Endoscope system, processor device, and method for operating endoscope system |
WO2017057680A1 (ja) | 2015-09-30 | 2017-04-06 | Hoya株式会社 | 内視鏡システム及び評価値計算装置 |
JP6525918B2 (ja) * | 2016-04-20 | 2019-06-05 | 富士フイルム株式会社 | 内視鏡システム、画像処理装置、及び画像処理装置の作動方法 |
JP6533180B2 (ja) * | 2016-04-21 | 2019-06-19 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
-
2020
- 2020-09-01 DE DE112020004617.6T patent/DE112020004617T5/de active Pending
- 2020-09-01 US US17/436,742 patent/US20220192470A1/en active Pending
- 2020-09-01 JP JP2021548728A patent/JP7200393B2/ja active Active
- 2020-09-01 CN CN202080018450.7A patent/CN113556968B/zh active Active
- 2020-09-01 WO PCT/JP2020/033030 patent/WO2021059889A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004181096A (ja) | 2002-12-05 | 2004-07-02 | Olympus Corp | 画像処理方法 |
JP2016077756A (ja) | 2014-10-21 | 2016-05-16 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
WO2017057572A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017057573A1 (ja) | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2019159435A1 (ja) | 2018-02-13 | 2019-08-22 | Hoya株式会社 | 内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
US20220192470A1 (en) | 2022-06-23 |
CN113556968A (zh) | 2021-10-26 |
DE112020004617T5 (de) | 2022-06-09 |
CN113556968B (zh) | 2023-12-22 |
WO2021059889A1 (ja) | 2021-04-01 |
JPWO2021059889A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6204314B2 (ja) | 電子内視鏡システム | |
WO2017154290A1 (ja) | 血管情報取得装置、内視鏡システム及び血管情報取得方法 | |
CN112351724B (zh) | 电子内窥镜*** | |
CN112469323B (zh) | 内窥镜*** | |
WO2020075578A1 (ja) | 医用画像処理装置、内視鏡システム、及び医用画像処理方法 | |
JP2022189900A (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
WO2020066670A1 (ja) | 電子内視鏡システム及びデータ処理装置 | |
CN112469324B (zh) | 内窥镜*** | |
JPWO2019220801A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム | |
JP7200393B2 (ja) | 内視鏡システム | |
JP6912608B2 (ja) | 内視鏡システム | |
JPWO2022018894A5 (ja) | ||
CN113631076B (zh) | 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 | |
JP6184928B2 (ja) | 内視鏡システム、プロセッサ装置 | |
WO2015068494A1 (ja) | 器官画像撮影装置 | |
CN113747825B (zh) | 电子内窥镜*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |