JP6488249B2 - 血管情報取得装置、内視鏡システム及び血管情報取得方法 - Google Patents

血管情報取得装置、内視鏡システム及び血管情報取得方法 Download PDF

Info

Publication number
JP6488249B2
JP6488249B2 JP2016044070A JP2016044070A JP6488249B2 JP 6488249 B2 JP6488249 B2 JP 6488249B2 JP 2016044070 A JP2016044070 A JP 2016044070A JP 2016044070 A JP2016044070 A JP 2016044070A JP 6488249 B2 JP6488249 B2 JP 6488249B2
Authority
JP
Japan
Prior art keywords
blood vessel
image
target layer
layer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016044070A
Other languages
English (en)
Other versions
JP2017158670A (ja
Inventor
拓明 山本
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016044070A priority Critical patent/JP6488249B2/ja
Priority to PCT/JP2016/085745 priority patent/WO2017154290A1/ja
Priority to EP16893614.4A priority patent/EP3427633A4/en
Publication of JP2017158670A publication Critical patent/JP2017158670A/ja
Priority to US16/124,202 priority patent/US11062442B2/en
Application granted granted Critical
Publication of JP6488249B2 publication Critical patent/JP6488249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は血管情報取得装置、内視鏡システム及び血管情報取得方法に係り、特に正確な血管情報を取得する技術に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、内視鏡の挿入部を被検体内に挿入し、その先端部から照明光を照射し、照明光が照射された観察対象(被検体内の粘膜等)を、内視鏡の先端部に搭載した撮像部で撮像する。そして、撮像によって得られた画像信号を用いて観察対象の画像を生成し、モニタに表示する。
内視鏡システムでは、通常は、白色の照明光(通常光とも言う)を照射して観察対象を撮像することにより、観察対象を自然な色合いで観察可能な画像(以下、「通常観察画像」という)を表示する。
また、特定の波長帯域を有する光を照明光として用いることで、観察対象の血管やピットパターン(腺口構造)等を強調した画像(以下、「特殊観察画像」という)を得る内視鏡システムも普及している。血管やピットパターン等に関する情報は重要な診断材料であるため、これらを強調した特殊観察画像は、診断に特に有用である。
従来、血管に関する情報を取得する内視鏡システムとして、特許文献1及び2に記載のものが提案されている。
特許文献1には、波長により光の深達深さが異なることを利用し、波長帯域の異なる複数の光を順次照射することで深度の異なる複数の層を撮像し、撮像により取得した画像から表層血管、中層血管及び深層血管の酸素飽和度画像を生成し、これらの画像を同時に又は別々にモニタに表示する内視鏡システムが記載されている。
また、特許文献2には、通常観察画像に基づいて表層から深さ10分の数mmまでに存在する血管画像を生成し、また、予め体内にインドシアニングリーンを投入し、励起光を被検体に照射して撮像したインドシアニングリーンの蛍光画像に基づいて表層から深さ数mm程度までに存在する血管画像を生成し、両者の共通部分である共通血管画像と、両者の差分である深部血管画像とを生成し、共通血管画像と深部血管画像とを識別可能に表示する内視鏡システムが記載されている。
特開2011−200517号公報 特開2011−087906号公報
ところで、被検体の深度の異なる複数の層のうちの計測対象の層である注目層の血管の指標化に必要な血管情報(血管の長さ、血管の本数、分岐、蛇行度、又は走行パターンなどの血管情報)を取得する際に、注目層から非注目層に伸びる血管が存在している場合、正確な血管情報を取得することができないという問題があった。
この問題について、図7を使用して詳細に説明する。図7は、被検体の深度の異なる4つの層(第1層L〜第4層L)にそれぞれ存在する血管を示す模式図である。いま、被検体内の粘膜を含む第1層Lに隣接する2番目の第2層Lを計測対象の層(以下、「注目層L」という)とした場合、注目層Lから下の第3層L(以下、「非注目層L」という)及び第4層L(以下、「非注目層L」という)に伸びる血管1が太線で表示されている。
注目層Lの血管の血管情報を取得する場合、図7に示したように注目層Lの画像のみから血管を抽出し、抽出した血管の血管情報を取得するため、注目層Lから下の非注目層L,Lへ伸びる血管1が存在する場合、血管1のうちの実線で囲まれた一部の血管しか抽出されず、非注目層L,Lに伸びている点線で囲まれた血管が抽出されないため、血管1に対して真の血管情報を取得することができないという問題があった。
特許文献1に記載の内視鏡システムは、深度の異なる各層の血管の酸素飽和度情報(血管情報)を個別に取得することができ、又は任意の深さの層(注目層)の血管の酸素飽和度情報を取得することができるものの、注目層から非注目層に伸びる血管を、注目層及び非注目層の同じ血管として抽出しておらず、正確な血管情報を取得することができないという問題を有している。
また、特許文献2に記載の内視鏡システムにおいて、ある血管が表層から深部に伸びている場合、その血管については共通血管画像及び深部血管画像として表示されることになるが、深部のみに存在する血管も抽出されて表示されることになり、特許文献2に記載の内視鏡システムは、表層から深部に伸びる血管を抽出していることにならず、共通血管(表層血管)又は深部血管の正確な血管情報を取得することができないという問題を有している。
本発明はこのような事情に鑑みてなされたもので、被検体の深度の異なる複数の層のうちの計測対象の注目層の血管の血管情報を正確に取得することができる血管情報取得装置、内視鏡システム及び血管情報取得方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る血管情報取得装置は、被検体の深度の異なる複数の層の画像をそれぞれ取得する画像取得部と、複数の層のうちの一つの層を注目層として選択する注目層選択部と、選択された注目層の画像を解析し、注目層の画像から第1の血管を抽出する第1の血管抽出部と、選択された注目層から複数の層のうちの注目層以外の層である非注目層に伸びる第2の血管を特定する血管特定部と、特定した第2の血管が存在する非注目層の画像を解析し、非注目層の画像から特定した第2の血管を抽出する第2の血管抽出部と、を備える。
被検体の計測対象の注目層の血管の血管情報を取得する際に、注目層から非注目層に伸びる血管が存在としている場合、正確な血管情報を取得することができないという課題を発見した。
本発明の一の態様によれば、計測対象の注目層の画像を解析し、注目層の画像から血管(第1の血管)を抽出するが、更に注目層から非注目層に伸びる血管(第2の血管)を特定し、第2の血管が特定されると、第2の血管が存在する非注目層の画像を解析し、非注目層の画像から特定した第2の血管を抽出する。このように注目層から非注目層に伸びる血管が存在する場合には、注目層の血管(第1の血管)に加えて、注目層から非注目層に伸びる血管(第2の血管)であって、非注目層における第2の血管も抽出するようにしたため、注目層の血管の血管情報を正確に取得することができる。
本発明の他の態様に係る血管情報取得装置において、第1の血管抽出部及び第2の血管抽出部によりそれぞれ抽出された第1の血管及び第2の血管の血管情報を算出する血管情報算出部を備えることが好ましい。これにより、注目層の血管情報を正確に算出することができる。
本発明の更に他の態様に係る血管情報取得装置において、第1の血管抽出部及び第2の血管抽出部によりそれぞれ抽出された第1の血管及び第2の血管を表示部に表示させる表示制御部を備えることが好ましい。この場合、第1の血管と第2の血管とを結合した1枚の画像にして表示してもよいし、又は注目層の第1の血管及び非注目層の第2の血管を有する立体画像にして表示してもよい。
本発明の更に他の態様に係る血管情報取得装置において、第2の血管抽出部は、第2の血管が非注目層と異なる非注目層にも伸びている場合、異なる非注目層でも第2の血管の抽出を行うことが好ましい。これにより、第2の血管が複数の非注目層にわたって伸びている場合には、第2の血管を順次追跡して抽出することができる。
本発明の更に他の態様に係る血管情報取得装置において、第2の血管抽出部は、判定値に基づいて非注目層に伸びる第2の血管の抽出を停止することが好ましい。
本発明の更に他の態様に係る血管情報取得装置において、判定値は、第2の血管の血管情報に対応して決定される情報であり、第2の血管抽出部は、第2の血管の血管情報が決定された情報を満たすか否かに応じて第2の血管の抽出を継続するか停止するかを判別することが好ましい。判定値は、第2の血管の分岐、太さなどの第2の血管の血管情報に対応する情報であり、第2の血管抽出部は、例えば、第2の血管が分岐した場合には、第2の血管の抽出を停止することができる。
本発明の更に他の態様に係る血管情報取得装置において、判定値は、血管の深さに対応する深度情報であり、第2の血管抽出部は、第2の血管の深さが深度情報が示す深さに達すると、第2の血管の抽出を停止することが好ましい。
本発明の更に他の態様に係る血管情報取得装置において、血管情報算出部は、血管の本数、分岐数、太さ、長さ、間隔、深さ、蛇行度、面積、密度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、走行パターン、及び血流量のうちの少なくとも2以上を含む複数の血管情報を算出することが好ましい。
本発明の更に他の態様に係る内視鏡システムは、上述の血管情報取得装置と、被検体の深度の異なる複数の層の画像の撮像にそれぞれ対応する複数の画像取得条件を有し、複数の画像取得条件のうちのいずれかの画像取得条件を設定する画像取得条件設定部と、画像取得条件設定部により設定された画像取得条件下で被検体を撮像し、複数の層のうちの設定された画像取得条件に対応する深度の層の画像を取得する内視鏡と、を備え、画像取得部は、内視鏡から被検体の深度の異なる複数の層の画像をそれぞれ取得する。画像取得条件は、被検体を照明する光源の波長又は光源の種類などの条件を含み、内視鏡は、設定された画像取得条件下で被検体を撮像することで、画像取得条件に対応する深度の層の画像を取得することができる。
本発明の更に他の態様に係る内視鏡システムにおいて、画像取得条件設定部は、複数の画像取得条件のうちの1の画像取得条件を順次選択し、選択した画像取得条件を設定し、内視鏡は、画像取得条件設定部により画像取得条件が設定される毎に被検体を撮像し、設定された画像取得条件に対応する深度の層の画像を順次取得することが好ましい。これによれば、血管特定部により第2の血管が特定されるか否かにかかわらず、予め被検体の深度の異なる複数の層の画像を取得し、その後、取得した複数の層の画像のうちの選択された層(注目層)の画像を解析して第1の血管を抽出し、注目層から非注目層に伸びる第2の血管が特定されると、非注目層の画像を解析して非注目層における第2の血管を抽出することになる。
本発明の更に他の態様に係る内視鏡システムにおいて、画像取得条件設定部は、注目層選択部により注目層が選択されると、選択された注目層の画像に対応する画像取得条件を設定し、血管特定部により第2の血管が特定されると、注目層に隣接する非注目層の画像に対応する画像取得条件を設定し、内視鏡は、画像取得条件設定部により画像取得条件が設定される毎に被検体を撮像し、設定された画像取得条件に対応する深度の層の画像を取得する。これによれば、選択された注目層の画像を取得し、取得した注目層の画像を解析して第1の血管を抽出し、注目層から非注目層に伸びる第2の血管が特定されると、画像取得条件を切り替えて非注目層の画像を撮像し、撮像した非注目層の画像を解析して非注目層における第2の血管を抽出することになる。
本発明の更に他の態様に係る血管情報取得方法は、被検体の深度の異なる複数の層の画像をそれぞれ取得するステップと、複数の層のうちの一つの層を注目層として選択するステップと、選択された注目層の画像を解析し、注目層の画像から第1の血管を抽出するステップと、選択された注目層から複数の層のうちの注目層以外の層である非注目層に伸びる第2の血管を特定するステップと、特定した第2の血管が存在する非注目層の画像を解析し、非注目層の画像から特定した第2の血管を抽出するステップと、を含む。
本発明の更に他の態様に係る血管情報取得方法において、抽出された第1の血管及び第2の血管の血管情報を算出するステップを更に含むことが好ましい。
本発明の更に他の態様に係る血管情報取得方法において、血管情報を算出するステップは、血管の本数、分岐数、太さ、長さ、間隔、粘膜を基準とした深さ、蛇行度、面積、密度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、走行パターン、及び血流量のうちの少なくとも2以上を含む複数の血管情報を算出することが好ましい。
本発明によれば、被検体の計測対象の注目層から非注目層に伸びる血管が存在する場合には、注目層の血管(第1の血管)に加えて、注目層から非注目層に伸びる血管(第2の血管)であって、非注目層における第2の血管も抽出するようにしたため、注目層の血管の血管情報を正確に取得することができる。
本発明に係る内視鏡システムの斜視図 内視鏡システムの電気的構成を示すブロック図 図2に示した画像処理部65の要部の詳細な構成を示す機能ブロック図 4つの層毎に抽出される血管の一例を示す図 本発明に係る血管情報取得方法の第1の実施形態を示すフローチャート 本発明に係る血管情報取得方法の第2の実施形態を示すフローチャート 被検体の深度の異なる4つの層にそれぞれ存在する血管を示す模式図
以下、添付図面に従って本発明に係る血管情報取得装置、内視鏡システム及び血管情報取得方法の実施形態について説明する。
[内視鏡システムの全体構成]
図1は本発明に係る内視鏡システム10の外観斜視図である。
図1に示すように内視鏡システム10は、大別して、被検体内の観察対象を撮像する電子スコープ(ここでは軟性内視鏡)としての内視鏡11と、光源装置12と、プロセッサ装置13と、液晶モニタ等の表示部14と、を備えている。
光源装置12は、通常観察画像の撮像用の白色光、特殊観察画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡11へ供給する。プロセッサ装置13は、本発明に係る血管情報取得装置の一形態に相当するものであり、内視鏡11により得られた画像信号に基づいて表示用又は記録用の通常観察画像及び/又は特殊観察画像の画像データを生成する機能、及び特殊観察画像(本例では被検体の構造(血管)を示す画像又は血管を見やすくした画像)を解析し、血管の本数、分岐数、太さ等の血管情報を取得する機能を有する。
表示部14は、プロセッサ装置13から入力される画像データに基づき観察対象の通常観察画像又は特殊観察画像を表示する。
内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部に連設され、内視鏡11の把持及び挿入部16の操作に用いられる手元操作部17と、手元操作部17を光源装置12及びプロセッサ装置13に接続するユニバーサルコード18と、を備えている。
挿入部16の先端部である挿入部先端部16aには、照明レンズ42、対物レンズ44、撮像素子45などが内蔵されている(図2参照)。挿入部先端部16aの後端には、湾曲自在な湾曲部16bが連設されている。また、湾曲部16bの後端には、可撓性を有する可撓管部16cが連設されている。
手元操作部17には、アングルノブ21、操作ボタン22、及び鉗子入口23などが設けられている。アングルノブ21は、湾曲部16bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン22は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口23は、挿入部16内の鉗子チャネルに連通している。また、手元操作部17には、図示しない静止画撮像ボタン、通常観察モードと特殊観察モードとを切り替えるモード切替スイッチ等の内視鏡操作部46(図2参照)等が設けられている。
ユニバーサルコード18には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード18の先端部には、光源装置12に接続されるコネクタ部25aと、プロセッサ装置13に接続されるコネクタ部25bとが設けられている。これにより、コネクタ部25aを介して光源装置12から内視鏡11に照明光が供給され、コネクタ部25bを介して内視鏡11により得られた画像信号がプロセッサ装置13に入力される。
尚、光源装置12の前面には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部12aが設けられ、また、プロセッサ装置13の前面には、電源ボタン、被検体の深度の異なる複数の層のうちの一つの層を注目層として選択する注目層選択部等のプロセッサ操作部13aが設けられている。
[内視鏡システムの電気的構成]
図2は内視鏡システム10の電気的構成を示すブロック図である。
図2に示すように光源装置12は、光源制御部31及び光源ユニット32を有している。光源制御部31は、光源ユニット32の制御と、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、各種情報の遣り取りを行う。
光源ユニット32は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット32は、V−LED(Violet Light Emitting Diode)32a、B−LED(Blue Light Emitting Diode)32b、G−LED(Green Light Emitting Diode)32c、及びR−LED(Red Light Emitting Diode)32dの4色のLEDを有する。V−LED32aは、中心波長405nmで、波長帯域380〜420nmの紫色光を発光する紫色光源である。B−LED32bは、中心波長460nm、波長帯域420〜500nmの青色光を発する青色半導体光源である。G−LED32cは、波長帯域が480〜600nmに及ぶ緑色光を発する緑色半導体光源である。R−LED32dは、中心波長620〜630nmで、波長帯域が600〜650nmの赤色光を発光する赤色半導体光源である。尚、V−LED32aとB−LED32bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED32a〜32dの点灯や消灯、点灯時の発光量等は、光源制御部31が各々に独立した制御信号を入力するによって各々に制御することができる。通常観察モードの場合、光源制御部31は、V−LED32a、B−LED32b、G−LED32c、及びR−LED32dを全て点灯させる。このため、通常観察モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。
一方、特殊観察モードの場合、光源制御部31は、V−LED32a、B−LED32b、G−LED32c、及びR−LED32dのうちのいずれか1つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量(光量比)を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。
各LED32a〜32dが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構(図示せず)を介して内視鏡11内に挿通されたライトガイド40に入射される。
内視鏡11は、大別して、ライトガイド40と、照明レンズ42と、対物レンズ44と、撮像素子45と、内視鏡操作部46と、内視鏡制御部47と、ROM(Read Only Memory)48とを有している。
ライトガイド40は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド40は、その入射端がコネクタ部25aを介して光源装置12に挿入されており、その出射端が挿入部16を通って挿入部先端部16a内に設けられた照明レンズ42に対向している。光源装置12からライトガイド40に供給された照明光は、照明レンズ42を通して観察対象に照射される。そして、観察対象で反射及び/又は散乱した照明光は、対物レンズ44に入射する。
対物レンズ44は、入射した照明光の反射光又は散乱光(即ち、観察対象の光学像)を撮像素子45の撮像面に結像させる。
撮像素子45は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子であり、対物レンズ44よりも奥側の位置で対物レンズ44に相対的に位置決め固定されている。撮像素子45の撮像面には、光学像を光電変換する複数の光電変換素子(フォトダイオード)により構成される複数の画素が2次元配列されている。また、本例の撮像素子45の複数の画素の入射面側には、画素毎に赤(R)、緑(G)、青(B)のカラーフィルタが配置され、これによりR画素、G画素、B画素が構成されている。尚、RGBのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。
撮像素子45は、対物レンズ44により結像される光学像を電気的な画像信号に変換してプロセッサ装置13に出力する。
尚、撮像素子45がCMOS型である場合には、A/D(Analog/Digital)変換器が内蔵されており、撮像素子45からプロセッサ装置13に対してデジタルの画像信号が直接出力される。また、撮像素子45がCCD型である場合には、撮像素子45から出力される画像信号は図示しないA/D変換器等でデジタルな画像信号に変換された後、プロセッサ装置13に出力される。
内視鏡操作部46は、静止画撮像ボタン、通常観察モードと特殊観察モードとを切り替えるモード切替スイッチ等を含む操作部である。
内視鏡制御部47は、内視鏡操作部46での操作に応じてROM48等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子45の駆動を制御する。例えば、通常観察モードの場合、内視鏡制御部47は、撮像素子45のR画素、G画素及びB画素の信号を読み出すように撮像素子45を制御し、特殊観察モードであって、照明光としてV−LED32aから紫色光が発光される場合、又はB−LED32bから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子45のB画素の信号のみを読み出すように撮像素子45を制御する。
また、内視鏡制御部47は、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、内視鏡操作部46での操作情報及びROM48に記憶されている内視鏡11の種類を識別するための識別情報等をプロセッサ装置13に送信する。
プロセッサ装置13は、プロセッサ操作部13a、プロセッサ制御部61、ROM62、デジタル信号処理回路(DSP:Digital Signal Processor)63、画像処理部65、表示制御部66、及び記憶部67等を有している。
プロセッサ操作部13aは、電源ボタン、被検体の深度の異なる複数の層のうちの一つの層を注目層として選択する注目層選択部等を含む。
プロセッサ制御部61は、プロセッサ操作部13aでの操作情報、及び内視鏡制御部47を介して受信した内視鏡操作部46での操作情報に応じてROM62から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置13の各部を制御するとともに、光源装置12を制御する。尚、プロセッサ制御部61は、内視鏡制御部47と通信して内視鏡操作部46での操作情報(例えば、モード切替スイッチでの切替操作による通常観察モード又は特殊観察モードを示す情報等)を受信するが、プロセッサ操作部13aにモード切替スイッチを設け、プロセッサ操作部13aのモード切替スイッチの操作を受け付けるようにしてもよいし、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。
内視鏡11(撮像素子45)から出力される画像データを取得する画像取得部の一形態として機能するDSP63は、プロセッサ制御部61の制御の下、内視鏡11から入力された1フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、1フレーム分の画像データを生成する。
画像処理部65は、DSP63から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して3×3のマトリックス処理、階調変換処理、及び3次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。
また、画像処理部65は、DSP63から入力した画像データが記憶された記憶部67から所要の画像データを読み出し、読み出した画像データに対して上記の画像処理を施すこともできる。記憶部67は、内蔵メモリであってもよいし、プロセッサ装置13に着脱自在なメモリカードでもよい。
図3は、図2に示した画像処理部65の要部の詳細な構成を示す機能ブロック図である。
図3に示すように画像処理部65は、主として通常観察画像処理部70、特殊観察画像処理部80、及び血管情報算出部90を備えている。
画像処理部65が生成する内視鏡画像を示す画像データは、観察モードが通常観察モードの場合、通常観察画像を示す画像データであり、観察モードが特殊観察モードの場合、特殊観察画像を示す画像データであるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。
即ち、画像処理部65には、プロセッサ制御部61から観察モードを示す情報が加えられており、観察モードが通常観察モードの場合、画像処理部65の通常観察画像処理部70(通常観察画像生成部71)は、通常観察モードの画像取得条件で撮像された画像データを入力し、入力した画像データに対して観察対象が自然な色合いになるように上記の各種の信号処理を施して通常観察画像を示す画像データを生成する。
一方、観察モードが特殊観察モードの場合、画像処理部65の特殊観察画像処理部80は、特殊観察モードの画像取得条件で撮像された画像データを入力し、入力した画像データに対して、観察対象の構造(血管)を強調する上記の各種の信号処理を施して特殊観察画像を示す画像データを生成する。
また、特殊観察画像処理部80は、画像取得部81、第1の血管抽出部82、第2の血管抽出部83、血管特定部84、及び特殊観察画像生成部85を備えている。特殊観察画像生成部85は、特殊観察画像を示す画像データを生成する部分であり、例えば、被検体の粘膜をピンク系の色にし、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管(いわゆる表層血管)をマゼンタ系の色(例えばブラウン色)にし、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管(いわゆる中深層血管)をシアン系の色(例えば緑色)し、ピンク系の色で表される粘膜に対して、観察対象の血管を色の違いで強調した特殊観察画像を示す画像データを生成する。
<血管情報取得装置>
次に、本発明に係る血管情報取得装置の実施形態について説明する。
光源装置12及びプロセッサ装置13は、本発明に係る血管情報取得装置の一形態に相当するものであり、被検体の深度の異なる複数の層の画像を取得し、複数の層のうちの計測対象の層である注目層に含まれる血管の指標化に必要な血管情報(血管の長さ、血管の本数、分岐、蛇行度、又は走行パターンなどの血管情報)を取得する。以下、注目層の血管の指標化に必要な血管情報(注目層の血管情報)を取得するモードを、特殊観察モードの一態様として「血管情報取得モード」という。
被検体の深度の異なる複数の層は、例えば「表層」、「中層」及び「深層」に分類することができる。例えば「表層」とは粘膜表面からの深さが約0〜50μmの範囲であり、「中層」とは粘膜表面からの深さが約50〜200μmの範囲であり、「深層」とは粘膜表面からの深さが約200〜500μmの範囲である。また、「中深層」とは、中層と深層を合わせた範囲であり、粘膜表面からの深さが約50〜200μmの範囲である。もちろん、これら各層の深さの範囲は一例であり、粘膜表面からの深さを4層以上に分類しても良い。
本実施形態では、図7に示したように粘膜表面からの深さを4つの層(第1層L〜第4層L)に分類し、光源装置12の光源ユニット32から発光される照明光の種類、及び照明光の種類に応じた撮像素子45の駆動制御等の画像取得条件を設定することにより、第1層L〜第4層Lの画像をそれぞれ撮像することができるものとする。尚、深度の異なる第1層L1〜第4層L4は、図7に示すように重複する部分がない場合に限らず、隣接する層同士が一部重複していてもよい。
プロセッサ制御部61は、被検体の深度の異なる複数の層(第1層L〜第4層L)の画像の撮像にそれぞれ対応する複数の画像取得条件を有し、複数の画像取得条件のうちのいずれかの画像取得条件を設定する画像取得条件設定部としての機能を含み、撮像する層に対応する画像取得条件にしたがって光源装置12及び内視鏡11を制御することで複数の層の画像の撮像を行わせる。
また、プロセッサ操作部13aは、第1層L〜第4層Lのうちの一つの層を注目層として選択する注目層選択部を有している。注目層選択部により選択された注目層は、血管情報を計測する計測対象の層である。
血管情報取得装置の第1実施形態では、血管情報取得モードが設定された場合(例えば、観察モードが特殊観察モードであり、かつ注目層選択部により注目層が選択された場合、又はプロセッサ操作部13aにて血管情報取得モードが設定された場合)、プロセッサ制御部61は、第1層L〜第4層Lの画像の撮像に対応する画像取得条件を順次設定し、第1層L〜第4層Lの全ての層の画像の撮像を順次行わせる。
図3において、プロセッサ制御部61又は画像処理部65は、このようにして撮像された第1層L〜第4層Lの全ての層の画像を示す画像データを記憶部67に格納させる。尚、第1層L1〜第4層L4の全ての層の画像を示す画像データは、画像処理部65内の図示しないバッファメモリ等に格納するようにしてもよい。
プロセッサ操作部13aの注目層選択部により注目層が選択されると、プロセッサ制御部61は、選択された注目層を示す情報を画像処理部65に出力し、画像処理部65は、プロセッサ制御部61から注目層を示す情報を入力すると、まず、記憶部67に格納されている第1層L〜第4層Lの画像データのうちの注目層の画像データを記憶部67から読み出す。
第1の血管抽出部82は、読み出した注目層の画像データに基づいて、注目層の画像を解析し、注目層の画像から血管(第1の血管)を抽出する。血管の抽出は、周波数フィルタリング処理により行うことが考えられる。血管は細くなるほど画像中の空間周波数が大きくなる傾向があることから、高周波のフィルタリング処理を施すことによって細い表層血管を抽出することができ、また低〜中周波のフィルタリング処理を施すことによって太い血管を抽出することができる。尚、本例では、血管の太さにかかわらず、注目層に存在する全ての血管を抽出する。また、血管の抽出方法は、フィルタリング処理に限定されない。
図4は、4つの層(第1層L〜第4層L)毎に抽出される血管の一例を示す。
血管特定部84は、第1の血管抽出部82により抽出された第1の血管のうちの、注目層から非注目層(複数の層のうちの注目層以外の層)に伸びる血管(第2の血管)を特定する。
いま、図4に示すように第1層L〜第4層Lのうちの、被検体内の粘膜を含む第1層Lに隣接する2番目の第2層Lを計測対象の層(以下、「注目層L」という)とした場合、血管特定部84は、注目層Lの第1の血管のうちの、画像内で途切れている血管を、注目層Lから非注目層に伸びる第2の血管として抽出する。
図4に示す例では、血管特定部84は、途切れている第2の血管を特定するとともに、途切れている第2の血管の端点E1、E2、及びE3の特徴(画像内の位置、太さ、及び方向)を検出する。途切れた第2の血管の端点の抽出は、細線化処理やエッジフィルタなど公知の技術を使って行うことができる。
血管特定部84により第2の血管が特定された場合、画像取得部81は、注目層に隣接する上下の非注目層(本例では、第1層Lと第3層L)の画像データを、記憶部67から読み出す。
第2の血管抽出部83は、読み出した非注目層(以下、注目層Lの上の第1層Lを「非注目層L」といい、注目層Lの下の第3層Lを「非注目層L」という)の血管のうちの注目層Lから伸びている第2の血管を抽出する。第2の血管抽出部83による第2の血管の抽出は、非注目層L及び非注目層Lの血管のうちの画像内で途切れている血管であって、注目層Lの第2の血管の端点E1,E2、及びE3の画像内の位置、太さ、及び方向と同様の端点の特徴を有するものを抽出する。
図4に示す例では、注目層Lの第2の血管の端点E1の特徴と、非注目層Lの第2の血管の端点E4との特徴が合致するため、第2の血管抽出部83は、非注目層Lから端点E4を有する第2の血管(点線内の太い血管)を抽出する。同様に、注目層Lの第2の血管の端点E3の特徴と、非注目層Lの第2の血管の端点E5との特徴が合致するため、第2の血管抽出部83は、非注目層Lから端点E5を有する第2の血管を抽出する。
一方、注目層Lの第2の血管の端点E2の特徴と合致する端部を有する第2の血管は、非注目層L及び非注目層Lには存在しないため、第2の血管抽出部83は、端点E2を有する第2の血管に対応する非注目層での血管の抽出は行わない。注目層L2の第2の血管の端点E2の特徴と合致する第2の血管が、非注目層L又は非注目層Lおいて検出されない理由としては、血管が細くて検出されない場合や血流量が少ないために検出されない場合などが考えられる。
また、本例では、非注目層Lにおいて検出された、端点E5を有する第2の血管は、非注目層Lの画像内で両端が途切れており、他の端点E6を有している。この場合、第2の血管抽出部83は、非注目層Lに隣接する第4層L(非注目層L)に伸びる第2の血管も非注目層Lから抽出する。即ち、第2の血管抽出部83は、非注目層Lの第2の血管の端点E6と特徴が合致する端点E7を有する第2の血管を、非注目層Lから抽出する。
特殊観察画像生成部85は、第1の血管抽出部82により注目層から抽出された第1の血管と、第2の血管抽出部83により抽出された注目層から非注目層に伸びる非注目層内の第2の血管とに基づいて第1の血管及び第2の血管の全体像を表す1枚の画像(特殊観察画像)を生成する。図4は、第1層L〜第4層Lの4枚の画像から、注目層Lの血管(注目層から非注目層に伸びる非注目層の血管を含む)を示す特殊観察画像が生成される様子を示している。尚、特殊観察画像生成部85は、注目層の第1の血管及び非注目層の第2の血管を有する立体画像を生成するようにしてもよい。
血管情報算出部90は、第1の血管抽出部82により注目層から抽出された第1の血管と、第2の血管抽出部83により抽出された注目層から非注目層に伸びる非注目層内の第2の血管とに基づいて、これらの第1の血管及び第2の血管の血管情報を算出する。
このように被検体の計測対象の注目層から非注目層に伸びる血管が存在する場合には、注目層の第1の血管に加えて、注目層から非注目層に伸びる第2の血管であって、非注目層における第2の血管も抽出し、これらの第1の血管及び第2の血管の血管情報を算出するようにしたため、注目層の血管の血管情報を正確に取得することができる。
ここで、血管情報算出部90により算出される血管情報は、血管の本数、分岐数、太さ、長さ、間隔、深さ、蛇行度、面積、密度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、走行パターン、及び血流量のうちの少なくとも2以上を含む。
血管の本数とは、第1の血管抽出部82及び第2の血管抽出部83により抽出された血管の数であるが、注目層から非注目層に伸びる血管は1本の血管としてカウントする。
血管の太さ(血管径)とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮像距離及び焦点距離等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の長さは、抽出した血管の長手方向に沿って計数した画素数により算出することができる。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。
血管の深さは、例えば、選択された注目層の深さ(注目層を代表する深さ)とすることができる。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の面積は、血管として抽出した画素の画素数、又は血管として抽出した画素の画素数に比例する値である。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域(例えば単位面積の領域)を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または内視鏡画像全体の全画素に対して行うことで、血管の密度を算出することができる。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表すR画素の画素値に対するG画素の画素値の比(G/R)は、ヘモグロビンの量に比例するので、比(G/R)を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量(酸化ヘモグロビン及び還元ヘモグロビンの総量)に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光(例えば、波長470±10nm程度の青色光)で観察対象を撮影した内視鏡画像を用いて算出することができる。波長470±10nm程度の青色光を用いる場合、血管を表す画素のB画素の画素値は酸素飽和度と相関があるので、B画素の画素値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するこができる。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。
図2に戻って、観察モードが通常観察モードに切り替えられている場合には、画像処理部65(通常観察画像生成部71)により生成された通常観察画像を示す画像データが表示制御部66に出力され、観察モードが特殊観察モードに切り替えられている場合には、画像処理部65(特殊観察画像生成部85)により生成された特殊観察画像を示す画像データが表示制御部66に出力される。
表示制御部66は、入力する画像データから通常観察画像又は特殊観察画像を表示部14に表示させるための表示用データを生成し、生成した表示用データを表示部14に出力し、表示部14に表示用画像を表示させる。
また、画像処理部65は、血管情報算出部90により血管情報を算出すると、算出した血管情報を表示制御部66及び/又は記憶部67に出力する。表示制御部66は、画像処理部65から血管情報を入力すると、表示部14に血管情報を表示させる。また、記憶部67は、画像処理部65から血管情報を入力すると、注目層に関する情報に関連付けて血管情報を記録することが好ましい。
上記の実施形態では、プロセッサ制御部61は、第1層L1〜第4層L4の画像の撮像に対応する画像取得条件を順次設定し、第1層L1〜第4層L4の全ての層の画像の撮像を順次行わせ、予め全ての層の画像を記憶部67に記憶させるようにしたが、これに限らず、注目層の画像を撮像により取得し、取得した注目層の画像を解析して注目層に第2の血管が存在すると判定した場合に、改めて注目層に隣接する非注目層の画像を撮像により取得するようにしてもよい。
[血管情報取得方法]
次に、本発明に係る血管情報取得方法について説明する。
<血管情報取得方法の第1の実施形態>
図5は本発明に係る血管情報取得方法の第1の実施形態を示すフローチャートである。
図5に示すように血管情報取得モードの場合、プロセッサ制御部61は、光源装置12及び内視鏡11を制御し、被検体の内視鏡画像として第1層から第n層の画像を順次取得させる(ステップS10)。本例の場合、被検体の深度の異なる複数の層は4層であるため、nは4である。また、各層の画像は、照明光の波長等の画像取得条件をフレームごとに順次切り替えて撮像を行うことにより取得することができる。取得した各画像は、記憶部67又はバッファメモリに一旦保存する。
続いて、プロセッサ制御部61は、第1層から第n層のうちの血管情報を取得したい特定の層(注目層)が選択されたか否かを判別する(ステップS12)。この判別は、プロセッサ操作部13aの注目層選択部での操作に基づいて判別することができる。
注目層が選択されると(「Yes」の場合)、注目層に対応して撮像された画像を記憶部67から読み出し、読み出した注目層の画像を解析して、注目層の画像から血管(第1の血管)を抽出する(ステップS14)。
続いて、抽出した第1の血管のうち、注目層から非注目層に伸びる血管(第2の血管)を特定する(ステップS16)。注目層から非注目層に伸びる第2の血管の特定は、画像内で途切れている血管を検出することにより行うことができる。
次に、注目層から非注目層に伸びる第2の血管が存在するか否かを判別する(ステップS18)。注目層から非注目層に伸びる第2の血管が存在する場合(「Yes」の場合)、注目層に隣接する非注目層の画像を記憶部67から読み出す(ステップS20)。続いて、読み出した非注目層の画像を解析し、非注目層の画像から特定した第2の血管のみを抽出する(ステップS22)。非注目層の画像から特定した第2の血管のみの抽出は、互いに途切れている血管の端点のつながりを評価することにより行うことができる。
続いて、第2の血管が、注目層に隣接する非注目層に対して更に隣接する非注目層にも伸びているか否かを判別し(ステップS24)、伸びている場合(「Yes」の場合)には、ステップS20に遷移し、更に伸びている非注目層の画像を取得し、非注目層から第2の血管を抽出する。
ステップS18において、注目層から非注目層に伸びる第2の血管が存在しないと判別された場合(「No」の場合)、又はステップS24において、非注目層から他の非注目層に伸びる第2の血管が存在しないと判別された場合(「No」の場合)、抽出された血管に基づいて血管情報を算出する(ステップS26)。
また、抽出された第1の血管及び第2の血管を統合した1枚の画像(特殊観察画像)を生成する(ステップS28)。
<血管情報取得方法の第2の実施形態>
図6は本発明に係る血管情報取得方法の第2の実施形態を示すフローチャートである。尚、図5に示した第1の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
第1の実施形態では、被検体の内視鏡画像として第1層から第n層の全ての層の画像を取得し、全ての層の画像を記憶部67に記憶させた後、記憶された各層の画像を解析して注目層及び非注目層の血管の抽出処理等を行うようにしたが、第2の実施形態では、注目層の画像を取得し、その後、必要に応じて非注目層の画像の撮像等を行う点で相違する。
図6に示すように血管情報取得モードの場合、まず、プロセッサ制御部61は、血管情報を取得したい特定の層(注目層)が選択されたか否かを判別する(ステップS12)。
注目層が選択されると、プロセッサ制御部61は、選択された注目層の画像の撮像を行わせ、注目層の画像を取得する(ステップS30)。
取得した注目層の画像から第1の血管の抽出処理(ステップS14)及び注目層から非注目層に伸びる第2の血管の特定処理(ステップS16)を行った後、注目層から非注目層に伸びる第2の血管が存在するか否かを判別する(ステップS18)。
そして、注目層から非注目層に伸びる第2の血管が存在する場合(「Yes」の場合)、プロセッサ制御部61は、注目層に隣接する非注目層の画像の撮像を行わせ、非注目層の画像を取得する(ステップS40)。
次に、ステップS40で取得した非注目層の画像を解析し、非注目層の画像から特定した第2の血管のみを抽出する(ステップS22)。続いて、第2の血管が、注目層に隣接する非注目層に対して更に隣接する非注目層にも伸びているか否かを判別し(ステップS24)、伸びている場合(「Yes」の場合)には、ステップS40に遷移し、伸びている非注目層の画像の撮像を行い、新たな非注目層の画像を取得する。
第1の実施形態は、一旦全ての層の画像を取得するため、注目層の選択を変更する場合、再度画像を撮像する必要がない。一方、第2の実施形態は、注目層から非注目層へ伸びた血管がなかった場合には、余計な非注目層の画像の撮像等を行わないため、処理時間の短縮化が可能である。
[その他]
本実施形態では、注目層から非注目層に伸びる血管(第2血管)が存在する場合、第2の血管が存在する限り、注目層以外の全ての非注目層にわたって第2の血管を追跡して抽出するようにしたが、これに限らず、判定値を設定し、設定した判定値に基づいて非注目層に伸びる第2の血管の抽出(追跡)を停止するようにしてもよい。
ここで、判定値とは、第2の血管の血管情報に対応して決定される情報であり、第2の血管抽出部83は、第2の血管の血管情報が決定された情報を満たすか否かに応じて第2の血管の抽出を継続するか停止する。
判定値は、血管の深さに対応する深度情報であり、深度情報が設定されると、第2の血管抽出部83は、第2の血管の深さが深度情報が示す深さに達すると、第2の血管の抽出を停止する。例えば、注目層に隣接する非注目層に対応する深度情報を設定することにより、非注目層に更に隣接する他の非注目層に対して第2の血管の追跡を行わないようにすることができる。また、予め設定した深さに第2の血管が到達した場合、第2の血管の抽出を停止するようにしてもよい。
更に、第2の血管の太さが変化する場合、第2の血管が分岐する場合、又は抽出する範囲を限定した場合、これらの条件(判定値)にしたがって、非注目層に伸びる第2の血管の抽出を停止することができる。例えば、1本の第2の血管が途中で2本に分岐すると、血管の太さが変わるので、これを画像解析で抽出し、このタイミングで注目層から非注目層へ伸びた第2の血管の抽出を停止してもよい。
また、血管情報取得装置は、プロセッサ装置13に限らず、外部のコンピュータにより構成してもよい。この場合、被検体の深度の異なる複数の層の画像は、プロセッサ装置13の記憶部67から取得してもよいし、プロセッサ装置13とネットワークで接続され、被検体の深度の異なる複数の層の画像が保存されているサーバから取得するようにしてもよい。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 血管
10 内視鏡システム
11 内視鏡
12 光源装置
12a 光源操作部
13 プロセッサ装置
13a プロセッサ操作部
14 表示部
16 挿入部
16a 挿入部先端部
16b 湾曲部
16c 可撓管部
17 手元操作部
18 ユニバーサルコード
21 アングルノブ
22 操作ボタン
23 鉗子入口
25a コネクタ部
25b コネクタ部
31 光源制御部
32 光源ユニット
32a V−LED
32b B−LED
32c G−LED
32d R−LED
40 ライトガイド
42 照明レンズ
44 対物レンズ
45 撮像素子
46 内視鏡操作部
47 内視鏡制御部
48 ROM
61 プロセッサ制御部
62 ROM
65 画像処理部
66 表示制御部
67 記憶部
70 通常観察画像処理部
71 通常観察画像生成部
80 特殊観察画像処理部
81 画像取得部
82 第1の血管抽出部
83 第2の血管抽出部
84 血管特定部
85 特殊観察画像生成部
90 血管情報算出部
E1〜E7 端点
〜L 第1層〜第4層
1、、L 非注目層
注目層
S10〜S40 ステップ

Claims (14)

  1. 被検体の深度の異なる複数の層の画像をそれぞれ取得する画像取得部と、
    前記複数の層のうちの一つの層を注目層として選択する注目層選択部と、
    前記選択された注目層の画像を解析し、前記注目層の画像から第1の血管を抽出する第1の血管抽出部と、
    前記選択された注目層から複数の層のうちの前記注目層以外の層である非注目層に伸びる第2の血管を特定する血管特定部と、
    前記特定した第2の血管が存在する前記非注目層の画像を解析し、前記非注目層の画像から前記特定した第2の血管を抽出する第2の血管抽出部と、
    を備えた血管情報取得装置。
  2. 前記第1の血管抽出部及び前記第2の血管抽出部によりそれぞれ抽出された前記第1の血管及び前記第2の血管の血管情報を算出する血管情報算出部を備えた請求項1に記載の血管情報取得装置。
  3. 前記第1の血管抽出部及び前記第2の血管抽出部によりそれぞれ抽出された前記第1の血管及び前記第2の血管を表示部に表示させる表示制御部を備えた請求項1又は2に記載の血管情報取得装置。
  4. 前記第2の血管抽出部は、前記第2の血管が前記非注目層と異なる非注目層にも伸びている場合、前記異なる非注目層でも前記第2の血管の抽出を行う請求項1から3のいずれか1項に記載の血管情報取得装置。
  5. 前記第2の血管抽出部は、判定値に基づいて前記非注目層に伸びる前記第2の血管の抽出を停止する請求項1から4のいずれか1項に記載の血管情報取得装置。
  6. 前記判定値は、前記第2の血管の血管情報に対応して決定される情報であり、
    前記第2の血管抽出部は、前記第2の血管の血管情報が前記決定された情報を満たすか否かに応じて前記第2の血管の抽出を継続するか停止するかを判別する請求項5に記載の血管情報取得装置。
  7. 前記判定値は、血管の深さに対応する深度情報であり、
    前記第2の血管抽出部は、前記第2の血管の深さが前記深度情報が示す深さに達すると、前記第2の血管の抽出を停止する請求項5に記載の血管情報取得装置。
  8. 前記血管情報算出部は、血管の本数、分岐数、太さ、長さ、間隔、深さ、蛇行度、面積、密度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、走行パターン、及び血流量のうちの少なくとも2以上を含む複数の血管情報を算出する請求項2に記載の血管情報取得装置。
  9. 請求項1から8のいずれか1項に記載の血管情報取得装置と、
    被検体の深度の異なる複数の層の画像の撮像にそれぞれ対応する複数の画像取得条件を有し、前記複数の画像取得条件のうちのいずれかの画像取得条件を設定する画像取得条件設定部と、
    前記画像取得条件設定部により設定された画像取得条件下で前記被検体を撮像し、前記複数の層のうちの前記設定された画像取得条件に対応する深度の層の画像を取得する内視鏡と、を備え、
    前記画像取得部は、前記内視鏡から前記被検体の深度の異なる複数の層の画像をそれぞれ取得する内視鏡システム。
  10. 前記画像取得条件設定部は、前記複数の画像取得条件のうちの1の画像取得条件を順次選択し、前記選択した画像取得条件を設定し、
    前記内視鏡は、前記画像取得条件設定部により画像取得条件が設定される毎に前記被検体を撮像し、前記設定された画像取得条件に対応する深度の層の画像を順次取得する請求項9に記載の内視鏡システム。
  11. 前記画像取得条件設定部は、前記注目層選択部により前記注目層が選択されると、前記選択された注目層の画像に対応する画像取得条件を設定し、前記血管特定部により前記第2の血管が特定されると、前記注目層に隣接する非注目層の画像に対応する画像取得条件を設定し、
    前記内視鏡は、前記画像取得条件設定部により画像取得条件が設定される毎に前記被検体を撮像し、前記設定された画像取得条件に対応する深度の層の画像を取得する請求項9に記載の内視鏡システム。
  12. 被検体の深度の異なる複数の層の画像をそれぞれ取得するステップと、
    前記複数の層のうちの一つの層を注目層として選択するステップと、
    前記選択された注目層の画像を解析し、前記注目層の画像から第1の血管を抽出するステップと、
    前記選択された注目層から複数の層のうちの前記注目層以外の層である非注目層に伸びる第2の血管を特定するステップと、
    前記特定した第2の血管が存在する前記非注目層の画像を解析し、前記非注目層の画像から前記特定した第2の血管を抽出するステップと、
    を含む血管情報取得方法。
  13. 前記抽出された前記第1の血管及び前記第2の血管の血管情報を算出するステップを更に含む請求項12に記載の血管情報取得方法。
  14. 前記血管情報を算出するステップは、血管の本数、分岐数、太さ、長さ、間隔、粘膜を基準とした深さ、蛇行度、面積、密度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、走行パターン、及び血流量のうちの少なくとも2以上を含む複数の血管情報を算出する請求項13に記載の血管情報取得方法。
JP2016044070A 2016-03-08 2016-03-08 血管情報取得装置、内視鏡システム及び血管情報取得方法 Active JP6488249B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016044070A JP6488249B2 (ja) 2016-03-08 2016-03-08 血管情報取得装置、内視鏡システム及び血管情報取得方法
PCT/JP2016/085745 WO2017154290A1 (ja) 2016-03-08 2016-12-01 血管情報取得装置、内視鏡システム及び血管情報取得方法
EP16893614.4A EP3427633A4 (en) 2016-03-08 2016-12-01 BLOOD VESSEL INFORMATION DETECTION DEVICE, ENDOSCOPY SYSTEM AND BLOOD VESSEL INFORMATION DETECTION METHOD
US16/124,202 US11062442B2 (en) 2016-03-08 2018-09-07 Vascular information acquisition device, endoscope system, and vascular information acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016044070A JP6488249B2 (ja) 2016-03-08 2016-03-08 血管情報取得装置、内視鏡システム及び血管情報取得方法

Publications (2)

Publication Number Publication Date
JP2017158670A JP2017158670A (ja) 2017-09-14
JP6488249B2 true JP6488249B2 (ja) 2019-03-20

Family

ID=59790174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016044070A Active JP6488249B2 (ja) 2016-03-08 2016-03-08 血管情報取得装置、内視鏡システム及び血管情報取得方法

Country Status (4)

Country Link
US (1) US11062442B2 (ja)
EP (1) EP3427633A4 (ja)
JP (1) JP6488249B2 (ja)
WO (1) WO2017154290A1 (ja)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
WO2018198251A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11413042B2 (en) 2017-10-30 2022-08-16 Cilag Gmbh International Clip applier comprising a reciprocating clip advancing member
US11819231B2 (en) 2017-10-30 2023-11-21 Cilag Gmbh International Adaptive control programs for a surgical system comprising more than one type of cartridge
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6839773B2 (ja) * 2017-11-09 2021-03-10 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11100631B2 (en) * 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11406382B2 (en) 2018-03-28 2022-08-09 Cilag Gmbh International Staple cartridge comprising a lockout key configured to lift a firing member
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
EP3838109A4 (en) * 2018-08-17 2021-10-06 FUJIFILM Corporation ENDOSCOPIC SYSTEM
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11331101B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Deactivator element for defeating surgical stapling device lockouts
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385176B2 (ja) * 2009-09-28 2014-01-08 富士フイルム株式会社 画像表示装置の作動方法および画像表示装置
JP5405373B2 (ja) 2010-03-26 2014-02-05 富士フイルム株式会社 電子内視鏡システム
JP5395725B2 (ja) 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2012147505A1 (ja) * 2011-04-27 2012-11-01 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP5426620B2 (ja) * 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5815426B2 (ja) * 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US10398302B2 (en) * 2014-05-02 2019-09-03 Carl Zeiss Meditec, Inc. Enhanced vessel characterization in optical coherence tomograogphy angiography
EP3357404A4 (en) * 2015-09-29 2018-10-31 FUJIFILM Corporation Image processing device, endoscopic system, and image processing method

Also Published As

Publication number Publication date
US20190005641A1 (en) 2019-01-03
WO2017154290A1 (ja) 2017-09-14
EP3427633A4 (en) 2019-03-20
US11062442B2 (en) 2021-07-13
JP2017158670A (ja) 2017-09-14
EP3427633A1 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6488249B2 (ja) 血管情報取得装置、内視鏡システム及び血管情報取得方法
JP6577088B2 (ja) 内視鏡システム
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
CN110831487B (zh) 医疗图像处理装置、内窥镜***、诊断支持装置及医疗服务支持装置
JP5914496B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
EP2505140A1 (en) Blood information measuring method and apparatus
US20180218499A1 (en) Image processing apparatus, endoscope system, and image processing method
JP6538634B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6917518B2 (ja) 内視鏡システム
US20180206738A1 (en) Endoscope system and method of operating endoscope system
WO2017057414A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11064864B2 (en) Processor device, endoscope system, and method of operating processor device
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JPWO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6796725B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JP2019030406A (ja) 内視鏡システム
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
JPWO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
JP6214503B2 (ja) 内視鏡用光源装置及び内視鏡システム
CN112584747B (zh) 内窥镜***
WO2015025595A1 (ja) 内視鏡システム及び作動方法
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R150 Certificate of patent or registration of utility model

Ref document number: 6488249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250