JPWO2018069992A1 - 挿入システム - Google Patents

挿入システム Download PDF

Info

Publication number
JPWO2018069992A1
JPWO2018069992A1 JP2018544620A JP2018544620A JPWO2018069992A1 JP WO2018069992 A1 JPWO2018069992 A1 JP WO2018069992A1 JP 2018544620 A JP2018544620 A JP 2018544620A JP 2018544620 A JP2018544620 A JP 2018544620A JP WO2018069992 A1 JPWO2018069992 A1 JP WO2018069992A1
Authority
JP
Japan
Prior art keywords
unit
state information
state
information
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018544620A
Other languages
English (en)
Other versions
JP6710284B2 (ja
Inventor
良 東條
良 東條
藤田 浩正
浩正 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018069992A1 publication Critical patent/JPWO2018069992A1/ja
Application granted granted Critical
Publication of JP6710284B2 publication Critical patent/JP6710284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00148Holding or positioning arrangements using anchoring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

被挿入体に挿入する管状の挿入部(20)を有する挿入システム(10)は、挿入部(20)の少なくとも一部の状態である状態情報を検出する挿入部状態検出部(34)と、状態情報の閾値を有し、状態情報と閾値との比較に基づいて、挿入部(20)の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部(36)と、注目状態検出部(36)の検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部(38)と、状態情報処理部(38)が処理した注目状態情報を含む情報を出力する出力部(18)と、を備える。

Description

本発明は、被挿入体に挿入する管状の挿入部を有する挿入システムに関する。
例えば、米国特許出願公開第2003/0055317号明細書(以下、特許文献1と記す。)は、コイルを使った磁気式形状検出によって挿入部の形状を検出し、更に、ループ形状等の挿入部の特定の形状を検出して、その検出した形状に応じて操作者に警告を発生する技術を開示している。
米国特許出願公開第2003/0055317号明細書
上記特許文献1に開示されている技術では、特定の形状が検出されたとき、操作者に警告が行われる。この警告は単に、ループ形状が検出されたことを、表示や音によって操作者へ呈示するだけのものである。操作者は、この警告の呈示に反応して、モニタ画面に表示されている検出された挿入部の形状を確認するだけで、そのループ形状の発生状態を把握することができる。
しかしながら、操作者は挿入部の操作を行うため、また、被挿入体を観察するために、主に内視鏡の画面を注視する必要があり、挿入部の形状を示す画面を注視することが出来ない。そのため、操作者が確認したい注目状態、例えば挿入部の挿入を妨げる状態である、挿入操作に係る注目状態を、内視鏡の画面から短時間目を離すだけで、または目を離さずに認識できるような、わかりやすい注目状態の呈示方法が必要である。さらに、注目状態は1つとは限らず、複数の場合もある。また、1つの注目状態でも、注目の度合いが異なる場合がある。このように、異なる注目状態の呈示方法が必要となる場合もある。
上記特許文献1は、そのような操作者が認識しやすい、注目状態を呈示するための構成については、開示していない。
また、操作者が確認したい注目状態としては、上記のような挿入操作に係る注目状態以外も存在する。例えば、病変部のような通常状態とは異なる状態である、被挿入体に関わる注目状態がある。このような被挿入体に関わる注目状態についても、上記特許文献1のような操作者がモニタ画面に表示された挿入部形状を確認し得る構成だけでは、操作者は把握することができない。
本発明は、上記の点に鑑みてなされたもので、少なくとも挿入操作に係る注目状態を操作者へ呈示可能な挿入システムを提供することを目的とする。
本発明の一態様による挿入システムは、被挿入体に挿入する管状の挿入部を有する挿入システムであって、上記挿入部の少なくとも一部の状態である状態情報を検出する挿入部状態検出部と、上記状態情報の閾値を有し、上記状態情報と上記閾値との比較に基づいて、上記挿入部の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部と、上記注目状態検出部の検出結果に基づいて、上記注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部と、上記状態情報処理部が処理した上記注目状態情報を含む情報を出力する出力部と、を備えている。
本発明によれば、状態情報と閾値との比較に基づいて少なくとも挿入操作に係る注目状態を検出し、その検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行うようにしているので、少なくとも挿入操作に係る注目状態を操作者へ呈示可能な挿入システムを提供することができる。
図1は、本発明の第1実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。 図2は、注目状態の一つである伸展を検出するための複数の閾値の一例を示す図である。 図3は、注目状態の別の一つである座屈を検出するための複数の閾値の一例を示す図である。 図4は、モニタへの表示の一例を示す図である。 図5は、詳細状態情報表示部における注目状態情報の表示例を示す図である。 図6は、詳細状態情報表示部における注目状態情報の別の表示例を示す図である。 図7は、詳細状態情報表示部における注目状態情報の更に別の表示例を示す図である。 図8は、詳細状態情報表示部における注目状態情報の別の表示例を示す図である。 図9は、詳細状態情報表示部における注目状態情報の更に別の表示例を示す図である。 図10は、注目状態告知部の別の表示例を示す図である。 図11は、注目状態告知部の更に別の表示例を示す図である。 図12は、注目状態告知部の別の表示例を示す図である。 図13は、注目状態告知部の更に別の表示例を示す図である。 図14は、撮影画像エリア注目状態情報表示部の一例を示す図である。 図15は、撮影画像エリア注目状態情報表示部の別の例を示す図である。 図16は、管腔方向表示部の一例を示す図である。 図17は、盲腸到達情報表示部の一例を示す図である。 図18は、正常状態表示部の一例を示す図である。 図19は、出力部の様々な例を示す図である。 図20は、出力部の更に別の例を示す図である。 図21は、出力選択のための表示の一例を示す図である。 図22は、本発明の第2実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。 図23は、推奨挿入操作情報表示部の一例を示す図である。 図24は、病変検出結果表示部の一例を示す図である。 図25は、第2実施形態における出力選択のための表示の一例を示す図である。 図26は、本発明の第3実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。
以下、本発明を実施するための実施形態を、図面を参照して説明する。
なお、以下の説明は、医療用の内視鏡、具体的には大腸用軟性内視鏡を例にとるが、本発明は、被挿入体に挿入し、少なくとも一部が可撓性をもつ挿入部を有する挿入システムであれば、汎用的に適用できる。また、被挿入体は人体に限らず、動物や他の構造物でも構わない。例えば、本発明は、医療用内視鏡(上部消化管内視鏡、大腸内視鏡、超音波内視鏡、膀胱鏡、腎盂鏡、気管支鏡、等)以外にも、カテーテルにも、さらには、マニピュレータ、工業用内視鏡、処置具、などにも適用できる。
[第1実施形態]
図1に示すように、本発明の第1実施形態に係る管状挿入システムとしての内視鏡システム10は、内視鏡スコープ12と、内視鏡システム本体14と、磁気式位置検出センサ16と、モニタ18と、を有している。
内視鏡スコープ12は、湾曲部材である細長い挿入部20と、該挿入部20の基端部と連結した操作部22と、該操作部22と内視鏡システム本体14とを接続する接続ケーブル24と、で構成されている。内視鏡スコープ12は、管状の挿入部20を被挿入体、本実施形態では人体、より具体的には大腸管腔内に挿入する管状挿入装置である。
挿入部20は、挿入部20の先端部側から基端部側に向かって、先端硬質部と、湾曲する操作湾曲部と、可撓管部と、を有している。ここで、先端硬質部は、挿入部20の先端部及び内視鏡スコープ12の先端部であり、硬い部材となっている。この先端硬質部に撮像部である撮像素子26(例えば、CCD等)が内蔵されている。操作湾曲部は、医師などの操作者が操作部22に設けられた不図示の操作ノブを操作することで、所望の方向に湾曲させることが可能になっている。可撓管部は、所望な可撓性を有しており、外力によって曲がる。操作者は、被挿入体の入口、本実施形態では肛門、から挿入部20を挿入し、先端に有する撮像素子26により大腸管腔内部を観察する。
また、挿入部20内には、磁気式位置検出センサ16の一部である発信コイル28が配置されている。発信コイル28は、用途によっては一つでも構わないが、通常、挿入部20の形状を検出するために、挿入部20の長手方向に異なる位置に複数配置されている。これら発信コイル28は、内視鏡システム本体14から後述する電流が流されると、磁界信号を発生させる。
これらの発信コイル28で発生された磁界信号は、磁気式位置検出センサ16の一部である受信アンテナ30によって検出される。この受信アンテナ30は、図示しないが複数の受信コイルで構成されており、発信コイル28が発生した磁界信号を検出する。検出した磁界の強度情報は、内視鏡システム本体14に入力される。内視鏡システム本体14で、検出した磁界の強度により各発信コイル28の位置を計算するため、受信アンテナ30は、被挿入体の近傍に位置を固定して、具体的には、部屋やベッドに対して動かないように固定して設置される。
一方、内視鏡システム本体14は、発信信号生成部32と、位置・形状演算部34と、注目状態検出部36と、状態情報処理部38と、を有している。これら発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38は、それぞれ個別のハードウェア回路で構成されても良いし、幾つかが纏めて一つのハードウェア回路として構成されても良い。また、コンピュータプロセッサを、これらの発信信号生成部32、位置・形状演算部34、注目状態検出部36及び/または状態情報処理部38として機能させるためのソフトウェアプログラムを図示しないメモリ内に準備しておき、そのプログラムをプロセッサが実行することで、それら各部の少なくとも一つの機能をプロセッサが実施するように構成しても構わない。
発信信号生成部32は、磁気式位置検出センサ16の一部である。この発信信号生成部32は、内視鏡スコープ12の各発信コイル28から磁界を発生させるための信号、例えば正弦波の電流を生成する。生成した信号は、複数の発信コイル28それぞれに決められた順番、例えば挿入部20の先端側の発信コイル28から順番に出力される。なお、図1では、図面の簡略化のために、配線を1本しか示していないが、発信コイル28一つにつき2本の配線が、この発信信号生成部32から内視鏡スコープ12内を挿通されている。また、発信信号生成部32は、現時点にどの発信コイル28に信号を出力しているかを示す出力タイミング情報を位置・形状演算部34に供給する。
位置・形状演算部34は、挿入部20の少なくとも一部の状態である状態情報を検出する挿入部状態検出部として機能する。この位置・形状演算部34は、磁気式位置検出センサ16に接続されている。すなわち、位置・形状演算部34は、受信アンテナ30と、発信信号生成部32と、に接続されている。また、この位置・形状演算部34は、注目状態検出部36にも接続されている。この位置・形状演算部34は、受信アンテナ30から入力された磁界の強度情報と、発信信号生成部32から供給された出力タイミング情報とに基づいて、各発信コイル28の位置情報を計算する。そして、位置・形状演算部34は、それら求めた複数の発信コイル28の位置情報を、挿入部20の形状情報として取得する。また、位置・形状演算部34は、必要に応じて、それら複数の発信コイル28の位置情報をスプライン処理等により補間し、その結果を形状情報として取得するようにしても良い。このように、位置情報及び/または形状情報は、挿入部20の発信コイル28が配置された部分、つまり挿入部20の少なくとも一部の状態を示すものである。以下、それら位置情報及び/または形状情報を状態情報と称する。位置・形状演算部34は、このようにして求めた状態情報を、注目状態検出部36に出力する。
注目状態検出部36は、挿入部20の状態情報に係る閾値を有し、位置・形状演算部34から入力された挿入部20の状態情報と閾値との比較を行い、その比較結果に基づいて、挿入部20の挿入を妨げるような状態である、注目状態の発生とその発生した位置とを検出する。
注目状態検出部36は、注目状態として、例えば、次のような状態を検出する。
*伸展:挿入部20の先端側の操作湾曲部を湾曲させた状態(撮像素子26は大腸管腔内を撮像している)で、操作者が挿入操作を行っても、腸が伸びてしまい挿入部20の先端が現在位置に対して進まない状態または先端が現在位置に対して戻る状態を検出する。
*撓み(座屈):挿入部20の途中が意図せずに撓んでしまい、挿入部20を挿入する力が撓んだ部分から挿入方向とは異なる方向に逃げていき、先端が進まない状態を検出する。
*ループ:挿入部20がループ形状になった状態を検出する。必要に応じて、ループの種類(αループ、γループ、Nループ)や、挿入部20の重なり状態(上下の位置関係)も検出する。
*押圧力:挿入部20が腸に加えている力を検出する。本実施形態では、既知である挿入部20の剛性と、挿入部20の形状の変化とから、挿入部20に加わる力、すなわち腸に与えている力を検出する。
なお、注目状態検出部36は、同一の注目状態に対する閾値を複数有し、注目状態の注目度を算出しても良い。
図2は、伸展状態を複数の閾値で検出している例である。伸展を検出するためのパラメータの一つである、操作湾曲部を曲げた状態で挿入した距離に対して、第1〜第3の閾値を設ける。なお、この場合の距離は、例えば、湾曲の頂点近傍の発信コイル28の位置情報により判別する。ここでは、第1乃至第3の計三つの閾値を有するものとする。距離が第1の閾値未満ならば、注目状態検出部36は、伸展が発生していないと判定する。距離が第1の閾値を超えたならば、注目状態検出部36は、弱い伸展が発生していると判定する。同様に、距離が第2の閾値を超えたならば中位の伸展、第3の閾値を超えたならば強い伸展が発生していると判定する。また、時間と共に距離が増加していく傾向から、距離が減少する方向に反転したとき、注目状態検出部36は、伸展が解除したと判定する。
また、図3は、座屈検出を複数の閾値で検出している例である。この座屈検出のためには、挿入部20の湾曲量に対して第1乃至第3の計三つの閾値を設けている。なお、この湾曲量は、例えば、隣接する複数の発信コイル28の位置情報つまり形状情報より判別する。注目状態検出部36は、湾曲量が第1の閾値未満ならば座屈が発生していない、湾曲量が第1の閾値を超えたならば弱い座屈、第2の閾値を超えたならば中位の座屈、第3の閾値を超えたならば強い座屈と判断する。注目状態検出部36は、この第3の閾値を超えた後に第3の閾値以下となったならば中位の座屈と判断し、その後第2の閾値以下となったならば弱い座屈と判断する。そして、更に第1の閾値以下となったならば、注目状態検出部36は、座屈が解除したと判定する。
注目状態検出部36は、位置・形状演算部34から入力された状態情報、この検出した注目状態とその位置、及び必要によりその注目度、を状態情報処理部38に出力する。
状態情報処理部38は、注目状態検出部36から入力された状態情報をモニタ18で表示出力するための画像処理を行う。また、注目状態検出部36が検出した注目状態及びその位置(並びに注目度)に基づいて、その注目状態の内容を表す注目状態情報をモニタ18で表示出力するための画像処理を行う。更に、状態情報処理部38は、大腸管腔内を撮像する撮像素子26からの画像信号を受信し、その画像信号に対して一般的な画像処理を行って、内視鏡画像を生成する。そして、状態情報処理部38は、これらの状態情報と注目状態情報と内視鏡画像とを含む表示画像を生成し、モニタ18に出力する。
出力部の一つであるモニタ18は、例えば、表示画面上にタッチパネル等の入力部を配した液晶ディスプレイである。モニタ18は、内視鏡画像を表示すると共に、状態情報及び注目状態情報を表示し、操作者は、このモニタ18の表示画面を見ることで、大腸管腔内を観察すると共に挿入部20の状態を知ることができる。また、モニタ18に当該内視鏡システム10の各種設定画面を表示し、タッチパネル操作により各種設定を行えるようになっている。勿論、モニタ18をタッチパネル付きとする代わりに、別途専用の入力装置を設けても構わない。
なお、特に図示はしていないが、内視鏡システム10は、挿入部20の先端から大腸管腔内に空気や炭酸ガスなどの気体を放出するための送気機構、挿入部20の先端から大腸管腔内の気体を吸引するための吸気機構、挿入部20の先端から大腸管腔内の液体を吸引するための吸水機構、撮像素子26の視野を照明する照明機構、などを有している。また、内視鏡スコープ12には、鉗子などの処置具を操作部22側から挿入部20の先端部へ挿通するための鉗子チャネルなどを有している。
図4は、モニタ18のタッチパネル付き表示画面18Aへの内視鏡画像と状態情報及び注目状態情報の表示の一例を示す図である。
なお、ここでは、出力部としての一つのモニタ18に、内視鏡画像と状態情報及び注目状態情報との両方を表示する構成を説明するが、状態情報及び注目状態情報を表示出力する出力部としてのモニタ18と内視鏡画像を表示する表示部としての表示装置とを別体に構成しても良いことは勿論である。この場合、状態情報処理部38とは別に、撮像素子26からの画像信号に対して一般的な画像処理を行って、内視鏡画像を生成する専用の画像処理部を設けても良い。
タッチパネル付き表示画面18Aには、内視鏡画像40と、詳細状態情報表示部42と、注目状態告知部44と、状態情報説明部46と、が表示される。ここで、内視鏡画像40と詳細状態情報表示部42とは、ウィンドウとして並べて表示され、それの間に、注目状態告知部44が表示される。状態情報説明部46は、詳細状態情報表示部42の左上に表示される。状態情報処理部38は、このような表示を行うための画像処理を実施して表示画像を生成し、それをモニタ18に供給することで、モニタ18が、その表示画像を表示する。以下、この表示画像の詳細を説明する。
詳細状態情報表示部42は、注目状態が発生した位置に関連付けて注目状態情報48を表示する部分である。具体的には、この詳細状態情報表示部42には、磁気式位置検出センサ16を用いて位置・形状演算部34が検出した挿入部20の形状である状態情報50に関連付けて注目状態情報48を表示する。この関連付けについては、図5乃至図9を用いて後述する。また、詳細状態情報表示部42には、被挿入体である人体の形状52と、その人体の形状52に対する人体の医学的部位54、例えばみぞおちや横隔膜、を描画することで、状態情報50の人体に対する位置関係が判別可能とされる。
次に、この詳細状態情報表示部42における注目状態情報48の表示方法について説明する。
図5は、状態情報50である挿入部20の形状において注目状態が発生している範囲の色を変更することで、注目状態情報48を表示する例である。例えば、撓みが発生した箇所の色を変え、さらに、注目状態検出部36が複数の閾値と比較して算出する撓みの注目度、すなわち撓みが発生している挿入部20の湾曲量に応じて、色を黄色→オレンジ→赤と変化させる。
これにより、操作者は、挿入部20における撓みが生じた場所と撓み量とを知ることができる。なお、色ではなく、注目状態が発生している範囲以外の部分に対して、注目状態が発生している範囲の、濃度、透明度、あるいは明るさを変えるようにしても良いことは勿論である。
図6は、状態情報50である挿入部20の形状において注目状態が発生している箇所を指して、その注目状態がどのようなものであるかを説明する文字(この例では「撓み発生」)として、注目状態情報48を表示する例である。
図7は、状態情報50である挿入部20の形状において、矢印として、注目状態情報48を表示する例である。例えば、位置・形状演算部34による押圧力の検出結果に基づいて、挿入部20が腸に与えている力の大きさを矢印の大きさや長さで表示する。また、力のかかる向きを矢印の向きで表示する。この場合、力の大きさに応じて色を変化させても良い。腸にかかる力を矢印で表示することで、操作者は、腸に与えている力の大きさを視覚的にわかり易く知ることができ、挿入を継続するか他の操作を行うかの判断をし易くなる。腸に無理な力を加えなくなるので、安全性が向上する。また、被挿入体である人が痛みを感じることもないので、快適性が向上する。なお、矢印に限らず、注目状態を表現できれば、その他の図形であっても良いことは勿論である。
図8は、状態情報50である挿入部20の形状において注目状態が発生している箇所を点滅させることで、注目状態情報48を表示する例である。この場合、更に、注目度に応じて点滅の速さを変えても良い。
なお、注目状態情報48の表示においては、このような色、濃度、透明度、明るさ、文字、図形、点滅の二つ以上を組み合わせても良いことは勿論である。
また、図9に示すように、注目状態が発生した場合に、状態情報50である挿入部20形状の軌跡を表示させることで、注目状態情報48を表示するようにしても良い。例えば、伸展が発生した場合に、軌跡を表示させる。この挿入部20の形状の軌跡は、伸展の注目度、すなわち伸展が発生した状態で挿入部20が挿入された挿入量に応じて色を変化させても良い。過去と現在の挿入部20の形状及び位置を比較できるので、挿入部20の状態の変化がわかり易く、伸展が発生していることを知ることができる。
このような注目状態情報48の表示は、注目状態が終了したならば、例えば挿入部20が抜去されて伸展の状態が解除されたならば、消去される。勿論、この表示消去のタイミングは、それに限らず、必要に応じて変えて構わない。例えば、伸展で抜去操作が行われた後も一定時間や一定挿抜長さまで表示し続けても構わない。
状態情報説明部46は、詳細状態情報表示部42に表示されている注目状態情報48の説明を表示する部分である。図4の例は、撓みの「黄色⇔オレンジ⇔赤」の色変化について、黄色は撓み量が小さく(撓み度が低い)、赤は大きい(撓み度が高い)、という説明を示している。なお、この状態情報説明部46は、必ずしも必要なものではなく、図6に示すように文字によって表示している場合など、省略することが可能である。
注目状態告知部44は、注目状態が発生したとき、すなわち、挿入部20の状態を操作者に知らせるべき状態になると、内視鏡画像40を見ている操作者に対して、詳細状態情報表示部42を見るように促すための表示を行う部分である。注目状態告知部44は、内視鏡画像40の周辺近傍に配置される。ここで、内視鏡画像40の周辺近傍とは、操作者が内視鏡画像40に注視している場合に、操作者の視界に入る範囲のことを指す。図4の例では、注目状態告知部44は、内視鏡画像40と詳細状態情報表示部42との間に、詳細状態情報表示部42を指す矢印の形態で表示されている。
通常、操作者は主に内視鏡画像40を見ながら挿入部20の挿入操作を行うため、例えば挿入操作中に詳細状態情報表示部42を見ることは少ない。そのため、詳細状態情報表示部42のみを表示させて、注目状態の発生により注目状態情報48を表示したとしても、操作者はそれに気が付かないことが懸念される。そこで、注目状態が発生した場合に、操作者の視界に入る注目状態告知部44が注目状態の発生を操作者に知らせることで、操作者は注目状態が発生したことを認識することができ、必要に応じて詳細状態情報表示部42を見て確認することができる。操作者が注目状態を認識し、挿入を妨げる原因がわかることで、挿入操作の方法を判断する助けになり、挿入部20の挿入性が向上する。
注目状態告知部44は、内視鏡画像40を注視している操作者が注目状態が発生したことに気がつく事ができれば、図4のような矢印を点灯させる方法に限らない。例えば、注目状態告知部44は、図10に示すように、内視鏡画像40の周辺近傍に点灯するLEDを模擬した表示としても良いし、図11に示すように、内視鏡画像40の周辺の色を変化させるものとしても良いし、図12に示すように、文字として表示するものであっても構わない。
また、注目状態告知部44は、内視鏡画像40の周辺近傍に配置することに限るものではなく、図13に示すように、注目状態告知部44を内視鏡画像40に重ねて表示させても構わない。この場合も、矢印に限らず、他の図形や文字で表示しても良い。操作者は通常、内視鏡画像40を見ながら操作を行うため、このように注目状態告知部44を内視鏡画像40に重ねて表示することで、操作者は注目状態が発生したことを、より確実に認識することができる。また、注目状態告知部44を内視鏡画像40に重ねて表示する場合、注目状態告知部44により内視鏡画像40の一部が見えなくならないように、半透明の表示としても良い。
なお、注目状態情報は、詳細状態情報表示部42に表示するものに限らない。例えば、図14に示すように、詳細状態情報表示部42とは別に、挿入部20の位置に関連付けて注目状態情報を簡易的に表示する撮影画像エリア注目状態情報表示部56を、内視鏡画像40の周辺に表示するようにしても良い。すなわち、状態情報処理部38は、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような撮影画像エリア注目状態情報表示部56を含む表示画像を生成し、タッチパネル付き表示画面18Aに出力することができる。図14の例では、この撮影画像エリア注目状態情報表示部56は、内視鏡画像40の周辺に大腸を簡易的に模擬した形状として表示されている。また、この撮影画像エリア注目状態情報表示部56は、色により表す挿入部20の挿入量表示58や、注目状態が発生したことを示す注目状態表示60を行うようにしても良い。その際、大腸を簡易的に模擬した形状に対して、大腸の部位がわかるように、部位の略号62(P(Proctodeum),S(Sigmoid colon),D(Descending colon),T(Transverse colon),A(Ascending colon),C(Cecum))を記載しても良い。略号62のほかに、名称を記載したり、図で示すようにしたりしても構わない。注目状態表示60は、挿入部20の挿入量表示58において長手方向の位置に相当する箇所に表示することで、操作者は注目状態が挿入部20のどの位置で発生しているかを知ることができる。
勿論、この撮影画像エリア注目状態情報表示部56は、必ずしも大腸を簡易的に模擬した形状である必要はなく、図15に示すように、大腸を直線状のグラフで示して挿入量表示58や注目状態表示60を行うようにしても構わない。
なお、詳細状態情報表示部42と撮影画像エリア注目状態情報表示部56とは、必要に応じて両方表示するようにしても構わないし、どちらか片方のみを表示するものであっても構わない。
また、撮影画像エリア注目状態情報表示部56の注目状態表示60についても、詳細状態情報表示部42における注目状態情報48と同様に、注目度に応じて、色、濃度、透明度、明るさ、文字、図形、及び/または点滅を変化させるようにしても良い。
また、注目状態情報としては、図16に示すように、内視鏡画像40における大腸管腔の延在方向を示す、管腔方向表示部64を表示するようにしても良い。すなわち、状態情報処理部38は、撮像素子26が撮像した画像信号を解析することで、例えば明暗を判別することで、大腸管腔の延在方向を検出する。あるいは、状態情報処理部38は、先見情報として与えられている大腸の形状と挿入部20の形状及び挿入量とから、大腸管腔の延在方向を検出する。そして、状態情報処理部38は、その検出結果により、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような管腔方向表示部64を含む表示画像を生成し、モニタ18に出力することができる。特に大腸管腔の延在方向が内視鏡画面の外にはずれた状態、つまり撮像素子26が大腸の奥側ではなくて内壁を撮像している状態では、挿入部20がどの方向に進むように操作部22による挿入部20の湾曲操作を行うかは、操作者の感覚や過去の経験に頼っている。これに対して、このような管腔方向表示部64を内視鏡画像40に重畳して表示することにより、操作者は、大腸管腔の延在している方向がわかることで、挿入部20の操作湾曲部を湾曲させる方向がわかるため、挿入性が向上する。
さらに、注目状態情報としては、図17に示すように、盲腸到達に関する情報を示す、盲腸到達情報表示部66を表示するようにしても良い。この盲腸到達に関する情報は、例えば、盲腸に到達したか未到達か、到達した場合に挿入開始から到達までの時間、などである。すなわち、状態情報処理部38は、撮像素子26が撮像した画像信号を解析することで、盲腸に到達したか否かを検出する。あるいは、状態情報処理部38は、先見情報として与えられている大腸の形状と挿入部20の形状とから、盲腸に到達したことを推定しても良い。そして、状態情報処理部38は、その検出結果により、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような盲腸到達情報表示部66を含む表示画像を生成し、モニタ18に出力することができる。なお、盲腸を一例にしたが、これに限定される必要はなく、被挿入体の特定の部位に応じて適宜、表示する到達情報を変更しても良い。
また、図18に示すように、正常に挿入部20の挿入が行われている、すなわち、盲腸に近づいている状態であったり、腸に過度な負荷がかかっていない状態であったりを示す、正常状態表示部68を表示するようにしても良い。すなわち、注目状態検出部36は更に、挿入部20が正常に挿入されている状態である正常挿入状態も検出し、状態情報処理部は更に、この正常挿入状態の検出に応じて、正常挿入状態情報を示す正常状態表示部68を含む表示画像を生成し、モニタ18に出力する事ができる。このような正常状態表示部68により、操作者は、内視鏡スコープ12の操作に問題が無いことを認識できる。
また、モニタ18に注目状態情報48や状態情報50を表示することに加えて、別の出力部を使用して、操作者に注目状態情報や状態情報を伝えるようにしても構わない。
内視鏡画像40を表示する表示部とは別体の出力部として、例えば、図19に示すように、操作者70が装着するイヤホン72を使用して、音によって注目状態情報を伝えることができる。この場合、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、イヤホン72のスピーカから出力する音の種類や大きさを変化させることで、どのような注目状態がどの程度発生したのかを、操作者70は容易に知ることができる。なお、音の出力の一例として、イヤホン72を用いたが、操作者70が認識できるのであれば、内視鏡システム10が設置される部屋に設置されるスピーカなどでも良い。また、操作者70が装着するウエアラブル端末の一例である眼鏡型モニタ74や振動発生器76を使用して、光あるいは振動によって、注目状態情報を伝えるようにしても良い。この場合も、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、光や振動の種類や強さを変化させる。更には、内視鏡スコープ12の操作部22に、圧電素子などの振動発生器76や香り発生器78を配置し、振動や香りによって、注目状態情報を伝えるようにしても良い。この場合も、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、振動や香りの種類や強さを変化させる。
また、図20に示すように、内視鏡画像40を表示する表示部である表示装置80とは別体の出力部として、プロジェクタ82を使用することもできる。この場合、プロジェクションマッピングにより、被挿入体である患者84の体に、注目状態情報や状態情報を表示するようにしても構わない。これにより、患者84に対する挿入部20の位置や、注目状態の位置がわかり易くなる。
なお、注目状態情報48や状態情報50である形状の出力に関する設定を操作者が変更できるようにしても構わない。例えば、図21に示すように、出力に関する設定画面をモニタ18のタッチパネル付き表示画面18Aに表示し、入力部であるタッチパネルで出力情報の選択指定を行う。この例では、出力情報として、形状や注目状態情報48の表示をON/OFF指定可能である。また、注目状態情報48は、伸展、座屈などを個別にON/OFF可能である。更に、注目状態情報48は、操作者が注目状態情報48を検出し易くするか、検出し難くするかを決める感度設定ができるようにしても構わない。
さらに、図19及び図20に示したように、出力部が複数有る場合、使用する出力部を選択できるようにしても構わない。また、出力部に応じて、出力の大きさを設定できるようにしても構わない。例えば、モニタ18であれば表示の大きさ、イヤホン72のスピーカであれば音の大きさ、振動発生器76の振動であれば振動の強さ、香り発生器78であれば香りの強さを変更できる。
なお、モニタ18のタッチパネル付き表示画面18Aのタッチパネルではなく、マウスなどの別の入力部により、出力情報や出力部の選択ができるようにしても構わない。更には、モニタ18に表示した設定画面ではなく、物理的なスイッチ等、操作者が入力可能な入力部であっても構わない。
このような入力部による選択指定結果は、状態情報処理部38に入力され、状態情報処理部38は、そのON指定された出力情報を出力するための処理を行い、ON指定された出力部に、その処理した出力情報を供給して、そこから出力させる。また、状態情報処理部38は、ON指定された出力情報についての検出感度を注目状態検出部36に出力し、注目状態検出部36は、その検出管殿指定に応じて、状態情報の閾値を調整する。
以上のように、本第1実施形態による挿入システムとしての内視鏡システム10は、挿入部20の少なくとも一部の状態である状態情報を検出する挿入部状態検出部としての位置・形状演算部34と、状態情報の閾値を有し、状態情報と閾値との比較に基づいて、挿入部20の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部36と、注目状態検出部36の検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部38と、状態情報処理部38が処理した注目状態情報48を含む情報を出力する、モニタ18、イヤホン72、眼鏡型モニタ74、振動発生器76、香り発生器78、プロジェクタ82などの出力部と、を備える。
したがって、状態情報と閾値との比較に基づいて少なくとも挿入操作に係る注目状態を検出し、その検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行うようにしているので、少なくとも挿入操作に係る注目状態を操作者70へ呈示可能な挿入システムを提供することができる。
操作者70が挿入部20の少なくとも挿入操作に係る注目状態情報を認識できるようになることで、操作者70は、例えば注目状態情報の1つである伸展や撓み等の挿入を妨げる原因がわかり、挿入操作の方法を判断する助けになり、挿入性が向上する。また、注目状態情報の1つである押圧力(腸にかかる力)を知ることで、操作者70は腸に与えている力の大きさを視覚的にわかり易く知ることができ、挿入を継続するか中断するか他の操作を行うかの判断をし易くなる。腸に無理な力を加えなくなるので、安全性が向上する。また、患者84が痛みを感じることもないので、快適性が向上する。
ここで、上記位置・形状演算部34は、上記状態情報の一つである、挿入部20の位置を検出し、上記注目状態検出部36は更に、注目状態が発生した挿入部20の位置を検出し、状態情報処理部38は、注目状態検出部36の検出結果に基づいて、挿入部20の位置に関連付けて注目状態情報48を表示する詳細状態情報表示部42を、出力部であるモニタ18やプロジェクタ82に表示するための処理を行う。
よって、本実施形態のような構成とすることにより、操作者70へ注目状態情報48を分かり易く呈示することができる。
そしてこの場合、状態情報処理部38は、注目状態情報に基づいて、詳細状態情報表示部42に表示された挿入部20の注目状態が発生した位置における、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより注目状態情報48を表示するような上記詳細状態情報表示部42を、モニタ18やプロジェクタ82に表示するための処理を行う。
このように、注目状態情報に基づいて挿入部20の形状の色を変化させたり、矢印等の図形を表示させたり、文字を表示させることにより、操作者70に挿入部20の状態情報と注目状態情報48とを分かり易く提供することができる。すなわち、挿入部20の形状を表示し、注目状態が発生している挿入部20の位置の表示状態を変更することにより、操作者70は、注目状態が発生している挿入部20上の位置を把握することができる。
あるいは、位置・形状演算部34が検出する状態情報50は、挿入部20の少なくとも一部の形状を含み、状態情報処理部38は、注目状態情報に基づいて、挿入部20の少なくとも一部の形状における形状変化の軌跡として注目状態情報48を表示するような上記詳細状態情報表示部42を、モニタ18やプロジェクタ82に表示するための処理を行う。
このように、注目状態情報に基づいて挿入部20の軌跡を表示させることにより、操作者70に挿入部20の状態情報と注目状態情報48とを分かり易く提供することができる。
あるいは、位置・形状演算部34が検出する状態情報50は、挿入部20の少なくとも一部の形状を含み、状態情報処理部38は更に、挿入部20の形状を、人体の形状52などの被挿入体の形状と同時に表示するような上記詳細状態情報表示部42を、モニタ18に表示するための処理を行うようにしても良い。
これにより、被挿入体の形状に対する挿入部20の位置関係が判別可能とされる。
特に、被挿入体は、患者84などの人体を含み、状態情報処理部38は、人体の形状52に対する人体の医学的部位54、例えばみぞおちや横隔膜、を描画するような上記詳細状態情報表示部42を、モニタ18に表示するための処理を行う。
これにより、状態情報50の人体に対する挿入部20の位置関係が判別可能とされる。
なお、挿入部20は、撮像部である撮像素子26を有し、内視鏡画像40などの撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部としての表示装置80を更に備え、この表示装置80に表示される。
つまり、撮像素子26が撮像した被挿入体の内部の画像も、注目状態情報48と共に表示することができる。
この場合、状態情報処理部38は更に、撮像素子26が撮像した画像上、または画像近傍の、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより注目状態情報48を表示する撮影画像エリア注目状態情報表示部56を、上記モニタ18または上記表示装置80に表示するための処理を行うようにしても良い。
このように、内視鏡画像40などの撮像素子26が撮像した画像の周辺近傍、またはその画像上に、注目状態情報48を表示させることにより、操作者70は、撮像素子26が撮像した画像に注目しながら、またはその画像から大きく目を離さないで、注目状態情報48を知ることができるようになる。
また、注目状態検出部36は、状態情報の閾値を複数有し、状態情報と複数の閾値との比較に基づいて、注目状態の注目度を算出し、状態情報処理部38は、注目度に基づいて、上記注目状態情報48の表示を変更するようにしても良い。
これにより、操作者70は、状態情報の度合いを考慮して挿入に関わる操作を実施することが可能となる。
あるいは、位置・形状演算部34は、上記状態情報の一つである、挿入部20の位置を検出し、注目状態検出部36は、注目状態が発生した挿入部20の位置を検出し、状態情報処理部38は、挿入部20の位置に関連付けて注目状態情報を示す注目状態表示60を表示するような上記撮影画像エリア注目状態情報表示部56を、モニタ18または表示装置80に表示するための処理を行うようにしても良い。
これにより、操作者70は、注目状態が発生している挿入部20上の位置を把握することが可能となる。
あるいは、注目状態情報は更に、撮像素子26が撮像した画像における被挿入体の延在方向を示す情報を含み、状態情報処理部38は更に、注目状態検出部36の検出結果及び撮像素子26が撮像した上記画像に基づいて、被挿入体の延在方向を示す情報を含む注目状態情報を管腔方向表示部64として、上記モニタ18または上記表示装置80に表示するための処理を行うようにしても良い。
これにより、操作者70は、大腸管腔の延在している方向がわかることで、挿入部20の操作湾曲部を湾曲させる方向がわかるため、挿入性が向上する。
また、挿入部20は、撮像部である撮像素子26を有し、内視鏡画像40などの撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部としての表示装置80を更に備え、この表示装置80に表示され、状態情報処理部38は、詳細状態情報表示部42を、撮像素子26が撮像した画像とは独立してモニタ18に表示するための処理、または、表示装置80に表示された撮像素子26が撮像した画像とは別体のモニタ18に表示するための処理を行い、更に、撮像素子26が撮像した画像上またはその画像近傍に、上記詳細状態情報表示部42に上記注目状態情報48が表示されることを知らせる注目状態告知部44を、モニタ18または表示装置80に表示するための処理を行うようにしても良い。
操作者70は、主に内視鏡画像40を注目する必要があるが、このような注目状態告知部44により、操作者70は内視鏡画像40を注目していても、注目状態になっていることを認識でき、必要に応じて詳細状態情報表示部42で注目状態の詳細な内容を確認することができる。
なお、注目状態検出部36は更に、挿入部20が正常に挿入されている状態である正常挿入状態も検出し、状態情報処理部38は更に、注目状態検出部36の検出結果に基づいて、正常挿入状態情報を例えば正常状態表示部68として出力部に出力するための処理を行うようにしても良い。
このような正常状態表示部68により、操作者70は、挿入部20の挿入操作に問題が無いことを認識できる。
また、状態情報処理部38は更に、状態情報説明部46のような、出力部に出力されている注目状態情報48の説明を、出力部に出力するための処理を行うことが望ましい。
これにより、操作者70は、注目状態情報48の内容を容易に把握可能となる。
なお、位置・形状演算部34は、磁気式位置検出センサ16を含むことができる。
これにより、状態情報として挿入部の形状を検出することが可能になる。
また、モニタ18のタッチパネル付き表示画面18Aのタッチパネルやマウス、物理的なスイッチなど、注目状態情報48の出力をON/OFF指定するため入力部を更に備え、状態情報処理部38は、この注目状態情報48の出力のON指定に応じて、上記注目状態情報48を出力するための処理を行うようにしても良い。
これにより、操作者70が、自身の挿入操作の習熟度や好みに応じて、注目状態情報の出力の有無を切り替えることができる。
なお、挿入システムは、撮像部である撮像素子26を有する内視鏡システム10であって良い。
あるいは、挿入システムは、撮像部である撮像素子26を有する大腸用内視鏡システムであって良く、この場合、注目状態情報は、盲腸到達情報表示部66として出力部であるモニタ18に表示される、挿入部20が盲腸に到達したか否か及び盲腸到達時間の少なくとも一方を含むことができる。
これにより、大腸用内視鏡システムにおいて重要な情報の一つである盲腸に到達したか否か、あるいは、盲腸到達時間を操作者70に呈示可能となる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。以下では、第1実施形態と同様の構成部材には同様の参照符号を付してその説明は省略し、第1実施形態と異なる部分のみを説明する。
図22に示すように、本発明の第2実施形態に係る管状挿入システムとしての内視鏡システム10は、内視鏡システム本体14内に、発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38に加えて、推奨挿入操作決定部86と記録・再生部88とを備えている。また、注目状態検出部36は、病変検出部36Aを有している。
なお、これら推奨挿入操作決定部86と記録・再生部88についても、発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38と同様、それぞれ個別のハードウェア回路で構成されても良いし、他の構成部と幾つかが纏めて一つのハードウェア回路として構成されても良い。また、コンピュータプロセッサを、これらの発信信号生成部32、位置・形状演算部34、注目状態検出部36、状態情報処理部38、推奨挿入操作決定部86及び/または記録・再生部88として機能させるためのソフトウェアプログラムを図示しないメモリ内に準備しておき、そのプログラムをプロセッサが実行することで、それら各部の少なくとも一つの機能をプロセッサが実施するように構成しても構わない。
推奨挿入操作決定部86は、位置・形状演算部34が演算した形状と注目状態検出部36が検出した注目状態情報48との少なくとも一方に基づいて、推奨する挿入操作の方法であり、挿入を進めるまたは安全性を向上するための推奨挿入操作情報を決定する。推奨挿入操作情報は、操作部22による湾曲操作、挿入部20の押し操作、挿入部20の引き操作、など、被挿入体の延在方向へ挿入部20を向けるための操作を含む。また、推奨挿入操作情報は、挿入部20の捻り操作といった、挿入部20をその長手方向の軸周りに回転する操作を含む。さらに、推奨挿入操作情報は、送気機構、吸気機構及び/または吸水機構を用いた、被挿入体内部の送気操作、吸気操作及び/または吸水操作を含む。また、挿入部20が硬度可変機構を備える場合には、硬度変更操作を含むこともできる。さらには、内視鏡システム、特に大腸用内視鏡システムにあっては、推奨挿入操作情報は、被挿入体である患者84の向きの変更や、患者84を介して挿入部20を抑える手技、など内視鏡システム10を操作しない手法も含み得る。推奨挿入操作決定部86は、決定した推奨挿入操作情報を、状態情報処理部38及び記録・再生部88に出力する。
状態情報処理部38は、この推奨挿入操作情報を出力部に出力するための処理を行う。例えば、状態情報処理部38は、推奨挿入操作情報をモニタ18へ表示するための画像処理を行い、その結果をモニタ18に出力する。これにより、モニタ18のタッチパネル付き表示画面18Aには、図23に示すように、図や文字により推奨操作を操作者70へ呈示する推奨挿入操作情報表示部90が表示される。
勿論、推奨挿入操作情報は、表示に限らず、推奨挿入操作を音声により出力するようにしても良い。
このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
また、病変検出部36Aは、注目状態情報48の一つとして、被挿入体に関わる注目状態についての注目情報である、病変の有無や位置を検出する。なお、この病変検出部36Aは、注目状態検出部36とは別体に設けても構わない。病変検出部36Aは、例えば、挿入部20の先端に配置された撮像部である撮像素子26から入力される映像を画像解析することで、病変を検出する。画像解析には、パターンや色のマッチング、機械学習等を用いる。病変検出部36Aは、検出した病変情報を、状態情報処理部38及び記録・再生部88に出力する。
状態情報処理部38は、この病変情報を出力部であるモニタ18に表示するための画像処理を行い、その結果をモニタ18に出力する。これにより、モニタ18のタッチパネル付き表示画面18Aには、図24に示すように、内視鏡画像40の上に、病変92の位置を示す、病変検出結果表示部94が表示される。また、状態情報処理部38は、病変検出部36Aが検出した病変の数を計数し、病変の数表示96も合わせて行うようにしても良い。
このように、病変を検出して操作者70に呈示することで、病変の発見率の向上が期待できる。
なお、内視鏡画像40がモニタ18とは別体の表示装置80に表示される場合には、状態情報処理部38は、病変情報を出力部である表示装置80に表示するための画像処理を行い、その結果を表示装置80に出力することは勿論である。
記録・再生部88は、図示しない記録媒体を有し、この記録媒体に、位置・形状演算部34が検出した状態情報、注目状態検出部36が検出した注目状態情報(病変検出部36Aが検出した病変情報を含む)、及び推奨挿入操作決定部86が決定した推奨挿入操作情報の少なくとも一つを記録及び再生可能に構成されている。また、病変情報と共にそのときの画像も一緒に記録するようにしても良い。つまり、病変発見時の記録が自動で行われることで、操作者70が記録を行う手間や記録ミスを削減できる。この記録・再生部88が記録した情報は、状態情報処理部38を介してモニタ18や表示装置80に表示することができる。
このように注目状態情報や推奨挿入操作情報を記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
また、記録された挿入困難箇所や病変位置を再生することで、2回目以降に同様の患者に挿入部20を挿入する際に、事前に注意して挿入する事ができるので、挿入性、安全性、診察の正確性が向上する。特に、一人の患者84に対して1回目と2回目の操作者70が異なる場合は、2回目の操作者70は初めて挿入することになるが、一度挿入した記録から挿入に関する情報を得ることで、挿入性、安全性、診察の正確性が向上する。
また、通常、操作者70は、挿入部20の挿入操作時は挿入に専念し、抜去時に病変の検査を行う。挿入中に病変検出部36Aが検出した病変位置を記録し、抜去時に病変の位置情報を再生することで、挿入中に検出された病変を抜去時に簡単に発見し、検査することが可能となる。さらに、挿入時に発見した病変部を抜去時に見逃す可能性も低くなる。これにより、病変の発見率の更なる向上が期待できる。
なお、推奨挿入操作情報表示部90や病変検出結果表示部94(及び/または病変の数表示96)の出力に関する設定についても、操作者70が変更できるようにしても構わない。例えば、図25に示すように、出力に関する設定画面をモニタ18のタッチパネル付き表示画面18Aに表示し、入力部であるタッチパネルで出力情報の選択指定を行う。この例では、出力情報として、第1実施形態で説明した情報に加えて、推奨挿入操作情報表示部90や病変検出結果表示部94をON/OFF指定可能としている。
このような入力部による選択指定結果は、状態情報処理部38に入力され、状態情報処理部38は、そのON指定された出力情報を出力するための処理を行い、ON指定された出力部(例えばモニタ18、表示装置80)に、その処理した出力情報を供給して、そこから出力させる。
以上のように、本第2実施形態による挿入システムでは、状態情報及び注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、状態情報処理部38は更に、推奨挿入操作情報をモニタ18などの上記出力部に出力するための処理を行う。
このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
あるいは、本第2実施形態による挿入システムは、状態情報50及び注目状態情報48の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、状態情報処理部38は更に、推奨挿入操作情報を表示装置80に表示するための処理を行う。
このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
なおここで、推奨挿入操作情報は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、及び挿入部20を押すまたは引く操作、の少なくとも一つであることができる。
これにより、操作者70は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、及び挿入部20を押すまたは引く操作の何れを行えば良いか知ることができる。
また、本第2実施形態による挿入システムは、状態情報及び注目状態情報の少なくとも一方を記録可能な記録部である記録・再生部88を更に備えることができる。
このように注目状態情報などを記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
あるいは、状態情報、注目状態情報及び上記推奨挿入操作情報の少なくとも一つを記録可能な記録部である記録・再生部88を更に備えても良い。
このように注目状態情報や推奨挿入操作情報を記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
なお、モニタ18のタッチパネル付き表示画面18Aのタッチパネルやマウス、物理的なスイッチなど、注目状態情報及び上記推奨挿入操作情報の少なくとも一方の出力をON/OFF指定するため入力部を更に備え、状態情報処理部38は、注目状態情報及び推奨挿入操作情報の少なくとも一方のON指定に応じて、そのON指定された注目状態情報及び推奨挿入操作情報の少なくとも一方を出力するための処理を行うようにしても良い。
これにより、操作者70が、自身の挿入操作の習熟度や好みに応じて、注目状態情報や推奨挿入操作情報の出力の有無を切り替えることができる。
ここで、挿入システムが内視鏡システム10、特に大腸用内視鏡システムである場合、内視鏡画像40である撮像素子26が撮像した被挿入体の内部の画像は、出力部であるモニタ18に表示される、または、挿入システムが表示部である表示装置80を更に備えるならば、その表示装置80に表示され、注目状態検出部36は、撮像素子26が撮像した画像から被挿入体に関わる注目状態である病変の位置を検出する病変検出部36Aを含み、状態情報処理部38は更に、病変検出部36Aの検出結果に基づいて、撮像素子26が撮像した画像上に病変位置情報を表示する病変検出結果表示部94を、モニタ18または表示装置80に表示するための処理を行う。
このように、病変を検出して操作者70に呈示することで、病変の発見率の向上が期待できる。
なおこの場合、状態情報、注目状態情報及び上記病変位置情報、の少なくとも一つを記録可能な記録部である記録・再生部88を更に備えても良い。
このように、病変発見時の記録が自動で行われることで、操作者70が記録を行う手間や記録ミスを削減できる。また、挿入部20を挿入していく途中で病変検出部36Aが検出した病変位置を記録し、抜去時に病変の位置情報を再生しながら抜去していくことで、病変の発見率の更なる向上が期待できる。
また、挿入システムが内視鏡システム10、特に大腸用内視鏡システムであるとき、状態情報及び注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、内視鏡画像40である撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部である表示装置80を更に備える場合には、その表示装置80に表示され、状態情報処理部38は更に、推奨挿入操作情報をモニタ18または表示装置80に出力するための処理を行い、推奨挿入操作情報は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、挿入部20を押すまたは引く操作、被挿入体の向きの変更、被挿入体を介して挿入部20を抑える手技、及び被挿入体内部の送気、吸気及び/または吸水操作、の少なくとも一つであるとしても良い。
これにより、操作者70は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、挿入部20を押すまたは引く操作、被挿入体である患者84の向きの変更、患者84の体を介して挿入部20を抑える手技、及び患者84の大腸管腔内部の送気、吸気及び/または吸水操作、の何れを行えば良いか知ることができる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。以下では、第1実施形態と同様の構成部材には同様の参照符号を付してその説明は省略し、第1実施形態と異なる部分のみを説明する。
上記第1及び第2実施形態では、位置・形状演算部34は、状態情報を、磁気式位置検出センサ16を用いて検出している。しかしながら、挿入部20の位置や形状が検出できれば、磁気式位置検出センサ16以外のセンサを使用しても構わない。
例えば、挿入部20の形状を検出するセンサとして、ファイバ形状センサを使用したり、複数の歪みセンサを組み合わせて使用したりすることができる。また、腸にかかる力の検出を、挿入部20の形状から検出したが、挿入部20に圧力センサを設けて検出しても構わない。また、挿入部20に組み込まれる撮像素子26を用いて、撮像された画像から管腔の方向や挿抜操作などを検出したり、操作部22に設けた操作量センサを用いて挿入部20の湾曲形状を検出したりすることができる。
図26は、ファイバ形状センサ98を組み込んだ内視鏡システム10の全体構成を示す図である。内視鏡システム本体14には、接続ケーブル24により、挿入部20と操作部22から構成される内視鏡スコープ12が接続されている。内視鏡システム本体14の位置・形状演算部34は、光源34Aと、例えば受光素子等の受光部34Bと、形状演算部34Cとを含む。
ファイバ形状センサ98は、例えば国際公開第2015/146712号に開示されているように、複数の被検出部100が設けられた光ファイバ102と、上記位置・形状演算部34の光源34A及び受光部34Bと、から構成される。被検出部100は、挿入部20の形状検出を行うべき部分に配置される。光源34Aから出射された光が光ファイバ102に入射され、光ファイバ102内を導光して、光ファイバ102の先端に設けられた不図示反射部で反射して再び光ファイバ102内を導光してきた戻り光が受光部34Bで検出される。
光ファイバ102に設けられた被検出部100は、挿入部20の湾曲に従って光ファイバ102が湾曲すると、光ファイバ102内を導光する光を、当該光ファイバ102の湾曲状態に応じて当該光ファイバ102の外部に向けて出射させる、あるいは、吸収する。光ファイバ102の外部に向けて出射するあるいは吸収する光量は、当該光ファイバ102の湾曲量に対応する。被検出部100は、光ファイバ102の湾曲量に対応した光量の光を光ファイバ102の外部に漏らす又は吸収するような加工が施されている。換言すれば、被検出部100は、光ファイバ102によって導光される光の光学特性、例えば光量を挿入部20の湾曲状態に応じて変化させるものとなる。
受光部34Bは、光ファイバ102から入射した光を受光し、受光した光量等に応じた受光信号を出力する。すなわち、受光部34Bは、受光信号に基づいて挿入部20の湾曲の大きさ(湾曲量)に応じた受光信号を出力する。
形状演算部34Cは、受光部34Bからの受光信号で示される各被検出部100の位置における挿入部20の湾曲量から、挿入部20の形状を演算して、形状情報を得る。この形状情報が状態情報として注目状態検出部36へ出力される。
なお、光源34Aから複数の波長成分を含む広帯域光を出射し、各被検出部100は、互いに異なる波長の光を外部に向けて出射させる、あるいは、吸収するものとする。あるいは、光源34Aから出射される光はレーザ等の狭帯域光とし、各被検出部100は、互いに異なる波長の光に波長変換するものしても良い。これにより、受光部34B及び形状演算部34Cでは、それぞれの被検出部100による光量変化を弁別することが可能である。
以上のように、本第3実施形態による挿入システムでは、位置・形状演算部34は、ファイバ形状センサ、挿入部20に組み込まれる撮像素子26、歪みセンサ、及び操作量センサ、の少なくとも一つを用いている。
このように、位置・形状演算部34は、状態情報を、磁気式位置検出センサ16以外のセンサを用いて検出することができる。
以上、幾つかの実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の変形や応用が可能なことは勿論である。
本発明の一態様による挿入システムは、被挿入体に挿入する管状の挿入部を有する挿入システムであって、前記挿入部の少なくとも一部の状態である状態情報を検出する挿入部状態検出部と、前記状態情報の閾値を有し、前記状態情報と前記閾値との比較に基づいて、前記挿入部の挿入を妨げる状態である注目状態の発生と前記注目状態を形成する前記挿入部の位置を検出する注目状態検出部と、前記注目状態検出部の検出結果に基づいて、前記注目状態が発生しているときに、前記注目状態を形成する前記挿入部の前記位置の軌跡を表す注目状態情報を出力するための処理を行う状態情報処理部と、前記状態情報処理部が処理した前記注目状態情報を含む情報を出力する出力部と、を備えている。
このような入力部による選択指定結果は、状態情報処理部38に入力され、状態情報処理部38は、そのON指定された出力情報を出力するための処理を行い、ON指定された出力部に、その処理した出力情報を供給して、そこから出力させる。また、状態情報処理部38は、ON指定された出力情報についての検出感度を注目状態検出部36に出力し、注目状態検出部36は、その検出感度の指定に応じて、状態情報の閾値を調整する。

Claims (27)

  1. 被挿入体に挿入する管状の挿入部を有する挿入システムであって、
    前記挿入部の少なくとも一部の状態である状態情報を検出する挿入部状態検出部と、
    前記状態情報の閾値を有し、前記状態情報と前記閾値との比較に基づいて、前記挿入部の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部と、
    前記注目状態検出部の検出結果に基づいて、前記注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部と、
    前記状態情報処理部が処理した前記注目状態情報を含む情報を出力する出力部と、
    を備える、挿入システム。
  2. 前記挿入部状態検出部は、前記状態情報の一つである、前記挿入部の位置を検出し、
    前記注目状態検出部は更に、前記注目状態が発生した前記挿入部の位置を検出し、
    前記状態情報処理部は、前記注目状態検出部の検出結果に基づいて、前記挿入部の位置に関連付けて前記注目状態情報を表示する詳細状態情報表示部を、前記出力部に表示するための処理を行う、
    請求項1に記載の挿入システム。
  3. 前記状態情報処理部は、前記注目状態情報に基づいて、前記詳細状態情報表示部に表示された前記挿入部の前記注目状態が発生した前記位置における、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより前記注目状態情報を表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
    請求項2に記載の挿入システム。
  4. 前記挿入部状態検出部が検出する前記状態情報は、前記挿入部の少なくとも一部の形状を含み、
    前記状態情報処理部は、前記注目状態情報に基づいて、前記挿入部の前記少なくとも一部の形状における形状変化の軌跡として前記注目状態情報を表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
    請求項2に記載の挿入システム。
  5. 前記挿入部状態検出部が検出する前記状態情報は、前記挿入部の少なくとも一部の形状を含み、
    前記状態情報処理部は更に、前記挿入部の形状を前記被挿入体の形状と同時に表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
    請求項2に記載の挿入システム。
  6. 前記被挿入体は、人体を含み、
    前記状態情報処理部は、前記人体の形状に対する前記人体の医学的部位を描画する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
    請求項5に記載の挿入システム。
  7. 前記挿入部は、撮像部を有し、
    前記撮像部が撮像した前記被挿入体の内部の画像は、
    前記出力部に表示される、または、
    前記挿入システムが表示部を更に備え、前記表示部に表示される、
    請求項1乃至6の何れかに記載の挿入システム。
  8. 前記状態情報処理部は更に、前記撮像部が撮像した前記画像上、または前記画像近傍の、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより前記注目状態情報を表示する撮影画像エリア注目状態情報表示部を、前記出力部または前記表示部に表示するための処理を行う、
    請求項7に記載の挿入システム。
  9. 前記注目状態検出部は、前記状態情報の前記閾値を複数有し、前記状態情報と前記複数の閾値との比較に基づいて、前記注目状態の注目度を算出し、
    前記状態情報処理部は、前記注目度に基づいて、前記注目状態情報の表示を変更する、
    請求項3、4、または8に記載の挿入システム。
  10. 前記挿入部状態検出部は、前記状態情報の一つである、前記挿入部の位置を検出し、
    前記注目状態検出部は、前記注目状態が発生した前記挿入部の位置を検出し、
    前記状態情報処理部は、前記挿入部の位置に関連付けて前記注目状態情報を表示する前記撮影画像エリア注目状態情報表示部を、前記出力部または前記表示部に表示するための処理を行う、
    請求項8に記載の挿入システム。
  11. 前記注目状態情報は更に、前記撮像部が撮像した前記画像における前記被挿入体の延在方向を示す情報を含み、
    前記状態情報処理部は更に、前記注目状態検出部の検出結果及び前記撮像部が撮像した前記画像に基づいて、前記被挿入体の延在方向を示す情報を含む前記注目状態情報を、前記出力部または前記表示部に表示するための処理を行う、
    請求項7または8に記載の挿入システム。
  12. 前記挿入部は、撮像部を有し、
    前記撮像部が撮像した前記被挿入体の内部の画像は、
    前記出力部に表示される、または、
    前記挿入システムが表示部を更に備え、前記表示部に表示され、
    前記状態情報処理部は、
    前記詳細状態情報表示部を、前記撮像部が撮像した前記画像とは独立して前記出力部に表示するための処理、または、前記表示部に表示された前記撮像部が撮像した前記画像とは別体の前記出力部に表示するための処理を行い、
    更に、前記撮像部が撮像した前記画像上または前記画像近傍に、前記詳細状態情報表示部に前記注目状態情報が表示されることを知らせる注目状態情報告知部を、前記出力部または前記表示部に表示するための処理を行う、
    請求項2に記載の挿入システム。
  13. 前記注目状態検出部は更に、前記挿入部が正常に挿入されている状態である正常挿入状態も検出し、
    前記状態情報処理部は更に、前記注目状態検出部の検出結果に基づいて、正常挿入状態情報を前記出力部に出力するための処理を行う、
    請求項1に記載の挿入システム。
  14. 前記状態情報処理部は更に、前記出力部に出力されている前記注目状態情報の説明を、前記出力部に出力するための処理を行う、
    請求項1、3、4、8、または9に記載の挿入システム。
  15. 前記挿入部状態検出部は、磁気式位置検出センサ、ファイバ形状センサ、前記挿入部に組み込まれる撮像素子、歪みセンサ、及び操作量センサ、の少なくとも一つである、
    請求項1に記載の挿入システム。
  16. 前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
    前記状態情報処理部は更に、前記推奨挿入操作情報を前記出力部に出力するための処理を行う、
    請求項1に記載の挿入システム。
  17. 前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
    前記状態情報処理部は更に、前記推奨挿入操作情報を前記表示部に表示するための処理を行う、
    請求項7に記載の挿入システム。
  18. 前記推奨挿入操作情報は、前記被挿入体の延在方向へ前記挿入部を向けるための操作、前記挿入部をその長手方向の軸周りに回転する操作、及び前記挿入部を押すまたは引く操作、の少なくとも一つである、
    請求項16または17に記載の挿入システム。
  19. 前記状態情報及び前記注目状態情報の少なくとも一方を記録可能な記録部を更に備える、
    請求項1乃至15の何れかに記載の挿入システム。
  20. 前記状態情報、前記注目状態情報、及び前記推奨挿入操作情報、の少なくとも一つを記録可能な記録部を更に備える、
    請求項16乃至18の何れかに記載の挿入システム。
  21. 前記注目状態情報の出力をON/OFF指定するため入力部を更に備え、
    前記状態情報処理部は、前記注目状態情報の出力のON指定に応じて、前記注目状態情報を出力するための処理を行う、
    請求項1乃至20の何れかに記載の挿入システム。
  22. 前記注目状態情報及び前記推奨挿入操作情報の少なくとも一方の出力をON/OFF指定するため入力部を更に備え、
    前記状態情報処理部は、前記注目状態情報及び前記推奨挿入操作情報の前記少なくとも一方のON指定に応じて、そのON指定された前記注目状態情報及び前記推奨挿入操作情報の少なくとも一方を出力するための処理を行う、
    請求項16乃至18の何れかに記載の挿入システム。
  23. 前記挿入システムは、撮像部を有する内視鏡システムである、
    請求項1に記載の挿入システム。
  24. 前記挿入システムは、撮像部を有する大腸用内視鏡システムであり、
    前記注目状態情報は、前記挿入部が盲腸に到達したか否か及び盲腸到達時間の少なくとも一方を含む、
    請求項1に記載の挿入システム。
  25. 前記撮像部が撮像した前記被挿入体の内部の画像は、
    前記出力部に表示される、または、
    前記挿入システムが表示部を更に備え、前記表示部に表示され、
    前記注目状態検出部は、前記撮像部が撮像した画像から前記被挿入体に関わる注目状態である病変の位置を検出する病変検出部を含み、
    前記状態情報処理部は更に、前記病変検出部の検出結果に基づいて、前記撮像部が撮像した前記画像上に病変位置情報を表示する病変検出結果表示部を、前記出力部または前記表示部に表示するための処理を行う、
    請求項23または24に記載の挿入システム。
  26. 前記状態情報、前記注目状態情報、及び前記病変位置情報、の少なくとも一つを記録可能な記録部を更に備える、
    請求項25に記載の挿入システム。
  27. 前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
    前記撮像部が撮像した前記被挿入体の内部の画像は、
    前記出力部に表示される、または、
    前記挿入システムが表示部を更に備え、前記表示部に表示され、
    前記状態情報処理部は更に、前記推奨挿入操作情報を前記出力部または前記表示部に出力するための処理を行い、
    前記推奨挿入操作情報は、前記被挿入体の延在方向へ前記挿入部を向けるための操作、前記挿入部をその長手方向の軸周りに回転する操作、前記挿入部を押すまたは引く操作、前記被挿入体の向きの変更、前記被挿入体を介して前記挿入部を抑える手技、及び前記被挿入体内部の送気、吸気及び/または吸水操作、の少なくとも一つである、
    請求項23または24に記載の挿入システム。
JP2018544620A 2016-10-12 2016-10-12 挿入システム Active JP6710284B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080245 WO2018069992A1 (ja) 2016-10-12 2016-10-12 挿入システム

Publications (2)

Publication Number Publication Date
JPWO2018069992A1 true JPWO2018069992A1 (ja) 2019-07-18
JP6710284B2 JP6710284B2 (ja) 2020-06-17

Family

ID=61905349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544620A Active JP6710284B2 (ja) 2016-10-12 2016-10-12 挿入システム

Country Status (3)

Country Link
US (1) US11602263B2 (ja)
JP (1) JP6710284B2 (ja)
WO (1) WO2018069992A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220848A1 (ja) 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
US11100633B2 (en) * 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
EP3851025A4 (en) * 2018-09-11 2021-10-13 NEC Corporation INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM
US11026561B2 (en) 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
WO2021024301A1 (ja) * 2019-08-02 2021-02-11 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
CN114554937A (zh) * 2019-12-02 2022-05-27 富士胶片株式会社 内窥镜***、控制程序及显示方法
US20230169669A1 (en) * 2020-04-09 2023-06-01 Nec Corporation Endoscope insertion assistance apparatus, method and non-transitory computer-readable medium storing program thereof
CN116322462A (zh) * 2020-10-21 2023-06-23 日本电气株式会社 内窥镜操作辅助装置、控制方法、计算机可读介质和程序
JPWO2022107492A1 (ja) * 2020-11-17 2022-05-27
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体
WO2023181175A1 (ja) * 2022-03-23 2023-09-28 オリンパスメディカルシステムズ株式会社 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) * 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2008136628A (ja) * 2006-11-30 2008-06-19 Olympus Medical Systems Corp 内視鏡挿入形状解析システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
US20150099925A1 (en) * 2013-10-03 2015-04-09 Endochoice, Inc. Endoscope with Integrated Sensors
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016154588A (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6511417B1 (en) 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
EP1504712B1 (en) 2002-10-29 2009-12-02 Olympus Corporation Endoscope information processor and processing method
JP4855901B2 (ja) 2006-11-13 2012-01-18 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析システム
WO2008059636A1 (fr) 2006-11-13 2008-05-22 Olympus Medical Systems Corp. Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant
JP6146981B2 (ja) * 2012-10-16 2017-06-14 オリンパス株式会社 観察装置、観察支援装置及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) * 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2008136628A (ja) * 2006-11-30 2008-06-19 Olympus Medical Systems Corp 内視鏡挿入形状解析システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
US20150099925A1 (en) * 2013-10-03 2015-04-09 Endochoice, Inc. Endoscope with Integrated Sensors
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016154588A (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Also Published As

Publication number Publication date
US20190231444A1 (en) 2019-08-01
JP6710284B2 (ja) 2020-06-17
US11602263B2 (en) 2023-03-14
WO2018069992A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6710284B2 (ja) 挿入システム
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP4500096B2 (ja) 内視鏡及び内視鏡システム
JP4884567B2 (ja) 内視鏡システム
US8212862B2 (en) Endoscope system
EP2719316B1 (en) Insertion inlet fitting
JP5942044B2 (ja) 内視鏡システム
JP6001219B1 (ja) 内視鏡システム
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP6266179B2 (ja) 内視鏡用画像処理装置及び内視鏡システム
JPWO2015141483A1 (ja) 内視鏡システム
WO2015146836A1 (ja) 内視鏡システム
US20230380662A1 (en) Systems and methods for responsive insertion and retraction of robotic endoscope
JP6271112B1 (ja) 内視鏡装置及び制御装置
JP6062112B2 (ja) 内視鏡システム
JP6203455B1 (ja) 内視鏡システム
US11375878B2 (en) Information presentation system including a flexible tubular insertion portion
WO2017170842A1 (ja) 内視鏡形状把握システム
US20170215710A1 (en) Endoscope system
WO2023276158A1 (ja) 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
JP3397299B2 (ja) 位置検出装置
JP2007330405A (ja) 内視鏡システム
JP2005334472A (ja) 医療システム
KR20180133633A (ko) 두부에 착용하는 내시경 영상 시현 헤드셋 및 이를 적용한 내시경 영상 진단 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200526

R151 Written notification of patent or utility model registration

Ref document number: 6710284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250