JP5153787B2 - 内視鏡湾曲制御装置及び内視鏡システム - Google Patents

内視鏡湾曲制御装置及び内視鏡システム Download PDF

Info

Publication number
JP5153787B2
JP5153787B2 JP2009543715A JP2009543715A JP5153787B2 JP 5153787 B2 JP5153787 B2 JP 5153787B2 JP 2009543715 A JP2009543715 A JP 2009543715A JP 2009543715 A JP2009543715 A JP 2009543715A JP 5153787 B2 JP5153787 B2 JP 5153787B2
Authority
JP
Japan
Prior art keywords
operation mode
bending
switching condition
bending operation
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009543715A
Other languages
English (en)
Other versions
JPWO2009069395A1 (ja
Inventor
秀樹 田中
潤 長谷川
俊夫 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2009543715A priority Critical patent/JP5153787B2/ja
Publication of JPWO2009069395A1 publication Critical patent/JPWO2009069395A1/ja
Application granted granted Critical
Publication of JP5153787B2 publication Critical patent/JP5153787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡を体腔内等に挿入して内視鏡検査を行うための内視鏡湾曲制御装置及び内視鏡システムに関する。
近年、体腔内又は管腔内を検査、診断するために内視鏡が広く用いられるようになった。内視鏡を用いた場合には、挿入部を体腔内に円滑に挿入することが望まれる。
例えば第1の従来例としての特開2003−93328号公報には、内視鏡画像に基づいて、挿入部の先端部を挿入すべき方向、すなわち目標位置を検出して、その目標位置の方向に設定する。
また、第2の従来例としての特開2006−116289号公報には、内視鏡撮像画像に基づく第1の湾曲制御手法と、内視鏡挿入形状の検出画像やCT画像に基づく第2の湾曲制御手法を選択して、挿入の際の湾曲制御を行う湾曲制御装置が開示されている。
しかし、第1の従来例においては、内視鏡画像として体腔若しくは管腔の走行方向に対応する管腔暗部が検出できない或いは管腔暗部が消失した状態となり、内視鏡画像が粘膜表面を撮像する撮像状態になると、挿入すべき方向の選定が出来にくくなる。
この場合、この第1の従来例における第4の実施形態においては、目標位置となる管腔暗部が画像外に消失した際、その管腔暗部の消失方向に基づいて、挿入すべき方向を提示するようにしている。
しかし、管腔暗部が消失する前の情報、つまり過去の管腔暗部の情報が記憶されていないため、挿入すべき方向の提示を精度良く行うことが困難になる。さらに、管腔暗部が消失してから、その提示を行うまでの間に、内視鏡挿入部が捻られると、目標位置の方向も、回転移動してしまうので、消失した方向を再現できなくなってしまう欠点がある。
また、第2の従来例は、内視鏡画像による選択状態では、管腔暗部が消失した状態においては第1の従来例の場合と同様に、やはり挿入すべき方向に湾曲方向を提示することが困難になってしまう。
また、湾曲制御の動作モードを切り替えられるようにした場合、設定された切替条件では対応しにくいような挿入対象の部位又は場所の場合においても円滑な挿入を可能とする湾曲制御を行うことが望まれる。
本発明は上述した点に鑑みてなされたもので、設定された切替条件では対応しにくいような挿入対象の部位の場合においても円滑な挿入を可能とする湾曲制御を行う内視鏡湾曲制御装置及び内視鏡システムを提供することを目的とする。
本発明の一形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、さらに、前記履歴情報を記憶する記憶部を有し、該記憶部は前記管腔暗部の位置の情報と共に、前記挿入部先端の位置及び方向の情報を前記履歴情報として記憶することを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、切替条件変更部は、挿入部先端側の位置を含む挿入形状を検出する挿入形状検出部の検出結果に基づいて、前記第1の切替条件又は前記第2の切替条件に含まれる特徴量パラメータを変更することを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記第1の切替条件又は前記第2の切替条件は、前記挿入部が挿入される管腔内の挿入パスに沿った場所に応じて変更設定されることを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記第1の切替条件及び前記第2の切替条件は、前記挿入部が前記管腔内に挿入される挿入長に応じて予め設定されることを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記切替条件変更部は、前記挿入部が前記管腔内に挿入される挿入長の情報を用いて前記第1の切替条件から前記第2の切替条件に変更することを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、切替条件変更部は、前記第2の切替条件に変更した場合、前記挿入部が前記管腔内に挿入される挿入長に応じてさらに前記第2の切替条件とは異なる第3の切替条件に変更することを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記第1の切替条件及び第2の切替条件は、前記挿入部が管腔内に挿入される挿入パスの場所に応じてそれぞれ異なる複数の特徴量パラメータを用いて設定されることを特徴とする。
本発明の他の形態に係る内視鏡湾曲制御装置は、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記第1の切替条件及び前記第2の切替条件は、前記挿入部が挿入される前記管腔内の挿入パスに沿った場所としての第1及び第2のパス場所に応じて前記第1の切替条件及び第2の切替条件にそれぞれ含まれる特徴量パラメータをリストアップしたパスリストの形態で使用されることを特徴とする。
本発明の一形態に係る内視鏡システムは、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、さらに、前記履歴情報を記憶する記憶部を有し、該記憶部は前記管腔暗部の位置と共に、前記挿入部先端の位置及び方向の情報を前記履歴情報として記憶することを特徴とする。
本発明の他の形態に係る内視鏡システムは、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記切替条件変更部は、挿入部先端側の位置を含む挿入形状を検出する挿入形状検出部の検出結果に基づいて、前記第1の切替条件又は前記第2の切替条件に含まれる特徴量パラメータを変更することを特徴とする。
本発明の他の形態に係る内視鏡システムは、挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、を備え、前記第1の切替条件及び前記第2の切替条件は、前記挿入部が前記管腔内に挿入される挿入長に応じて予め設定されることを特徴とする。
図1は本発明の実施例1を備えた内視鏡システムの構成を使用例の状態で示す構成図。 図2は内視鏡装置の外観例を示す図。 図3は内視鏡の内部構成を示す図。 図4は挿入部の先端側のコイルの配置例を示す図。 図5は検出される挿入形状を示す図。 図6Aは挿入形状データの例を示す図。 図6Bはフレームデータの例を示す図。 図6Cはコイル座標データの例を示す図。 図7はPC本体の機能的なブロック構成を示す図。 図8はメイン処理部の機能的なブロック構成を示す図。 図9は内視鏡先端の向きと湾曲させたい方向との湾曲角を形成する角θ及びφを示す図。 図10は図9の湾曲角からモータ電圧を生成する処理機能を示すブロック図。 図11は動作モードを切り替える切替条件及びその切替条件をさらに切り替える条件に使用されるパラメータ等を示す図。 図12は挿入対象部位としての大腸を示す図。 図13は湾曲制御の動作内容を示すフローチャート。 図14は図13における先端通過目標位置の検出の動作内容を示すフローチャート。 図15はパスリストにより順次設定されるパス値の内容の具体例を示す図。 図16Aは襞押し込みモードの説明図。 図16Bは回転モードの説明図。 図17は内視鏡検査が行われる管腔臓器等に応じて予め設定されたパスリストを選択使用可能にした構成を示すブロック図。 図18は本発明の第2の実施形態に係る内視鏡システムの要部の構成の一例を示す図。 図19は図18の端末装置において行われる目標位置検出処理の一例を示すフローチャート。 図20は図18の端末装置において行われる湾曲制御設定処理の一例を示すフローチャート。 図21は画像データ内に存在する暗部領域の一例を示す図。 図22は画像データ内に存在する暗部領域の、図21とは異なる例を示す図。 図23は画像データ内に存在する暗部領域の、図21及び図22とは異なる例を示す図。 図24は本発明の第3の実施形態に係る内視鏡システムの要部の構成の一例を示す図。 図25は先端部を通過させる経路を設定するために行われる処理の一例を示すフローチャート。 図26は湾曲部に対する湾曲制御内容を設定するために行われる処理の一例を示すフローチャート。 図27は先端部の現在位置の近傍における管腔の形状の一例を示す図。 図28は図25のフローチャートの処理の概要に関する模式図。 図29は先端部を通過させる目標位置を算出する処理の一例を示す図。 図30は先端部を通過させる目標位置を算出する処理の、図29とは異なる例を示す図。 図31は図26のフローチャートに追加可能な処理の一例を示す図。 図32は図31のフローチャートの処理の概要に関する模式図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1から図15は本発明の第1の実施形態に係り、図1は本発明の第1の実施形態を備えた内視鏡システムの構成を使用例の状態で示し、図2は内視鏡装置の外観例を示し、図3は内視鏡の内部構成を示し、図4は挿入部の先端側のコイルの配置例を示し、図5は検出される挿入形状を示す。
図6A〜図6Cは挿入形状データ、フレームデータ、コイル座標データの例を示し、図7はPC本体の機能的なブロック構成を示し、図8はメイン処理部の機能的なブロック構成を示し、図9は内視鏡先端の向きと湾曲させたい方向との湾曲角を形成する角θ及びφを示し、図10は図9の湾曲角からモータ電圧を生成する処理機能を示す。
図11は動作モードを切り替える切替条件及びその切替条件をさらに切り替える条件に使用されるパラメータ等を示し、図12は挿入対象部位としての大腸を示し、図13は湾曲制御の動作内容を示し、図14は図13における先端通過目標位置の検出の動作内容を示し、図15は挿入パスに沿った各パス場所としてのパス値における切替条件等を規定する特徴量パラメータをリストアップしたパスリストの具体例を示す。
図1に示すように、本発明の第1の実施形態を備えた内視鏡システム1は、内視鏡検査を行う内視鏡2、光源装置3、プロセッサ4及び内視鏡モニタ5を備えた内視鏡装置6と、内視鏡2により撮像された内視鏡画像に対して画像処理及び湾曲制御の処理を行うパーソナルコンピュータ本体(以下、PC本体と略記)7及びPCモニタ8と、内視鏡2の挿入部9における少なくともその先端側の位置検出を含む内視鏡形状検出手段としてのUPD装置11とを有する。
図1に示すように内視鏡2は、ベッド12に横たわる被検体としての患者13の体腔内(又は管腔内)に挿入される細長の挿入部9と、その後端に設けられた操作部14とを有する。この操作部14から延出されたユニバーサルケーブル15の端部のコネクタは、照明光を発生する光源装置3と、信号処理を行う信号処理装置としてのプロセッサ4とに接続される。
図2に示すように挿入部9は、その先端に設けられた先端部10と、この先端部10の後端に設けられ、湾曲自在の湾曲部18と、この湾曲部18の後端から操作部14まで延出された可撓性を有する可撓部19とを有する。
操作部14には、術者20が所望とする方向に湾曲部18を湾曲指示操作を行う湾曲指示操作手段としての例えばジョイスティック21が設けてある。
そして、術者20は、このジョイスティック21を操作することにより、この操作部14内部に設けられた電気的な湾曲駆動手段を形成するモータユニット22を介して、湾曲部18を電気的に湾曲することができる。
また、術者20が後述する自動湾曲制御モードを選択した場合においては、PC本体7によるモータ制御により、挿入部9の先端側を挿入部9が挿通される管腔の走行方向に向くようにモータユニット22を介して湾曲部18の湾曲制御を電気的に行う。
また、図1に示すように、挿入部9がその軸の回りで捻られた場合の捻り量を検出できるように、挿入部9における例えば後端側の外周面に捻り量検出ユニット23が設けてある。
本実施形態の内視鏡湾曲制御装置は、内視鏡2の湾曲部18を電気的に湾曲駆動するモータユニット22の湾曲制御を行うPC本体7を主として構成される。
なお、図1における内視鏡装置6としては、例えば図2に示すような外観である。この図2では、PC本体7は内視鏡2内のモータユニット22の湾曲制御ユニットとして内視鏡装置6を構成している。
また、図1では内視鏡2にジョイスティック21が用いられているが、図2に示すようにジョイパッドで湾曲指示操作手段を形成しても良い。
本実施形態では、術者20が湾曲指示操作手段としての例えばジョイスティック21を手動(マニュアル)で湾曲操作を行うことにより、先端部10側を管腔の走行方向に設定して内視鏡2を挿入する手動湾曲による通常の湾曲制御モードの他に、内視鏡画像から管腔暗部の位置を(目標位置として)画像処理により3次元的に推定すると共に、挿入部9の先端側の挿入形状を推定し、挿入部9の先端が目標位置の方向に向くように湾曲部18を電気的に湾曲制御する自動湾曲制御モードを備える。
図3に示すように、挿入部9内には照明光を伝送するライトガイド31が挿通され、このライトガイド31は、図1或いは図2に示す操作部14,ユニバーサルケーブル15を経てその後端が光源装置3に接続される。
このライトガイド31の後端面には、光源装置3内の図示しないランプからの照明光が入射される。そして、ライトガイド31により伝送された照明光は、先端部10に設けられた照明窓に固定されたライトガイド先端面から前方に出射される。
そして、照明窓からこの挿入部9の長手軸の前方側に出射される照明光により、挿入部9が挿入される体腔内における長手軸の前方側を照明する。図3に示すように照明窓に隣接して設けられた観察窓には、光学像を結ぶ対物レンズ32が取り付けられており、その観察視野或いは撮像範囲は照明光で照明される。
光学像を結ぶ対物レンズ32と、その結像位置に配置された固体撮像素子としての例えばCCD33とにより撮像装置34が形成されている。
このCCD33により光電変換されたCCD出力信号或いは撮像信号は、プロセッサ4に入力される。このプロセッサ4により撮像信号に対する信号処理を行い、内視鏡画像を内視鏡モニタ5に表示する内視鏡画像信号(映像信号)として例えばRGB信号等を生成する。内視鏡画像信号は、内視鏡モニタ5に入力され、内視鏡モニタ5の内視鏡画像表示エリアに内視鏡画像が表示される。
なお、この内視鏡画像信号は、画像処理及びモータ制御(或いは湾曲制御)を行う画像処理/モータ制御装置としてのPC本体7にも入力され、挿入部9の先端を体腔内の走行方向に挿入させるための位置情報の検出の画像処理に利用される。
また、本実施形態に係る内視鏡2においては、挿入部9内には、挿入部9の挿入形状(内視鏡形状ともいう)を検出するために、それぞれ位置情報を発生する位置情報発生手段として複数のUPDコイル(以下、単にコイルという)36a、36b、36c、…が、例えば先端部10から可撓部19における適宜の位置まで、例えば所定間隔で配置されている。
そして、これらのコイル36a、36b、36c、…の各コイル位置を検出することにより、挿入部9の挿入形状を算出することができる。特に、挿入部9の先端側の複数のコイル、例えば36a、36b、36cの各位置を検出することにより、挿入部9の先端位置の他に、その長手軸の方向(向き)を検出することができる。
また、本実施形態では、図4に示すように長手軸の方向に配置されたコイル36a、36b、36cの他に、例えば長手軸に配置されたコイル36aと直交する方向で、湾曲部18を湾曲させる場合の上方向の湾曲方向(Up湾曲方向或いは単にUp方向という)に、そのソレノイドの軸(巻線の軸)を設定したコイル36a′が、コイル36aに隣接して先端部10内に配置されている。
この場合、コイル36aとコイル36a′の巻線の方向と直交させた配置となっている。なお、コイル36aとコイル36a′の巻線の方向と直交させた配置に限らず、巻線の方向を平行にしても良い。
なお、図4においては、コイル36cに対して、コイル36a″が同様の配置関係となるようにコイル36c、36a″が配置されている。
このような配置にすることにより、各コイル36a、36b、36c、36a′、36a″…の位置を検出することにより、先端部10の位置の他に、先端部10の(長手)軸周りの回転角又は方位(Up方向やCCD33の上方向)、換言すると挿入部9の捻りによる回転角又は方位の変化も検出できる。つまり、これらのコイルは、回転角検出部を形成する。
コイル36a、36b、36c…は、その後端側のケーブルがUPD装置11に接続される。
また、図1に示すUPD装置11は、コイル36a、36b、36c…を所定の周波数のドライブ信号の印加により磁界を発生させる図示しないUPDドライブ回路と、磁界を検出するためにそれぞれ所定の位置関係で配置された複数のセンスコイルからなる磁界検出用のセンスコイルユニットとを備えている。
また、このUPD装置11は、複数のセンスコイルによる検出信号から各コイル36a、36b、36c、…の位置を検出(算出)する位置検出部と、各コイル36a、36b、36c、…の位置情報から挿入部9(内視鏡2)の挿入形状の算出処理と、算出された挿入形状の表示処理を行う挿入形状算出・表示処理回路とを内蔵し、またその挿入形状を表示する図示しない形状表示モニタとを備えている。
なお、UPD装置11における少なくともセンスコイルユニットは、図1のベッド12の近傍に配置され、ベッド12に横たわる患者13における挿入部9が挿入される3次元領域をカバーする座標系(ワールド座標系という)で、コイル36a、36b、36c、…の位置、つまりワールド座標系における3次元の座標位置を検出する。
なお、図1に示すように挿入部9の捻り量を検出する捻り量検出ユニット23は、図4に示すようなコイル36a′を設けて先端部10の方位(Up方向)を検出可能とした場合には、必要不可欠となるものではない。
図5は、UPD装置11により生成される挿入形状の1例を示す。この図5に示すように3次元の座標系で例えばjフレーム(ただし、j=0、1、2…)におけるコイル36a、36b、36c、…の位置(Xji,Yji,Zji)(ここで、i=a,b…,m)が算出され、それらを結ぶことにより、挿入形状が生成される。
UPD装置11により検出されたコイル36a、36b、36c、…の位置を含む挿入形状データは、図6Aに示すように、各フレームに関するフレームデータ(つまり、第0フレームデータ、第1フレームデータ、…)として構成されており、PC本体7に順次送信される。
そして、挿入状態情報としての各フレームデータは、図6Bに示すように、挿入形状データの作成時刻、表示属性、付属情報及びコイルの3次元座標データ(コイル座標データ)等のデータを有して構成されている。
また、コイル座標データは、図6Cに示すように、挿入部9の先端側から基端側(操作部14側)に順次配置されたコイル36a、36b、36c、…の3次元座標をそれぞれ示すデータである。
一方、先端部10に設けられた撮像装置34により得られる内視鏡画像は、挿入部9の体腔内(以下では大腸のような管腔内)への挿入量に伴って変化する。
このため、内視鏡画像から検出される管腔内の管腔暗部の位置情報は、ワールド座標系に変換される。なお、この管腔暗部の位置情報は、管腔の走行方向に対応するため、その位置情報が挿入部先端を管腔の深部側に挿入(導入)すべき目標位置若しくは湾曲すべき湾曲方向の目標位置となる。
なお、先端部10に設けられた撮像装置34による観察方向(撮像方向)は、この内視鏡2においては挿入部9の長手軸と平行であり、上記挿入方向或いは湾曲方向は、撮像装置34による観察方向と同じ方向となる。
UPD装置11内部のコイル位置検出部により検出されたコイル36a、36b、36c、36d…のコイル座標位置及び方向の情報は、PC本体7にも入力される(後述する図7参照)。
図3に模式的に示すように湾曲部18は、その長手方向に複数の湾曲駒が回動自在に連結して構成されている。また、挿入部9内には、上下、左右の湾曲方向に沿って湾曲ワイヤ41u、41d、41l、41rが挿通されている。そして、これらの湾曲ワイヤ41u、41d、41l、41rの後端は、例えば操作部14内に配置されたモータユニット22を構成するプーリ42a、42bに連結されている。
操作部14内には上下方向の湾曲ワイヤ41u、41dの両端が連結されたワイヤが巻装されたプーリ42aと、左右方向の各湾曲ワイヤ41l、41rの両端が連結されたワイヤが巻装されたプーリ42bが設置されている。
各プーリ42a,42bは、それぞれ上下湾曲(駆動)用のUDモータ43a,左右湾曲用のRLモータ43b(単にモータ43a、43bとも略記)の回転軸に連結され、正転及び逆転が自在のモータ43a,43bの回転方向に応じて回転される。
上下、左右方向の湾曲駆動手段を構成するこれらのモータ43a,43bは、図7に示すようにモータユニット22に接続されたPC本体7から制御される。
そして、モータ43a,43bによりプーリ42a,42bを回転することによって、湾曲ワイヤ41u、41d、41l、41rを牽引/弛緩(押し引き)して湾曲部18を電気的に湾曲駆動する電気的湾曲駆動手段が構成されている。
モータ43a,43bを介してプーリ42a,42bを回転させる回転量に応じて湾曲部18の湾曲量が対応するため、プーリ42a,42bの回転量をプーリアングル或いはプーリ角という。
モータ43a,43bの回転角(モータ角ともいう)或いはプーリ角は、回転角或いは回転位置の検出手段として、例えばモータ43a,43bの回転軸にそれぞれ取り付けられている上下用ロータリーエンコーダ(UDエンコーダ)44a,左右用ロータリーエンコーダ(RLエンコーダ44b)によってそれぞれ検出される。
これらのUDエンコーダ44a,RLエンコーダ44bによるエンコーダ出力は、図7に示すようにPC本体7に入力される。
そして、自動湾曲制御モードの場合においては、モータユニット22内のモータ43a、43bは、PC本体7側からのUPD装置11による目標位置の推定結果と、現在の(内視鏡)先端部10側の位置及び方向から目標位置の方向に湾曲部18を湾曲駆動するように回転が制御される。
この他にPC本体7は、画像処理により、湾曲させたい方向に相当する目標位置の算出の処理を行う。
なお、自動湾曲制御モードは、後述するように内視鏡画像の画像解析結果により電気的に湾曲制御を行う湾曲制御モードである。
代表的な自動湾曲制御モードとしては内視鏡画像に対する管腔暗部の画像解析(つまり画像特徴量算出)により管腔暗部を検出して、その管腔暗部を(内視鏡画像の)中心に捉えるように湾曲制御を行う第1の湾曲制御モードとしてのセンタリングモードと、管腔暗部を検出出来なくなった場合或いはこれに近い条件になった場合には管腔暗部が存在する方向を過去の湾曲制御の履歴情報から推定し、推定した方向に内視鏡先端を向けるように管腔暗部を探索する第1の湾曲制御モードとしての探索モードとがある。
換言すると、算出された画像特徴量から管腔暗部の位置を、挿入目標として挿入部先端をその位置に向けるように湾曲部18を湾曲させる湾曲動作モードとしてのセンタリングモードと、過去に算出された管腔暗部の位置を含む履歴情報から、現在の管腔暗部の位置を推定し、推定されたその位置の方向に挿入部先端を向けるように湾曲させる湾曲動作モードとしての探索モードとがある。
このように本実施形態では、センタリングモードにおいて管腔暗部を検出出来なくなった(管腔暗部の“消失或いは見失い”)の場合には、探索モードに切り替える。本実施形態では更に、センタリングモードと探索モード間とを予め設定した切替条件に従って切り替えることによって、より安定した挿入のための湾曲制御を行うようにしている。
また、さらに予め設定した切替条件を、切替条件を切り替える条件或いは切り替えるべき場所で有るか否かの判定結果により変更することにより、挿入されている管腔部位(場所)によって異なる特徴、特性を持つ場合にも、その深部側に円滑に挿入できるようにしている。
なお、手動操作により湾曲を行う場合には、操作部14に設けられた湾曲指示操作手段としてのジョイスティック21によって上下、左右の任意の湾曲方向への指示値に応じて、エンコーダ出力がその値に一致するように、モータ43a、43bの回転駆動量(プーリ42a,42bのプーリアングルに相当する)が制御され、湾曲部18は湾曲指示された湾曲量まで湾曲する。
このため、ジョイスティック21には、例えば上下方向と左右方向への傾動操作量を検出する図示しないエンコーダが設けてあり、湾曲指示値、方向の指示情報を出す。この場合には、PC本体7は、単にエンコーダ出力が指示値に一致するように湾曲制御する。 図7は、PC本体7の機能的な構成を示す。プロセッサ4からの内視鏡画像信号は、PC本体7内のA/D変換回路51を介してメモリ52内に内視鏡画像のデータとして格納される。
また、UPD装置11によるコイル座標と方向の情報は、コイル情報取得スレッド53を介してメモリ52内に、内視鏡形状パラメタ、具体的には、コイル座標位置、コイル方向、先端Up方向のデータとして格納される。
そして、内視鏡画像のデータと内視鏡形状パラメタのデータは、CPUにより形成されるメイン処理部(或いはメインスレッド)55に出力される。
なお、CPUは、このメイン処理部55の処理だけでなく、他の処理、例えば後述する湾曲量制御スレッド56の処理を行う構成であっても良いし、図7に示すメイン処理部55が湾曲量制御スレッド56の処理を行う構成であっても良い。
また、内視鏡2のモータユニット22のエンコーダ出力は、湾曲量制御スレッド56に入力される。そして、湾曲量制御スレッド56は、モータユニット22からのエンコーダ出力(つまりプーリアングル)を、その時間tのデータ(情報)と共にメモリ52の(保存用)湾曲量パラメタとして記憶する。
そして、この湾曲量パラメタは、他のデータと共に、メイン処理部55を介して履歴情報の格納部(記憶部)としてのリングバッファ58に格納される。このリングバッファ58には、時間tの経過に従って、過去の時間tと共に、過去の湾曲制御に用いられるデータが時間順(時系列)に格納される。
具体的には、(内視鏡)先端位置、その方向、Up方向(或いは絶対捻り量)、目標位置、湾曲角(或いはプーリアングル)等のデータがそれぞれ時間t順にリングバッファ58に格納される。なお、目標位置が算出できない場合には、目標位置のデータが欠落したり、それに関連する湾曲角が欠落するデータとなる。
また、ここで用いられているリングバッファ58は、リング状に記憶部M1、M2,…Mnが形成されており、記憶部M1から順次記憶部Mnまでデータが記憶されると、次のデータは最初の記憶部M1に上書き(オーバライト)される。
そして、このリングバッファ58に格納された過去の湾曲制御に用いられたデータは、自動湾曲制御モードにおいて、内視鏡画像から管腔暗部が消失して管腔暗部を検出できないような場合、或いは後述する切替条件に従って、具体的には探索モードに切り替えられた場合に利用されることになる。
この探索モードにおいては、管腔暗部が消失した時間からリングバッファ58に格納されている過去の履歴情報を参照して、例えば管腔暗部が検出された時間での湾曲制御情報を読み出す。
そして、現在の湾曲制御状態から過去の管腔暗部が検出された湾曲制御状態に戻すような湾曲制御を行い、内視鏡画像中に管腔暗部が検出されるようにする。
なお、以下においては、自動湾曲制御モードにおけるセンタリングモードや探索モードを、紛らわしい場合を除いて単に動作モードで総称する。
上記湾曲量制御スレッド56には、メイン処理部55による処理で生成され、メモリ52内に一時格納された(制御用)湾曲量パラメタのデータが入力される。
この湾曲量パラメタとしては、現在のプーリアングルから目標位置の方向に設定すべきプーリアングルとしての設定プーリアングルである。なお、上述した(保存用)湾曲パラメタとして、メイン処理部55による処理で生成された(制御用)湾曲量パラメタで流用しても良い(両者の時間差が短い場合には、両者は殆ど同じ値となる)。
なお、図7において点線で示すように、捻り量検出ユニット23が用いられた場合には、捻り量検出ユニット23により検出される相対捻り量が、捻り量取得スレッド57を介してメモリ52内における例えば内視鏡形状パラメタのデータの1つとして相対捻り量のデータとして格納される。
湾曲量制御スレッド56は、算出されたプーリアングルをモータ電圧(より具体的には、UDモータ電圧値、RLモータ電圧値)に変換してモータユニット22のUDモータ43a,RLモータ43bに出力する。
また、メイン処理部55は、ビデオ回路59aを経て表示しようとする情報をPCモニタ8に出力し、例えば後述する先端通過目標位置の検出、又は湾曲量パラメタ等、術者への提示すべき情報を表示する。
また、術者20等のユーザは、例えばキーボード59bから湾曲制御モードに関するモード選択、データ入力等をメイン処理部55に指示することができる。なお、モード選択等をキーボード59b以外の、スイッチ、マウスその他の入力デバイスで行うようにしても良い。
また、本実施形態においては、例えば不揮発性メモリに、複数の動作モード間の切替条件に相当する情報と、その切替条件自体を変更した切替条件変更の情報(切替条件・変更情報と略記)を格納して切替条件・変更情報格納部60が設けられている。
そして、自動湾曲制御モードが選択された場合には、メイン処理部55は、後述するようにこの切替条件・変更情報格納部60に格納されている複数の動作モード間の切替条件の情報を参照して動作モード間の切替(例えばセンタリングモードと探索モード間の切替)や、挿入されている部位が(内視鏡先端の)移動により変化したような場合には、内視鏡先端が移動した場所(の部位)の湾曲制御に適した切替条件となるように切替条件自体を変更(切替)する。
また、本実施形態においては、内視鏡先端は、実際には大腸等の管腔臓器の挿入路(挿入パス)内に、その挿入パスの深部側に向けて挿入されていくため、内視鏡先端が位置する複数の挿入パス場所(以下、パス値)PI(I=1,2,…)或いは挿入長Lに応じて切替条件を変更する構成例にしている。そして、パス値PIに応じて切替条件を変更することにより、内視鏡画像中の管腔暗部等の特徴量或いは特徴量パラメタが挿入パス内で変化する場合にも適切に対応できるようになる。
つまり、切替条件・変更情報格納部60には、パス値PIと関連付けて各動作モードの切替条件に関連する情報(具体的には特徴量パラメータ)全てがリストアップされてセットにされたパスリスト60aとして、(より広義には関連付けて)格納されている。
そして、このように挿入パスにおける実際に内視鏡先端が位置する管腔(臓器)内の挿入場所としてのパス値PIと共に、切替条件に相当する各情報を切り替える或いは変更することにより、管腔内の深部側への円滑な挿入を行い易くなるようにしている。
図8は、メイン処理部55による機能的な構成を示す。
図8に示すようにメイン処理部55は、内視鏡画像における管腔情報から目標位置を検出する画像内目標位置検出部55aの機能と、コイル座標から内視鏡各部の位置、方向を検出する内視鏡形状処理部55bと、相対捻り量から絶対捻り量を算出する捻り量算出部55cの機能を有する。なお、点線で示すように捻り量算出部55cは、相対捻り量が入力された場合にこの処理を行う。
画像内目標位置検出部55aは、内視鏡画像から内視鏡画像内における管腔の走行方向に相当する管腔暗部の中心の位置(或いは重心の位置)を2次元の位置情報として検出する。
この管腔暗部の位置は、CCD33の画素サイズ、焦点距離等の値を考慮して検出される。そして、その時刻における挿入部9の先端位置に対する管腔暗部の位置の情報から、その方向が挿入部先端(内視鏡先端)の挿入方向として検出される。
また、この管腔暗部の2次元の位置情報は、さらにその管腔暗部の奥行き方向の値を含めた3次元の位置が、、例えば陰影からの形状復元法としてのShape From Shading法(SFS法と略記)により算出される。そして、この3次元の位置情報は、挿入部9先端を指向させて導入すべき目標位置の情報として利用される。
なお、画像内目標位置検出部55aで検出された目標位置は、画像内目標位置検出部55a内の座標系変換部によりワールド座標系の目標位置に変換される。
そして、変換された目標位置は、湾曲量算出を行う湾曲量算出部55dに出力される。 湾曲量算出部55dには、内視鏡形状処理部55bにより、内視鏡各部の位置、方向、速度の情報が入力される。なお、画像内目標位置検出部55aにより目標位置が検出できない場合或いは動作モードを切り替えた方が望ましいと予め設定された切替条件に従って、以下に説明する動作モード/切替条件判定部55fにより、動作モードが切り替えられる。
また、この湾曲量算出部55dには、捻り量算出部55cから絶対捻り量も算出される。この絶対捻り量は、捻り量検出ユニット23が設けてない場合には、算出されない。
捻り量検出ユニット23に基づく捻り量から挿入部9がその軸方向の回りで回転された回転角が検出される。
なお、捻り量検出ユニット23が設けてない場合にも、図4に示したコイル36a、36a′の位置検出により、(Up方向が検出でき、これにより捻り量を用いないで)内視鏡先端の湾曲方向(或いは軸回りの方位)を算出することができる。
本実施形態においては、メイン処理部55は、さらに内視鏡画像からその内視鏡画像内における内視鏡先端の管腔内挿入状態(或いは挿入部位状態)を検出或いは推定する管腔内挿入状態推定手段として、画像特徴量算出部55eを有する。
この画像特徴量算出部55eは、主に内視鏡画像における管腔暗部に関係する画像特徴量を算出する。具体的には、図11に示すように管腔暗部距離D,ハレーション画素比率a、暗部画素比率b、(管腔暗部)長円長軸/短軸比r、エッジ線最大長eの画像特徴量を算出する。
ここで、管腔暗部距離Dは、内視鏡先端から管腔暗部までの距離を表す。この管腔暗部距離Dは、内視鏡画像から得られた管腔暗部の2次元の情報をSFS法により3次元情報に変換して算出される。
また、ハレーション画素比率aは、内視鏡画像中における全画素におけるハレーション画素の比率を表す。ここで、ハレーション画素は、例えば内視鏡画像を形成するR,G,B成分の信号画素の各(信号)画素値(画素レベル又は輝度レベル)が飽和する値或いはこれに近い閾値以上と判定された画素である。
また、暗部画素比率bは、内視鏡画像中における全画素における暗部と判定される画素の比率を表す。ここで、暗部画素は、例えばR,G,Bの信号画素の各画素値が黒レベル或いはこれに近い閾値以下と判定された画素である。
また、(管腔暗部)長円長軸/短軸比rは、管腔暗部は通常長円形として検出されるため、その長円と見なした場合の長軸と短軸との比を表す。
また、エッジ線最大長eは、内視鏡画像からエッジ抽出を行った場合に抽出されるエッジ線における最大長である。
なお、この他にエッジコーナ(図15参照)の有無も画像特徴量の1つになる。
画像特徴量算出部55eは、算出した画像特徴量を、例えば湾曲量算出部55d内の動作モード/切替条件判定部55fに出力する。
なお、画像特徴量算出部55eにより算出した画像特徴量における管腔暗部に関する情報を画像内目標位置検出部55aに送り、画像内目標位置検出部55aは、その情報を用いて目標位置を算出するようにしても良い。
また、動作モード/切替条件判定部55fには、内視鏡形状特徴量算出部55gにより算出された内視鏡形状特徴量も入力される。この内視鏡形状特徴量算出部55gは、コイル座標の情報から内視鏡形状特徴量を算出する。
この内視鏡形状特徴量は、具体的には図11に示すように挿入長Lである。この挿入長Lは、例えば大腸等の挿入入り口の位置から、内視鏡形状に沿って内視鏡先端に設けられているコイル座標の位置までの距離で算出できる。
なお、この他に図16A或いは図16Bにて後述するような動作モードを考慮した場合には現在の湾曲部18の湾曲量や、挿入部9の単位時間当たりの捻り量も内視鏡形状特徴量に設定するようにしても良い。
そして、動作モード/切替条件判定部55fは、算出された画像特徴量と内視鏡形状特徴量をパスリスト60aの情報(この場合には切替条件の情報)のパラメタ値と比較して、比較結果から動作モードを切り替えるか否かの判定を行う。なお、この場合の判定は、主として算出された画像特徴量に基づいて行われる。
また、動作モード/切替条件判定部55fは、切替条件変更の情報のパラメタ値と比較して切替条件自体を切り替えるか否かの判定とを行う。
この場合には、主として算出された内視鏡形状特徴量に基づいて行われる。この切替条件変更は、管腔臓器における挿入する際、管腔暗部等の特徴量や、管腔臓器自体の特徴(例えばその部分での管腔臓器が、大きく屈曲していたり、他の部分に比較して変形自在となるような特徴)に適切に対応するために設定されている。
そして、動作モード/切替条件判定部55fによる判定結果により動作モードの切替が行われたり、切替条件自体が変更される。この動作モード/切替条件判定部55fは、動作モード切替部と、切替条件変更部の機能を持つ。
このように動作モードの切替及びその切替条件を、体腔内への挿入場所等に応じて切り替えるようにすることにより、内視鏡先端を体腔内の深部側に円滑に挿入し易くする湾曲制御を可能にする。
また、各動作モードにおいて、湾曲量算出部55dは、入力される情報における内視鏡先端の位置及び方向の情報から、現在の内視鏡先端の位置及び方向を算出する。
また、湾曲量算出部55dは、現在の内視鏡先端の位置及び方向を算出した後、その状態から目標位置の方向に内視鏡先端を湾曲させるため、図9に示すように湾曲角を算出する。
算出された湾曲角は、設定プーリアングルとしてメモリ52を経て湾曲量制御スレッド56に出力される。この湾曲量制御スレッド56は、設定プーリアングルからモータ電圧(UDモータ電圧、RLモータ電圧)に変換してモータユニット22内のUDモータ43a、RLモータ43bに印加する。
そして、UDモータ43a、RLモータ43bの回転駆動により、湾曲部18は、内視鏡先端が目標位置の方向に一致するように湾曲される。
図9は、湾曲角(φ、θ)を挿入部9の先端との関係で示す。図9の左側は、内視鏡先端の向き(方向)と、湾曲させたい方向(つまり目標位置の方向)とのなす角θを示す。また、図9の右側の先端面を正面から見た図は、湾曲の上(U)方向と、湾曲させたい方向とのなす角φを示す。
また、図10は、湾曲量制御スレッド56の機能的な構成を示す。推定により算出される湾曲角(φ、θ)の情報は、絶対プーリ角変換部56aに入力される。絶対プーリ角変換部56aは、湾曲角(φ、θ)の情報をUD方向の絶対目標プーリ角(プーリアングル)と、これに直交する方向となるRL方向の絶対目標プーリ角との情報に変換する。
そして、生成されたUD方向の絶対目標プーリ角と、RL方向の絶対目標プーリ角とは、モータ電圧設定部56bに入力される。
そして、モータ電圧設定部56bは、UD方向の絶対目標プーリ角及びRL方向の絶対目標プーリ角の情報と、UDエンコーダによる現在のプーリ角及びRLエンコーダによる現在のプーリ角の情報とからPID制御により、デジタルのモータ電圧をそれぞれ生成する。
そして、デジタルのモータ電圧は、A/D変換ユニット56cにより、アナログのモータ電圧に変換された後、UDモータ43a、RLモータ43bにそれぞれ印加される。 なお、PID制御は、フィードバック制御の一種であり、入力値の制御を出力値と目標値との偏差、その積分、及び微分の3つの要素によって行う方法のことである。
図11は、挿入対象部位を例えば図12に示すように大腸61に設定し、その大腸61内に内視鏡2を円滑に挿入するための(動作モードの切り替えに使用される)切替条件と、この切替条件をパス値PI(ここではI=1,2,3)の移行或いは変更に応じて切り替える特徴量パラメタ等の詳細を示す。
なお、以下では簡単化のため、動作モードの切替に関しては、センタリングモードと探索モード間での切替について説明する。
図11に示すように切替条件を決める特徴量或いは特徴量パラメタとしては、管腔暗部距離D,ハレーション画素比率a、暗部画素比率bが用いられる。
また、パス値PIの移行に応じて切替条件を切り替える場合の条件を決めると特徴量或いは特徴量パラメタとしては、挿入長L、(管腔暗部長円)長軸/短軸比r、エッジ線最大長e、エッジコーナ有り、が用いられる。
そして、前者の切替条件をパス値PIの移行に応じて変更することにより、移行した次のパス値P(I+1)においても適切な(動作モードの)切替条件下で、その動作モードで挿入のための湾曲制御を行うようにする。
具体的には、図12に示すように直腸62aにおいてはパス値P1の切替条件に、S状結腸62bにおいてはパス値P2の切替条件に、下行結腸62cにおいてはパス値P3の切替条件に、それぞれ設定する。そして、各パス値PIにおける切替条件は、以下のような特徴量パラメタとの比較により決定される。
パス値P1における(動作モードの)切替条件は、
センタリングモード:D>D1、a<a1、b<b1(の条件を満たす場合)
探索モード:D≦D1、a≧a1、b≧b1(の条件を満たす場合)
パス値P2における(動作モードの)切替条件
センタリングモード:D>D2、a<a2、b<b2(の条件を満たす場合)
探索モード:D≦D2、a≧a2、b≧b2(の条件を満たす場合)
パス値P3における(動作モードの)切替条件
センタリングモード:D>D3、a<a3、b<b3(の条件を満たす場合)
探索モード:D≦D3、a≧a3、b≧b3(の条件を満たす場合)
となる。
この他に目標位置が算出できない場合には、探索モードに切り替えられる。なお、上記の切替条件は1つの例を示すものであり、これらの切替条件の場合に限定されるものでない(複数の特徴量パラメタD,a,bから1つのみを採用するようにしても良い)。
また、パス値P1からパス値P2への切替条件への切替を行う切替条件は、
L>L1,r<r1
パス値P2からパス値P3への切替条件への切替を行う切替条件は、
L>L2,e>e2
パス値P3移行のパス値への切替条件への切替を行う切替条件は、
L>L3,エッジコーナ有り
の各条件を満たす場合となる。本実施形態においては、上記した切替条件の特徴量パラメタと、切替条件を変更する特徴量パラメタとがパスリスト60aとしてセットにされている。
なお、管腔暗部距離D,ハレーション画素比率a、暗部画素比率b、挿入長L、長軸/短軸比r、エッジ線最大長eは、図11の最も右の欄に示すように各パス値において、D3>D1=D2,a2=a3<a1、b1=b3<b2、L1<L2<L3、r1<1.4、e2<画像幅×0.8の大小関係となる。
なお、上記切替条件を簡略化して、挿入長Lのみで行うようにしても良い。
また、管腔暗部距離D等に関する補足説明は以下のようになる。
管腔暗部距離Dに関しては、パス値P1の直腸62a〜パス値P3の下行結腸62c中において、下行結腸62cは、ほぼ直線状である。このため、その管腔暗部距離D3は、長くなることが一般的である。他の部位では、その管腔暗部距離D1,D2が短くても、管腔暗部の“消失或いは見失い”ではない場合がある。
ハレーション画素比率aに関しては、パス値P1の直腸62aではその屈曲角度がきつい(大きい)ため、その腸管に対して内視鏡先端が腸壁に直角に対峙し易い。このため、そのハレーション画素比率a1は大きくなり易い。
これに対して、他の部位では、管腔暗部の“消失或いは見失い”時において、それ程ハレーション画素比率a2,a3が高くない。
暗部画素比率bに関しては、パス値P2のS状結腸62bでは、襞が多いため、内視鏡画像内に目標となる管腔暗部以外の暗部(襞の陰)が多い。このため、その暗部画素比率b2は大きくなる。これに対して、他の部位では、管腔暗部の“消失或いは見失い”時において、それ程暗部画素比率b1,b3が高くない。
挿入長Lに関しては、直腸62aからの(内視鏡先端の)挿入につれ、その挿入長が長くなる。
長軸/短軸比rに関しては、その定義からその値は1.0以上となる。そして、その値が1.4より小さいとほぼ円形状となる。そして、この1.4は経験による設定値である。
また、エッジ線最大長eに関しては、画像幅×0.8よりも長い時、画面上に現れるエッジが十分に大きいと見なす。ここで、0.8は、経験による設定値である。また、エッジが長いと襞が画面上に現れる、つまりS状結腸62bの判定に有効な特徴を表す。
次に図13を参照して本実施形態による湾曲制御の動作を説明する。
最初のステップS1において、メイン処理部55は、初期設定を行う。次のステップS2においてメイン処理部55は、コイル情報、つまり各コイル位置の情報を取得する。 次のステップS3においてメイン処理部55は、コイル位置の情報から内視鏡の先端位置、先端方向の算出を行う。次のステップS4においてメイン処理部55は、内視鏡画像の画像データの取得を行う。
次のステップS5においてメイン処理部55は、画像データのディストーションの補正を行う。これは、対物レンズ32が歪曲収差などを有するため、対物レンズ32により得られた内視鏡画像の画像データの歪み補正を行う。
次のステップS6においてメイン処理部55は、内視鏡画像から内視鏡先端を通過させようとする先端通過目標位置の検出を行う。なお、ここで用いている先端通過目標位置は、現在の内視鏡先端位置(及び方向)の状態において、この内視鏡先端を実際に通過させようとする目標位置としての意味を明確化して表わしている。この先端通過目標位置の検出に関しては図14にてより詳細に説明する。
次のステップS7においてメイン処理部55は、ステップS6により検出された先端通過目標位置は、2次元の位置情報であるため上述したSFS法等を用いて3次元座標に変換する。
そして、次のステップS8においてメイン処理部55は、現在の内視鏡先端位置の状態から先端通過目標位置を目標位置としてその方向に内視鏡先端の方向を一致させるように湾曲させる湾曲方向に相当する目標プーリアングルの算出を行う。
次のステップS9において、算出した目標プーリアングルから対応するモータ電圧を算出する。なお、この算出は、図7に示した構成例においては湾曲量制御スレッド56の処理として行う。算出されたモータ電圧は、モータユニット22のモータ43a、43bに印加され、モータ43a、43bの回転駆動により湾曲部18が湾曲駆動される。そして、ステップS9の処理後に、ステップS2の処理に戻る。
次に図14を参照してステップS6の先端通過目標位置の検出の処理を説明する。
最初のステップS11においてメイン処理部55は、内視鏡画像から画像特徴量(パラメタ)の算出を行う。
そして、次のステップS12においてメイン処理部55は、内視鏡形状特徴量(パラメタ)の算出を行う。
そして、次のステップS13においてメイン処理部55は、パスリスト60aを変更するか否かの判定処理を行う。
この場合、ステップS13の処理が最初に行われる場合、例えば、ステップS1の初期設定においてパスリスト60aとして予めパス値P1に設定されている。具体的には、図15に示すパス値P1に示すような動作モードの切替条件(つまり、現在採用されている第1の切替条件)となり、また、この切替条件とセットにされた次のパス値P2への移行(切替)条件(つまり、第1の切替条件から切り替えられる場合の第2の切替条件)が初期設定されている。
そして、内視鏡先端が図12に示す直腸62a(この場合のパス値はP1)に挿入された状態の場合には、ステップS13の更新は行われない判定がされる。
この判定結果の場合には次のステップS15において、このパスリスト60a(例えばパス値P1)に基づく探索モードへの移行か否かの判定が行われる。
一方、内視鏡先端が図12に示す直腸62aを通過してこの直腸62aよりも奥のS状結腸62b側に移行した場合には、パス値P1からP2への移行(切替)条件に該当する判定、つまり切替条件の更新(変更)の判定が行われる。
この場合にはステップS14に示すように、次のパス値の特徴量パラメタが取得される。つまり、第2の切替条件に変更される。例えば上記のように直腸62aからS状結腸62b側に移行した場合には、パス値P2に相当する特徴量パラメタ等が取得され、パスリスト60aがパス値P2に更新される。このパス値P2の具体例を図15に示している。 また、内視鏡先端が図12に示すS状結腸62bを通過してこのS状結腸62bよりも奥の下行結腸62c側に移行した場合には、パス値P2からP3への移行(切替)条件に該当する判定、つまり更新の判定が行われることになる。このパス値P3の具体例を図15に示している。
ステップS14の処理の後、ステップS15に移る。ステップS15の判定処理において、探索モードへの移行条件に該当する判定が行われた場合には、ステップS16に移る。
ステップS16において湾曲量算出部55dは、リングバッファ58に格納された過去の履歴情報を読み出し、管腔暗部が検出されるような状態に内視鏡先端がなるように湾曲部18を湾曲制御する。そして、管腔暗部が検出される状態になった場合、その状態におけ内視鏡先端に対する先端通過目標位置を決定(或いは算出)する処理を行う。そして、図13のステップS7の処理に移る。
一方、ステップS15の判定処理において、探索モードへの移行条件に該当しないと判定された場合、つまり非探索モードの場合には、ステップS17に移る。なお、この非探索モードは、上述した説明ではセンタリングモードに該当する。
このステップS17においてはこの非探索モードで先端通過目標位置を決定(或いは算出)する処理を行う。そして、図13のステップS7の処理に移る。
このような湾曲制御を行うことにより、本実施形態によれば、大腸61のように挿入パスにおける挿入場所において異なる特徴を有するような管腔臓器の場合にも、内視鏡先端をその深部側に挿入する作業を円滑に行うことが可能となる。
換言すると、設定された1つの切替条件では対応しにくいような挿入対象部位或いは挿入対象臓器の場合においても、挿入パスにおける異なる特徴を有する挿入場所に応じて切替条件を変更するようにしているので、内視鏡先端をその深部側に円滑に挿入することを可能とする湾曲制御を行うことができる。
また、本実施形態では、挿入する場合の入り口からの挿入長Lに対応した挿入対象部位の(内視鏡先端の挿入に対する)特徴の変化に応じて、動作モードの切替条件の情報と、切替条件自体を変更する情報とを纏めて切り替えるようにしているので、動作モードの切替と切替条件の変更との管理が容易となる。
なお、上述の説明においては、動作モードとして第1の動作モードのセンタリングモードと、第2の動作モードの探索モード間の切替に関して説明した。この他に、例えば、図16Aに示すように襞押し込みモードや図16Bに示す回転モードを選択して動作モードとして選択してその動作モードを採用できるようにしても良い。
S状結腸62bのようにその部位での腸管部分の屈曲量が大きく、また固定されていないためにその形状が変化するような部位においては、例えば図16Aに示すように内視鏡2の先端側が大きく湾曲される場合がある。
そのような場合、センタリングモードに設定されていると、管腔暗部を検出できない状態となる。この場合、探索モードに切り替えて管腔暗部を検出することも可能であるが、例えば図16Aに示すように湾曲部18の湾曲量が閾値以上に湾曲されている場合には、探索モードに切り替える前に襞押し込みモードに切り替えるようにしても良い。
そして、この場合には、現在の湾曲方向とは逆の方向に湾曲部18を湾曲させる。つまり、図16Aにおける矢印で示す方向に湾曲させる。そして、内視鏡先端側を2点鎖線で示すような形状にして、深部側に挿入し易くする。なお、襞押し込みモードに切り替えて、例えば設定された時間後にも管腔暗部を検出できない場合には、探索モードに切り替えるようにしても良い。
また、同様にセンタリングモードに設定されている状態で、例えば図16Bに示すように管腔暗部を検出できない状態となった場合、回転モードを選択できるようにしても良い。この回転モードは、術者が内視鏡2の回転操作を行う手動の動作モードである。
このため、例えば湾曲部18の湾曲量がある閾値以上の場合で、かつ内視鏡2の単位時間当たりの捻り量が閾値以上であることを検出した場合、センタリングモードにより管腔暗部が検出できなくなった場合、この回転モードを術者が選択できるようにしても良い。 なお、この場合には、PCモニタ8等に、術者が回転を行う回転操作を表示する。そして、術者は、表示されたように例えば矢印示すように回転操作を行うことにより、2点鎖線で示すように管腔暗部を検出し易い状態にすることができる。
なお、本実施形態の変形例として、例えば図17に示すような構成にしても良い。図17に示す構成例では、PC本体7内のメイン処理部55等の処理を行うCPU71は、上述したパスリスト60aを用いて湾曲制御を行う場合、例えばハードディスク(HDDと略記)72に格納されたパスリスト情報72aから、読み出して使用する。
HDD72には、内視鏡検査を行う管腔臓器(例えば大腸や小腸)や管腔部位に対応して複数のパスリスト60j(j=a,b,…)が予め格納されている。そして、CPU71は、実際に内視鏡検査が行われる管腔臓器、管腔部位に対応したパスリスト60jをHDD72から選択して読み出し、例えばメモリ52等に一時格納して、それを使用する構成にしている。なお、符号73はバスを示す。
本変形例によれば、内視鏡検査を行う管腔臓器が異なる場合にも、その管腔臓器に対して第1の実施形態と同様に円滑な挿入を行うことが可能になる。
なお、患者の体形、術者の手技や等に応じて、パスリスト60jを変更設定するようにしても良い。例えば患者が大きい体形であるとか小さい体形であるような場合には、特徴量パラメータの値を、その体形などに応じて変更設定するようにしても良い。
また、術者による手技に応じて、術者がその術者の手技に適したパスリスト60jを設定するようにしても良い。例えば、挿入の操作を早く行うような手技の術者の場合には、例えばセンタリングモードにおける管腔暗部距離Dの値を、標準の場合よりも大きく設定した方が管腔暗部の消失が発生する確率を低くできる。
また、術者が実際に大腸61等へ内視鏡先端を挿入した場合の湾曲制御の時間的なデータを保存し、その保存したデータからより挿入を円滑に行えるようなパスリスト60jに変更設定するようにしても良い。
(第2の実施形態)
図18から図23は、本発明の第2の実施形態に係るものである。図18は、本発明の第2の実施形態に係る内視鏡システムの要部の構成の一例を示す図である。図19は、図18の端末装置において行われる目標位置検出処理の一例を示すフローチャートである。図20は、図18の端末装置において行われる湾曲制御設定処理の一例を示すフローチャートである。図21は、画像データ内に存在する暗部領域の一例を示す図である。
図22は、画像データ内に存在する暗部領域の、図21とは異なる例を示す図である。図23は、画像データ内に存在する暗部領域の、図21及び図22とは異なる例を示す図である。
本発明の第2の実施形態に係る内視鏡システム101は、図18に示すように、被検体としての患者の体腔内部に挿入されるとともに、該体腔内の被写体の像を撮像する内視鏡102と、内視鏡102に設けられたコネクタ114の着脱が可能なプロセッサ106と、該患者が横たわるベッドの周辺部に配置されるセンスコイルユニット107と、内視鏡挿入形状検出装置108と、端末装置109と、モニタ110a及び110bと、を有して構成されている。
また、プロセッサ106は、撮像対象となる被写体を照明するための照明光を内視鏡102に供給する光源部103と、内視鏡102から出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する信号処理部104と、内視鏡102に対する湾曲制御を行う湾曲制御部105と、ソースコイル駆動部143と、を有している。
内視鏡102は、被検体の内部に挿入される細長の挿入部111と、挿入部111の後端に設けられた操作部112と、操作部112から延出されたユニバーサルコード113とを有している。そして、このユニバーサルコード113の後端には、プロセッサ106への着脱が可能なコネクタ114が設けられている。
挿入部111は、先端側に設けられた硬質の先端部115と、先端部115の後端に接続された湾曲部116と、湾曲部116の後端と操作部112の前端との間に設けられた、可撓性を有する可撓管部117と、を有している。また、挿入部111の内部には、ソースコイル駆動部143により印加されるソースコイル駆動信号に応じた磁界を発生するp個のソースコイルC、C、・・・Cが略等間隔に設けられている。
先端部115には、被写体の像を結像する対物光学系と、該対物光学系を経て結像された該被写体の像を撮像信号として出力する撮像素子等とを具備する撮像部115aが設けられている。
操作部112には、フリーズ画像(静止画像)取得等の指示を行うスコープスイッチ118と、湾曲部116の湾曲モードを手動湾曲モードまたは自動湾曲モードのいずれかに切り替えるための指示を行う湾曲モード切替スイッチ119と、該手動湾曲モードが選択された場合に、湾曲部116の湾曲方向及び湾曲角度の指示を行う湾曲用ジョイスティック120と、が設けられている。また、可撓管部117の後端側であって、操作部112の前端付近にあたる部分には、処置具等を挿通可能な図示しない処置具用チャンネルへ通ずる処置具挿入口139が設けられている。
内視鏡102の挿入部111等の内部には、光源部103から供給される照明光を先端部115へ伝送するライトガイド121が挿通されている。
ライトガイド121の一方の端面(入射端面)は、コネクタ114から突出した状態として配置されている。また、ライトガイド121の他方の端面(出射端面)は、先端部115に設けられた図示しない照明光学系の近傍に配置されている。このような構成により、光源部103から供給された照明光は、コネクタ114がプロセッサ106に接続された状態において、ライトガイド121及び図示しない照明光学系を経た後、撮像部115aの撮像対象となる被写体を照明する。
光源部103は、例えば白色光である照明光を発するランプ122と、ランプ122が駆動する際に要する電源を供給するランプ駆動部123と、絞り124と、信号処理部104から出力される映像信号に基づいて絞り124の絞り量(開口量)を増減させる絞り制御部125と、絞り124を通過した照明光を集光しつつライトガイド121の入射端面へ供給する集光光学系126と、を有している。
絞り制御部125は、例えば、入力される映像信号の輝度成分に基づいて平均の明るさを算出した後、該平均の明るさから適切な明るさに相当する基準値を減じた値である、差分値に基づいて絞り124の絞り量(開口量)を増減させることにより、絞り124を通過する照明光の光量を適宜変化させる。
信号処理部104は、撮像部115aに設けられた撮像素子を駆動するための撮像素子駆動信号を出力する撮像素子駆動部136と、撮像部115aから出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する映像処理部137と、を有している。これにより、モニタ110aには、前記映像信号に応じた内視鏡画像Ia1が表示される。
湾曲制御部105は、湾曲モード切替スイッチ119においてなされた指示に基づき、湾曲部116の湾曲モードが手動湾曲モードに切り替えられた場合には、湾曲用ジョイスティック120の傾き方向及び傾き量に基づいて湾曲部116の湾曲方向及び湾曲角度を変更するための制御を行う。また、湾曲制御部105は、湾曲モード切替スイッチ119においてなされた指示に基づき、湾曲部116の湾曲モードが自動湾曲モードに切り替えられた場合には、端末装置109の演算結果に基づいて湾曲部116の湾曲方向及び湾曲角度を変更するための制御を行う。
ソースコイル駆動部143は、挿入部111の内部に設けられたp個のソースコイルC、C、・・・Cに接続されており、該ソースコイル各々に対して交流のソースコイル駆動信号を順次印加する。これにより、挿入部111の内部に設けられたソースコイル各々の周囲には、交流磁界が発生する。
センスコイルユニット107には、挿入部111の内部に設けられたp個のソースコイルC、C、・・・Cから発せられる磁界を各々検出し、磁界検出信号として出力するセンスコイル群144が設けられている。
位置検出部としての機能を有する内視鏡挿入形状検出装置108は、センスコイルユニット107から出力される磁界検出信号を増幅するアンプ145と、アンプ145から出力される磁界検出信号に基づいてp個のソースコイルC、C、・・・Cの3次元座標位置及び向きを検出し、3次元座標情報として出力するソースコイル位置/向き検出部146と、ソースコイル位置/向き検出部146から出力される3次元座標情報に基づいて挿入部111の挿入形状を推定し、挿入形状画像信号として出力する挿入形状推定部147と、を有している。これにより、モニタ110bには、前記挿入形状画像信号に応じた挿入部111の挿入形状画像Ib1が表示される。
端末装置109は、CPU等からなる演算処理部191を有して構成されている。演算処理部191は、映像処理部137から出力される映像信号と、ソースコイル位置/向き検出部146から出力される3次元座標情報とに基づき、湾曲部116の湾曲モードが自動湾曲モードである場合に行われる湾曲制御に関する演算を行い、演算結果を湾曲制御部105へ出力する。なお、演算処理部191において行われる前記演算等の具体的な内容は、後程述べるものとする。
次に、内視鏡システム101の作用について説明を行う。なお、以降においては、湾曲モード切替スイッチ119が手動湾曲モードに切り替えられた場合の制御についての説明を省略するとともに、湾曲モード切替スイッチ119が自動湾曲モードに切り替えられた場合の制御について主に説明を行うものとする。
まず、術者は、内視鏡システム101の各部を接続及び起動した後、内視鏡102の挿入部111を患者の体腔内に挿入するとともに、湾曲モード切替スイッチ119を自動湾曲モードに切り替える。これに応じて、内視鏡102の撮像部115aにおける被写体の撮像が開始されるとともに、挿入部111に設けられた各ソースコイルにおいて磁界が発せられ始める。
被写体の撮像に伴って撮像部115aから出力される撮像信号は、ユニバーサルコード113及びコネクタ114を経てプロセッサ106へ出力され、映像処理部137において映像信号に変換された後、端末装置109の演算処理部191に入力される。また、挿入部111に設けられた各ソースコイルにおける磁界の発生に伴い、センスコイルユニット107から出力される磁界検出信号は、アンプ145により増幅され、ソースコイル位置/向き検出部146により該各ソースコイルの3次元座標情報として変換された後、端末装置109の演算処理部191に入力される。
端末装置109の演算処理部191は、入力される映像信号に基づく目標位置検出処理を行うことにより、先端部115の通過目標となる3次元座標位置を取得する。
ここで、演算処理部191が行う目標位置検出処理について述べる。
端末装置109の演算処理部191は、入力される映像信号に基づく画像データを取得した(図19のステップS101)後、該画像データに対してディストーション補正を施す(図19のステップS102)。ここまでの処理により、演算処理部191は、入力される映像信号に基づく原画像のモノクロ部分が排除された画像データを取得する。
そして、暗部領域検出部としての演算処理部191は、例えば特開平2−203831号公報に記載されている方法を用いることにより、図19のステップS102の処理において取得した画像データにおける暗部領域を検出する(図19のステップS103)。なお、演算処理部191は、画像の暗部領域を検出するための方法として、特開平2−203831号公報に記載されている方法を用いるものに限らず、他の方法を用いるものであっても良い。
その後、演算処理部191は、図19のステップS103の処理において検出した暗部領域の形状を推定するためのパラメータを算出する(図19のステップS104)。具体的には、演算処理部191は、暗部領域の形状を推定するためのパラメータとして、例えば、暗部領域の1次モーメントm11と、該暗部領域の2次モーメントm02と、該暗部領域の2次モーメントm20とに基づく数式である、下記数式(1)及び(2)を用いた演算を行うことにより、該暗部領域に適合する楕円を当てはめた場合の長軸方向と短軸方向との比Riの値を算出する。
msq=((m20−m02)×(m20−m02)+4×m11×m11)1/2
…(1)
Ri=(((m20+m02)−msq)/((m20+m02)+msq))1/2 …(2)
演算処理部191は、図19のステップS104の処理において算出した比Riの値が所定の閾値Th1より大きいか否かを判定する(図19のステップS105)。
そして、演算処理部191は、比Riの値が所定の閾値Th1以下であることを検出すると、図19のステップS103の処理において検出した暗部領域が例えば図21に示すような略円形形状であると推定した後、該暗部領域の重心点Gaの2次元座標を算出する(図19のステップS110)。なお、演算処理部191は、暗部領域の重心点の2次元座標を算出するための処理として、該暗部領域のエッジ上に存在する各点列に応じて算出される図心を該重心点とみなす処理を行うものであっても良いし、また、該暗部領域の0次モーメント及び1次モーメントを用いて該重心点を算出するものであっても良い。
また、演算処理部191は、比Riの値が所定の閾値Th1より大きいことを検出すると、図19のステップS103の処理において検出した暗部領域が略円形形状とは異なる他の形状であると判断した後、該暗部領域のエッジを抽出する(図19のステップS106)。具体的には、演算処理部191は、画像データを縮小した後、Canny、SobelまたはLaplacianのいずれかのアルゴリズムを縮小された該画像データに対して適用することにより、該暗部領域のエッジを抽出する。
演算処理部191は、図19のステップS106の処理において抽出した暗部領域のエッジに基づき、該エッジの少なくとも一部を外周に含む仮想的な円を形成する(図19のステップS107)。なお、演算処理部191は、前記仮想的な円を形成するための処理として、円ハフ変換に基づく処理を行うものであっても良いし、また、以下に記す処理を行うものであっても良い。
演算処理部191は、暗部領域のエッジ上の各点における濃淡勾配方向を検出した後、該濃淡勾配方向各々に基づき、仮想的な円の中心点のおおよその存在範囲を決定する。さらに、演算処理部191は、前記存在範囲内の一の点から暗部領域のエッジ上の各点までの距離を各々算出し、該距離の総和を該一の点における評価値とする。そして、演算処理部191は、前記存在範囲内の全ての点における前記評価値を算出及び比較することにより、前記評価値が最も小さい点を中心点とし、かつ、該中心点から暗部領域のエッジまでの長さを半径とする仮想的な円を形成する。
演算処理部191は、図19のステップS107の処理において形成した仮想的な円の直径dvが所定の閾値Th2未満であるか否かを判定する(図19のステップS108)。なお、前記閾値Th2は、例えば、図19のステップS102の処理において取得した画像データのサイズ、一般的な管腔の直径の大きさ、または、同一の患者の略同一部位において過去に取得したデータ等を用いて算出される値であるとする。
そして、演算処理部191は、仮想的な円の直径dvが所定の閾値Th2未満であることを検出すると、該仮想的な円の中心点の2次元座標を算出する(図19のステップS109)。具体的には、演算処理部191は、例えば図22に示すような、曲線形状の暗部領域が存在する画像データにおいて、暗部領域のエッジの少なくとも一部を外周に含む仮想的な円Rvの中心点Cvの2次元座標を算出する。
また、演算処理部191は、仮想的な円の直径dvが所定の閾値Th2以上であることを検出すると、暗部領域の重心点の2次元座標を算出する(図19のステップS110)。具体的には、演算処理部191は、例えば図23に示すような、略円形形状及び曲線形状のうちのいずれの形状にも当てはまらない暗部領域が存在する画像データにおいて、該暗部領域の重心点Gbの2次元座標を算出する。
その後、目標位置設定部としての演算処理部191は、図19のステップS110までの処理において算出した、中心点Cv、重心点Gaまたは重心点Gbのいずれかの2次元座標を、例えばShapeFromShading法等の方法を用いることにより3次元座標の目標位置に変換した(図19のステップS111)後、一連の処理を図19のステップS101から再度繰り返し行う。
すなわち、前述した目標位置検出処理により、演算処理部191は、例えば図21に示すような、略円形形状の暗部領域が存在する場合においては、該暗部領域を管腔により生じたものとみなしつつ、先端部115が該管腔の略中心部を通過するように、目標となる3次元座標位置を設定する。
また、前述した目標位置検出処理により、演算処理部191は、例えば図22に示すような、曲線形状の暗部領域が存在する場合においては、該暗部領域を管腔の壁面のひだ等により生じたものとみなしつつ、先端部115が該壁面側へ向かうことなく、かつ、該管腔内において本来向かうはずの位置を先端部115が通過するように、目標となる3次元座標位置を設定する。
一方、演算処理部191は、自動湾曲モードにおける、湾曲部116に対する制御内容を設定するための湾曲制御設定処理を、前述した目標位置検出処理に並行して行う。
ここで、演算処理部191が行う湾曲制御設定処理について述べる。
演算処理部191は、湾曲モード切替スイッチ119が自動湾曲モードに切り替えられた直後のタイミングにおいて、先端部115を通過させる目標位置の初期設定を行うために、前述した目標位置検出処理を行う(図20のステップS121)。
また、演算処理部191は、ソースコイル位置/向き検出部146から出力される3次元座標情報に基づき、先端部115の現在の位置及び向きを算出する(図20のステップS122)。
その後、演算処理部191は、図20のステップS122の処理において算出した先端部115の現在の位置及び向きと、先端部115を通過させる目標位置とを比較することにより、先端部115が該目標位置を通過したか否かを判定する(図20のステップS123)。
そして、演算処理部191は、先端部115が目標位置を通過したことを検出すると、新たな目標位置を設定するために、前述した目標位置検出処理を再度行う(図20のステップS124)。また、演算処理部191は、先端部115が目標位置を通過していないことを検出すると、該目標位置を保持しつつ、引き続き処理を行う。
演算処理部191は、図20のステップS123またはステップS124の処理を経た後、設定した目標位置を先端部115が通過するように、湾曲部116の湾曲量及び湾曲方向を算出する(図20のステップS125)。なお、本実施形態において、演算処理部191は、前述した目標位置検出処理により検出された暗部領域の形状(略円形形状、曲線形状またはその他の形状)に応じ、各々異なる算出方法を用いつつ湾曲部116の湾曲量及び湾曲方向を算出するものであっても良い。
湾曲制御情報算出部としての演算処理部191は、図20のステップS125の処理において算出した湾曲部116の湾曲量及び湾曲方向に基づき、実際に湾曲部116を湾曲させるために必要な情報である、湾曲制御情報の演算を行い(図20のステップS126)、演算結果を湾曲制御部105へ出力した後、一連の処理を図20のステップS122から再度繰り返し行う。
なお、前述した湾曲制御情報は、例えば、湾曲部116がワイヤの一端側に接続された複数の湾曲コマ等からなり、モータの回転駆動に応じて生じる該ワイヤの緊張または弛緩に伴って自身の湾曲状態を変化させることが可能な構成である場合においては、該モータに接続されるプーリの角度及び該モータに印加する駆動電圧に関する情報として示されるものであるとする。また、前述した湾曲制御情報は、例えば、湾曲部116が前述した構成以外の他の構成を有している場合においては、該他の構成に応じた情報として示されるものであるとする。
そして、湾曲制御部105は、自動湾曲モードにおいて、端末装置109の演算処理部191から出力される演算結果に基づき、前述した目標位置検出処理において設定した目標位置を常に先端部115が通過するような制御を湾曲部116に対して行うことができる。
以上に述べたように、本実施形態の内視鏡システム101は、自動湾曲モードにおいて、内視鏡先端部の位置及び向きが内視鏡挿入部の挿入操作に応じた位置及び向きとなるように、内視鏡湾曲部を制御可能な構成を具備している。これにより、本実施形態の内視鏡システム101は、実際に操作を行う者の知識または経験によることなく、内視鏡の挿入操作を容易にすることができる。
(第3の実施形態)
図24から図32は、本発明の実施形態に係るものである。図24は、本発明の第3の実施形態に係る内視鏡システムの要部の構成の一例を示す図である。図25は、先端部を通過させる経路を設定するために行われる処理の一例を示すフローチャートである。図26は、湾曲部に対する湾曲制御内容を設定するために行われる処理の一例を示すフローチャートである。図27は、先端部の現在位置の近傍における管腔の形状の一例を示す図である。図28は、図25のフローチャートの処理の概要に関する模式図である。図29は、先端部を通過させる目標位置を算出する処理の一例を示す図である。図30は、先端部を通過させる目標位置を算出する処理の、図29とは異なる例を示す図である。図31は、図26のフローチャートに追加可能な処理の一例を示す図である。図32は、図31のフローチャートの処理の概要に関する模式図である。
本発明の第3の実施形態に係る内視鏡システム201は、図24に示すように、被検体としての患者の体腔内に挿入されるとともに、該体腔内の被写体の像を撮像する内視鏡202と、内視鏡202に設けられたコネクタ214の着脱が可能なプロセッサ206と、該患者が横たわるベッドの周辺部に配置されるセンスコイルユニット207と、内視鏡挿入形状検出装置208と、端末装置209と、モニタ210a及び210bと、を有して構成されている。
また、プロセッサ206は、撮像対象となる被写体を照明するための照明光を内視鏡202に供給する光源部203と、内視鏡202から出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する信号処理部204と、内視鏡202に対する湾曲制御を行う湾曲制御部205と、ソースコイル駆動部243と、を有している。
内視鏡202は、被検体の体腔(管腔)内に挿入される細長の挿入部211と、挿入部211の後端に設けられた操作部212と、操作部212から延出されたユニバーサルコード213とを有している。そして、このユニバーサルコード213の後端には、プロセッサ206への着脱が可能なコネクタ214が設けられている。
挿入部211は、先端側に設けられた硬質の先端部215と、先端部215の後端に接続された湾曲部216と、湾曲部216の後端と操作部212の前端との間に設けられた、可撓性を有する可撓管部217と、を有している。また、挿入部211の内部には、ソースコイル駆動部243により印加されるソースコイル駆動信号に応じた磁界を発生するq個のソースコイルC、C、・・・Cが略等間隔に設けられている。
先端部215には、被写体の像を結像する対物光学系と、該対物光学系を経て結像された該被写体の像を撮像信号として出力する撮像素子等とを具備する撮像部215aが設けられている。
操作部212には、フリーズ画像(静止画像)取得等の指示を行うスコープスイッチ218と、湾曲部216の湾曲モードを手動モードまたは自動モードのいずれかに切り替えるための指示を行う湾曲モード切替スイッチ219と、該手動モードが選択された場合に、湾曲部216の湾曲方向及び湾曲角度の指示を行う湾曲用ジョイスティック220と、が設けられている。また、可撓管部217の後端側であって、操作部212の前端付近にあたる部分には、処置具等を挿通可能な図示しない処置具用チャンネルへ通ずる処置具挿入口239が設けられている。
内視鏡202の挿入部211等の内部には、光源部203から供給される照明光を先端部215へ伝送するライトガイド221が挿通されている。
ライトガイド221の一方の端面(入射端面)は、コネクタ214から突出した状態として配置されている。また、ライトガイド221の他方の端面(出射端面)は、先端部215に設けられた図示しない照明光学系の近傍に配置されている。このような構成により、光源部203から供給された照明光は、コネクタ214がプロセッサ206に接続された状態において、ライトガイド221及び図示しない照明光学系を経た後、撮像部215aの撮像対象となる被写体を照明する。
光源部203は、例えば白色光である照明光を発するランプ222と、ランプ222が駆動する際に要する電源を供給するランプ駆動部223と、絞り224と、信号処理部204から出力される映像信号に基づいて絞り224の絞り量(開口量)を増減させる絞り制御部225と、絞り224を通過した照明光を集光しつつライトガイド221の入射端面へ供給する集光光学系226と、を有している。
絞り制御部225は、例えば、入力される映像信号の輝度成分に基づいて平均の明るさを算出した後、該平均の明るさから適切な明るさに相当する基準値を減じた値である、差分値に基づいて絞り224の絞り量(開口量)を増減させることにより、絞り224を通過する照明光の光量を適宜変化させる。
信号処理部204は、撮像部215aに設けられた撮像素子を駆動するための撮像素子駆動信号を出力する撮像素子駆動部236と、撮像部215aから出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する映像処理部237と、を有している。これにより、モニタ210aには、前記映像信号に応じた内視鏡画像Ia2が表示される。
湾曲制御部205は、湾曲モード切替スイッチ219においてなされた指示に基づき、湾曲部216の湾曲モードが手動モードに切り替えられた場合には、湾曲用ジョイスティック220の傾き方向及び傾き量に基づいて湾曲部216の湾曲方向及び湾曲角度を変更するための制御を行う。また、湾曲制御部205は、湾曲モード切替スイッチ219においてなされた指示に基づき、湾曲部216の湾曲モードが自動モードに切り替えられた場合には、端末装置209の演算結果に基づいて湾曲部216の湾曲方向及び湾曲角度を変更するための制御を行う。
ソースコイル駆動部243は、挿入部211の内部に設けられたq個のソースコイルC、C、・・・Cに接続されており、該ソースコイル各々に対して交流のソースコイル駆動信号を順次印加する。これにより、挿入部211の内部に設けられたソースコイル各々の周囲には、交流磁界が発生する。
センスコイルユニット207には、挿入部211の内部に設けられたq個のソースコイルC、C、・・・Cから発せられる磁界を各々検出し、磁界検出信号として出力するセンスコイル群244が設けられている。
内視鏡挿入形状検出装置208は、センスコイルユニット207から出力される磁界検出信号を増幅するアンプ245と、アンプ245から出力される磁界検出信号に基づいてq個のソースコイルC、C、・・・Cの3次元座標位置及び向きを検出し、挿入形状情報として出力するソースコイル位置/向き検出部246と、ソースコイル位置/向き検出部246から出力される挿入形状情報に基づいて挿入部211の挿入形状を推定し、挿入形状画像信号として出力する挿入形状推定部247と、を有している。これにより、モニタ210bには、前記挿入形状画像信号に応じた挿入部211の挿入形状画像Ib2が表示される。
端末装置209は、映像処理部237から出力される映像信号と、ソースコイル位置/向き検出部246から出力される挿入形状情報とに基づき、湾曲部216の湾曲モードが自動モードである場合に行われる湾曲制御に関する演算を行い、演算結果を湾曲制御部205へ出力する演算処理部291を有している。なお、演算処理部291において行われる前記演算の具体的な内容は、後程述べるものとする。
次に、内視鏡システム201の作用について説明を行う。なお、以降においては、湾曲モード切替スイッチ219が手動湾曲モードに切り替えられた場合の制御についての説明を省略するとともに、湾曲モード切替スイッチ219が自動湾曲モードに切り替えられた場合の制御について主に説明を行うものとする。
まず、術者は、内視鏡システム201の各部を接続及び起動した後、内視鏡202の挿入部211を患者の体腔内に挿入するとともに、湾曲モード切替スイッチ219を自動湾曲モードに切り替える。これに応じて、内視鏡202の撮像部215aにおける被写体の撮像が開始されるとともに、挿入部211に設けられた各ソースコイルにおいて磁界が発せられ始める。
被写体の撮像に伴って撮像部215aから出力される撮像信号は、ユニバーサルコード213及びコネクタ214を経てプロセッサ206へ出力され、映像処理部237において映像信号に変換された後、端末装置209の演算処理部291に入力される。また、挿入部211に設けられた各ソースコイルにおける磁界の発生に伴い、センスコイルユニット207から出力される磁界検出信号は、アンプ245により増幅され、ソースコイル位置/向き検出部246により該各ソースコイルの3次元座標情報として変換された後、端末装置209の演算処理部291に入力される。
端末装置209の演算処理部291は、入力される映像信号と、各ソースコイルの3次元座標情報とに基づく処理を行うことにより、先端部215を通過させる経路を設定するとともに、該経路に略沿って先端部215を進行させるように湾曲部216を湾曲させるための制御内容を設定する。
ここで、図25等を参照しつつ、先端部215を通過させる経路を設定するために演算処理部291が行う処理について述べる。
演算処理部291は、入力される映像信号に基づく画像データを取得した(図25のステップS201)後、該画像データに対してディストーション補正を施す。このような処理により、演算処理部291は、入力される映像信号に基づく原画像のモノクロ部分が排除された2次元の画像データを取得する。
次に、3次元形状算出部としての機能を有する演算処理部291は、図25のステップS201の処理により取得した2次元の画像データに基づき、例えばShapeFromShading法等の方法を用いることにより、先端部215の現在位置の近傍における管腔の形状を示すデータである、3次元形状データを算出する(図25のステップS202)。これにより、演算処理部291は、先端部215の現在位置の近傍における管腔の形状が、例えば図27に示すように、体腔内のひだ等による屈曲部を有するものであることを検出する。
そして、演算処理部291は、図25のステップS202の処理により算出した3次元形状データに対し、例えば、先端部215の先端面の所定の位置を原点とするとともに、図25のステップS201の処理により取得した画像データの左右方向に相当する軸ををx軸、該画像データの上下方向に相当する軸をy軸、及び、該画像データの奥行き方向に相当する軸をz軸とするような局所座標系を設定する(図25のステップS203)。
その後、切断面取得部としての機能を有する演算処理部291は、図25のステップS201の処理により取得した画像データと、図25のステップS202の処理により算出した3次元形状データとに基づき、内視鏡202の視野範囲内(または先端部215が存在する位置の近傍)におけるK個の切断面データを取得する(図25のステップS204)。
図25のステップS204の処理において、まず、演算処理部291は、図25のステップS201の処理により取得した画像データと、図25のステップS202の処理により算出した3次元形状データとに基づき、該3次元形状データ内における暗点(最も暗い点)の位置を検出する。具体的には、演算処理部291は、例えば、図28に示す点Dbを暗点(最も暗い点)として検出する。
図25のステップS204の処理において、次に、演算処理部291は、先端部215の先端面の所定の位置から点Dbへ至るベクトルに対して垂直であり、かつ、各々が略等間隔に設定されたK個の平面を用いて3次元形状データを切断することにより、K個の切断面データを取得する。具体的には、演算処理部291は、例えば、図28に示す平面H1、H2、H3及びH4の4つのデータを切断面データとして各々取得する。
演算処理部291は、図25のステップS204の処理により取得した切断面データに各々付される番号に相当する変数i(1≦i≦K)を1に設定した(図25のステップS205)後、i番目の切断面データにおけるエッジを抽出する(図25のステップS206)。具体的には、演算処理部291は、切断面データを縮小した後、Canny、SobelまたはLaplacianのいずれかのアルゴリズムを縮小された該切断面データに対して適用することにより、該切断面データのエッジを抽出する。
演算処理部291は、図25のステップS206の処理により抽出された切断面データのエッジが閉曲線であるか否かを判別する(図25のステップS207)。そして、演算処理部291は、図25のステップS206の処理により抽出された切断面データのエッジが閉曲線であることを検出した場合、該切断面データにおける図心を算出する(図25のステップS208)。また、演算処理部291は、図25のステップS206の処理により抽出された切断面データのエッジが閉曲線ではないことを検出した場合、該エッジの少なくとも一部を外周に含む仮想的な円を円ハフ変換を用いて形成した後、該仮想的な円の中心点を算出する(図25のステップS209)。
すなわち、演算処理部291は、管腔の3次元データにおける切断面の断面形状を抽出し、該断面形状に応じた経路点を該切断面各々において検出するための処理を、図25のステップS206からステップS209までの処理として行っている。
演算処理部291は、図25のステップS206からステップS209までに示す処理を変数i=Kになるまで繰り返し行う(図25のステップS210)。これにより、K個の切断面データ各々のうち、図25のステップS208を経たものについては切断面データの図心が算出され、また、図25のステップS209を経たものについては切断面データにおける仮想的な円の中心点が算出される。具体的には、演算処理部291は、図25のステップS206からステップS209までに示す処理を繰り返し行うことにより、例えば図28に示すように、平面H1における点E1、平面H2における点E2、平面H3における点E3、及び、平面H4における点E4を各々算出する。
その後、経路算出部としての機能を有する演算処理部291は、K個の切断面データ各々において図心または仮想的な円の中心点の算出が完了すると、該図心及び該仮想的な円の中心点からなるK個の点と、先端部215の先端面の所定の位置と、点Dbとの各点を通る線分としての経路線を算出した(図25のステップS211)後、一連の処理を図25のステップS201から再度繰り返し行う。なお、演算処理部291は、例えば、前記各点に対してCatmullRom曲線方程式を適用することにより算出したパラメトリック曲線を、前記経路線として算出するものとする。具体的には、演算処理部291は、図25のステップS211に示す処理により、例えば図28に示すように、経路点としての点E1、E2、E3及びE4と、先端部215の先端面の所定の位置と、点Dbとの各点を通る曲線Icを経路線として算出する。
また、演算処理部291は、図26のフローチャートに示す処理を、図25のフローチャートに示す処理に並行して行う。
演算処理部291は、ソースコイル位置/向き検出部246から出力される3次元座標情報に基づき、先端部215の現在の位置及び向きを算出する(図26のステップS221)。
その後、演算処理部291は、後述する処理により設定される、先端部215を通過させる目標位置を先端部215が通過したか否かを判定する(図26のステップS222)。そして、演算処理部291は、目標位置を先端部215が通過した場合、図25のフローチャートの処理により、先端部215の先端面の所定の位置を起点とした新たな経路線を算出する(図26のステップS223)。また、演算処理部291は、目標位置を先端部215が通過していない場合、該目標位置及び該目標位置に係る経路線を保持しつつ、図26のステップS224の処理を引き続き行う。
すなわち、経路算出部としての機能を有する演算処理部291は、後述する処理により設定される目標位置を端部215が通過する毎に、先端部215の先端面の所定の位置を起点とした新たな経路線を算出するための処理を行う。
演算処理部291は、ソースコイル位置/向き検出部246から出力される3次元座標情報に基づき、例えば単位時間当たりのソースコイルCの移動速度を算出することにより、Δt秒後の先端部215の移動距離r1を算出する(図26のステップS224)。
演算処理部291は、経路線Ic及び移動距離r1に基づき、先端部215を通過させる目標位置を算出する(図26のステップS225)。
図26のステップS225の処理において、演算処理部291は、図29に示すように、先端部215の先端面の所定の位置を中心点とし、かつ、移動距離r1を半径とした仮想的な球Br1を設定した後、該仮想的な球Br1と曲線Icとが交わる点Qの3次元座標位置を算出する。そして、演算処理部291は、前記点Qの3次元座標位置を、先端部215を通過させる目標位置として算出する。
また、本実施形態の演算処理部291は、図26のステップS225の処理において、点Qの3次元座標位置を目標位置として算出した後、以降に記す処理をさらに行うことにより、該目標位置の補正を行うものであっても良い。
具体的には、演算処理部291は、点Qの3次元座標位置を算出した後、例えば図30に示すように、点Qを含み、かつ、先端部215の先端面の所定の位置から点Dbへ至るベクトルに対して垂直な平面Haを算出する。
そして、演算処理部291は、点Qを中心点とし、かつ、平面Ha上に存在する半径r2の仮想的な円Br2を形成した後、該円Br2上の各点のうち、経路線Icと同一平面上に存在する点Tの3次元座標位置を、補正後の目標位置として算出する。
すなわち、目標位置補正部としての機能を有する演算処理部291は、以上に述べた処理を行うことにより、点Qを目標位置とした場合に比べて湾曲部216の湾曲量を減少可能な、補正後の目標位置としての点Tの3次元座標位置を算出することができる。
一方、演算処理部291は、図26のステップS225において設定した目標位置へ先端部215が向かうように、湾曲部216の湾曲量及び湾曲方向を算出する(図26のステップS226)。
演算処理部291は、図26のステップS226の処理において算出した湾曲部216の湾曲量及び湾曲方向に基づき、実際に湾曲部216を湾曲させるために必要な情報である、湾曲制御情報の演算を行い(図26のステップS227)、演算結果を湾曲制御部205へ出力した後、一連の処理を図26のステップS221から再度繰り返し行う。
なお、前述した湾曲制御情報は、例えば、湾曲部216がワイヤの一端側に接続された複数の湾曲コマ等からなり、モータの回転駆動に応じて生じる該ワイヤの緊張または弛緩に伴って自身の湾曲状態を変化させることが可能な構成である場合においては、該モータに接続されるプーリの角度及び該モータに印加する駆動電圧に関する情報として示されるものであるとする。また、前述した湾曲制御情報は、例えば、湾曲部216が前述した構成以外の他の構成を有している場合においては、該他の構成に応じた情報として示されるものであるとする。
以上に述べたように、本実施形態の内視鏡システム201は、図25及び図26に示す各処理を自動湾曲モードにおいて行うことにより、例えば図27に示すような、管腔内において屈曲部を形成するひだ等に内視鏡先端部を接触させることなく、該ひだ等の裏側(の管腔)へ向けて該内視鏡先端部が進行するように、内視鏡湾曲部を制御可能な構成を具備している。これにより、本実施形態の内視鏡システム201は、内視鏡の挿入性を従来に比べて向上させることができる。
なお、本実施形態の演算処理部291は、図31のフローチャートに示す処理を、図26のステップS223とステップS224との間においてさらに行うものであっても良い。
まず、演算処理部291は、図26のステップS223において算出した経路線の曲率半径Fを算出する(図31のステップS231)。
次に、演算処理部291は、図31のステップS231の処理により算出した曲率半径Fが閾値THFより大きいか否かを判定する(図31のステップS232)。そして、演算処理部291は、曲率半径Fが閾値THFより大きい場合、後述する図31のステップS233の処理を行う。また、演算処理部291は、曲率半径Fが閾値THF以下である場合、図25のステップS211において算出した経路線を処理結果とした後、図26のステップS224の処理を引き続き行う。
演算処理部291は、曲率半径Fが閾値THFより大きい場合において、図25のステップS211において算出した経路線全体を含む平面Hbを算出する(図31のステップS233)。
その後、演算処理部291は、図25のステップS202において算出した3次元形状データと、図25のステップS211において算出した経路線とを、平面Hbの座標系へ投影する(図31のステップS234)。
なお、平面Hbの座標系は、例えば図32に示すように、図25のステップS211において算出した経路線において分散の最も大きい軸を第1主成分軸とし、該経路線における山の方向を第2主成分軸として定められるものである。そして、管腔の形状を示す3次元形状データ及び経路線は、図31のステップS234の処理により、例えば図32に示すような状態として平面Hbの座標系へ各々投影される。
演算処理部291は、平面Hbの座標系へ投影された経路線の第2主成分を略全般的に減少させるための変換処理を行う(図31のステップS235)。これにより、演算処理部291は、変換処理後の経路線として、例えば図32に示すような経路線を取得する。
そして、演算処理部291は、変換処理後の経路線を、例えば図25のステップS203の処理により設定された座標系である、3次元形状データの座標系へ逆投影することにより(図31のステップS236)新たな経路線を得た後、前述した図26のステップS224の処理を引き続き行う。
以上に述べた処理を図26のステップS223とステップS224との間においてさらに行うことにより、本実施形態の演算処理部291は、管腔内の極端に屈曲した部位の内周側の壁面近傍を通るように先端部215を進行させるための経路線を算出することができる。
なお、図31のフローチャートに示す処理は、図31のステップS232の判定条件及びステップS235の変換処理の内容を適宜変更することにより、例えば、胃等の径の大きな管腔の表面(胃壁)に沿うように先端部215を進行させるための経路線を算出する場合においても適用することができる。
すなわち、本実施形態において、演算処理部291が図31のフローチャートに示す処理をさらに行うことにより、先端部215を管腔の表面に接触させることなく、該管腔の表面の状態をより詳細に観察することが可能となる。
なお上述した実施形態等を部分的に組み合わせる等して構成される実施形態等も本発明に属する。
内視鏡を屈曲した体腔内等に挿入する場合、円滑な挿入が行えるように湾曲部の湾曲制御を行う。
本出願は、2007年11月29日に日本国に出願された特願2007−309233号、2007年12月7日に日本国に出願された特願2007−317369号、及び2007年12月26日に日本国に出願された特願2007−334898号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (13)

  1. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    さらに、前記履歴情報を記憶する記憶部を有し、該記憶部は前記管腔暗部の位置の情報と共に、前記挿入部先端の位置及び方向の情報を前記履歴情報として記憶することを特徴とする内視鏡湾曲制御装置。
  2. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記切替条件変更部は、挿入部先端側の位置を含む挿入形状を検出する挿入形状検出部の検出結果に基づいて、前記第1の切替条件又は前記第2の切替条件に含まれる特徴量パラメータを変更することを特徴とする内視鏡湾曲制御装置。
  3. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記第1の切替条件又は前記第2の切替条件は、前記挿入部が挿入される管腔内の挿入パスに沿った場所に応じて変更設定されることを特徴とする内視鏡湾曲制御装置。
  4. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記第1の切替条件及び前記第2の切替条件は、前記挿入部が前記管腔内に挿入される挿入長に応じて予め設定されることを特徴とする内視鏡湾曲制御装置。
  5. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記切替条件変更部は、前記挿入部が前記管腔内に挿入される挿入長の情報を用いて前記第1の切替条件から前記第2の切替条件に変更することを特徴とする内視鏡湾曲制御装置。
  6. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記切替条件変更部は、前記第2の切替条件に変更した場合、前記挿入部が前記管腔内に挿入される挿入長に応じてさらに前記第2の切替条件とは異なる第3の切替条件に変更することを特徴とする内視鏡湾曲制御装置。
  7. 前記記憶部は、前記管腔暗部の位置の情報と、前記挿入部先端の位置及び方向の情報とを、時間の経過順に前記履歴情報として記憶することを特徴とする請求項1に記載の内視鏡湾曲制御装置。
  8. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記第1の切替条件及び第2の切替条件は、前記挿入部が管腔内に挿入される挿入パスの場所に応じてそれぞれ異なる複数の特徴量パラメータを用いて設定されることを特徴とする内視鏡湾曲制御装置。
  9. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡における前記撮像素子から得られる内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記第1の切替条件及び前記第2の切替条件は、前記挿入部が挿入される前記管腔内の挿入パスに沿った場所としての第1及び第2のパス場所に応じて前記第1の切替条件及び第2の切替条件にそれぞれ含まれる特徴量パラメータをリストアップしたパスリストの形態で使用されることを特徴とする内視鏡湾曲制御装置。
  10. 前記パスリストは、前記挿入部が挿入される管腔臓器の種類に応じて選択使用されることを特徴とする請求項9に記載の内視鏡湾曲制御装置。
  11. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、
    前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、
    前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    さらに、前記履歴情報を記憶する記憶部を有し、該記憶部は前記管腔暗部の位置と共に、前記挿入部先端の位置及び方向の情報を前記履歴情報として記憶することを特徴とする内視鏡システム。
  12. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、
    前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、
    前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記切替条件変更部は、挿入部先端側の位置を含む挿入形状を検出する挿入形状検出部の検出結果に基づいて、前記第1の切替条件又は前記第2の切替条件に含まれる特徴量パラメータを変更することを特徴とする内視鏡システム。
  13. 挿入部の先端側に撮像素子と湾曲部とが設けられた内視鏡と、
    前記内視鏡が接続され、前記撮像素子の出力信号から内視鏡画像を生成する信号処理装置と、
    前記内視鏡画像から、前記挿入部が挿入される管腔内の管腔暗部に関する画像特徴量を算出する画像特徴量算出部と、
    算出された前記画像特徴量から管腔暗部の位置を挿入目標として、挿入部先端をその位置に向ける第1の湾曲動作モードと、過去に算出された管腔暗部の位置を含む履歴情報を参照することにより現在の管腔暗部の位置を推定し、推定された管腔暗部の位置の方向に挿入部先端を向ける第2の湾曲動作モードとの一方の湾曲動作モードにより、前記湾曲部を湾曲制御する湾曲制御部と、
    算出された前記画像特徴量第1の切替条件に従って、前記第1の湾曲動作モードと前記第2の湾曲動作モードとの一方の湾曲動作モードから他方の湾曲動作モードへ切替を行う動作モード切替部と、
    前記湾曲動作モードの切替に採用された第1の切替条件から該第1の切替条件とは異なる第2の切替条件に変更する切替条件変更部と、
    を備え、
    前記第1の切替条件及び前記第2の切替条件は、前記挿入部が前記管腔内に挿入される挿入長に応じて予め設定されることを特徴とする内視鏡システム。
JP2009543715A 2007-11-29 2008-10-16 内視鏡湾曲制御装置及び内視鏡システム Expired - Fee Related JP5153787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009543715A JP5153787B2 (ja) 2007-11-29 2008-10-16 内視鏡湾曲制御装置及び内視鏡システム

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2007309233 2007-11-29
JP2007309233 2007-11-29
JP2007317369 2007-12-07
JP2007317369 2007-12-07
JP2007334898 2007-12-26
JP2007334898 2007-12-26
JP2009543715A JP5153787B2 (ja) 2007-11-29 2008-10-16 内視鏡湾曲制御装置及び内視鏡システム
PCT/JP2008/068790 WO2009069395A1 (ja) 2007-11-29 2008-10-16 内視鏡湾曲制御装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2009069395A1 JPWO2009069395A1 (ja) 2011-04-07
JP5153787B2 true JP5153787B2 (ja) 2013-02-27

Family

ID=40678298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543715A Expired - Fee Related JP5153787B2 (ja) 2007-11-29 2008-10-16 内視鏡湾曲制御装置及び内視鏡システム

Country Status (4)

Country Link
US (1) US8211009B2 (ja)
EP (1) EP2215960B1 (ja)
JP (1) JP5153787B2 (ja)
WO (1) WO2009069395A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10588485B2 (en) 2014-02-26 2020-03-17 Olympus Corporation Medical-system control method

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
EP2382909A4 (en) * 2009-01-29 2012-11-28 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
WO2012120507A1 (en) 2011-02-07 2012-09-13 Peermedical Ltd. Multi-element cover for a multi-camera endoscope
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
WO2012077116A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board for a multi-camera endoscope
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
WO2012056453A2 (en) 2010-10-28 2012-05-03 Peermedical Ltd. Optical systems for multi-sensor endoscopes
EP3811847A1 (en) 2009-06-18 2021-04-28 EndoChoice, Inc. Multi-camera endoscope
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
WO2011035144A2 (en) * 2009-09-17 2011-03-24 Broncus Technologies, Inc. System and method for determining airway diameter using endoscope
JP4804594B2 (ja) * 2009-09-30 2011-11-02 オリンパスメディカルシステムズ株式会社 内視鏡装置及び湾曲駆動制御方法
WO2011040111A1 (ja) 2009-09-30 2011-04-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5048158B2 (ja) * 2010-03-17 2012-10-17 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
EP4233680A3 (en) 2010-09-20 2023-09-13 EndoChoice, Inc. Endoscope distal section comprising a unitary fluid channeling component
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
ITTO20110394A1 (it) * 2011-05-05 2012-11-06 Univ Pisa Catetere munito di sensori elettromagnetici di posizione, e sistema di localizzazione per cateteri e fili guida
US9020229B2 (en) 2011-05-13 2015-04-28 Broncus Medical, Inc. Surgical assistance planning method using lung motion analysis
JP6012950B2 (ja) * 2011-10-14 2016-10-25 オリンパス株式会社 湾曲動作システム
EP2604175B1 (en) 2011-12-13 2019-11-20 EndoChoice Innovation Center Ltd. Removable tip endoscope
CA2798729A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Rotatable connector for an endoscope
CN104125795B (zh) * 2012-05-23 2016-08-24 奥林巴斯株式会社 电子内窥镜***
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
JP5715311B2 (ja) * 2013-03-06 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN105074728B (zh) 2013-08-09 2019-06-25 堃博生物科技(上海)有限公司 胸部荧光透视影像及相应的肋骨和脊椎三维影像数据配准
DK177984B9 (en) * 2013-11-12 2015-03-02 Simonsen & Weel As Device for endoscopy
EP3096672B1 (en) * 2014-01-24 2022-07-20 Koninklijke Philips N.V. Sensorless force control for transesophageal echocardiography probe
JP6522647B2 (ja) * 2014-11-17 2019-05-29 オリンパス株式会社 内視鏡装置
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
JP2019000351A (ja) * 2017-06-15 2019-01-10 オリンパス株式会社 内視鏡制御装置、内視鏡システム及びプログラム
JP2019170638A (ja) * 2018-03-28 2019-10-10 オリンパス株式会社 内視鏡システム
US20210220594A1 (en) * 2018-07-25 2021-07-22 Universität Zürich Video-endoscopic intubation stylet
WO2020194472A1 (ja) * 2019-03-25 2020-10-01 オリンパス株式会社 移動支援システム、移動支援方法、および移動支援プログラム
CN115023170A (zh) * 2020-01-16 2022-09-06 奥林巴斯株式会社 内窥镜***
WO2021156926A1 (ja) * 2020-02-03 2021-08-12 オリンパス株式会社 内視鏡制御装置、内視鏡制御方法および内視鏡制御プログラム
WO2021166103A1 (ja) * 2020-02-19 2021-08-26 オリンパス株式会社 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法
JP2022071617A (ja) 2020-10-28 2022-05-16 富士フイルム株式会社 内視鏡システム及び内視鏡装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228102A (ja) * 1992-02-25 1993-09-07 Olympus Optical Co Ltd 内視鏡装置
JPH07155289A (ja) * 1993-12-02 1995-06-20 Olympus Optical Co Ltd 内視鏡装置
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2006042902A (ja) * 2004-07-30 2006-02-16 Olympus Corp 電子内視鏡装置及び内視鏡画像処理装置
JP2007282857A (ja) * 2006-04-17 2007-11-01 Olympus Medical Systems Corp 内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2225188B (en) * 1988-11-16 1993-05-12 Olympus Optical Co Methods of detecting endoscope insertion direction
GB8830465D0 (en) * 1988-12-31 1989-03-01 Olympus Optical Co Methods of detecting endoscope insertion direction
JPH02203831A (ja) 1989-02-01 1990-08-13 Olympus Optical Co Ltd 内視鏡
US5018509A (en) * 1989-02-21 1991-05-28 Olympus Optical Co., Ltd. Endoscope insertion controlling apparatus
US4982725A (en) * 1989-07-04 1991-01-08 Olympus Optical Co., Ltd. Endoscope apparatus
GB2238440B (en) * 1989-11-24 1994-07-27 Olympus Optical Co Methods of detecting endoscope insertion direction
US5347987A (en) * 1991-04-08 1994-09-20 Feldstein David A Self-centering endoscope system
US5658238A (en) 1992-02-25 1997-08-19 Olympus Optical Co., Ltd. Endoscope apparatus capable of being switched to a mode in which a curvature operating lever is returned and to a mode in which the curvature operating lever is not returned
US5469254A (en) * 1992-04-06 1995-11-21 Olympus Optical Co., Ltd. Method and apparatus for measuring three-dimensional position of a pipe from image of the pipe in an endoscopic observation system
JP3645223B2 (ja) 2002-02-15 2005-05-11 オリンパス株式会社 内視鏡湾曲装置
AU2003209967A1 (en) 2002-03-06 2003-09-16 Atropos Limited A steerable colonoscope probe with variable stiffness
US20040186376A1 (en) * 2002-09-30 2004-09-23 Hogg Bevil J. Method and apparatus for improved surgical navigation employing electronic identification with automatically actuated flexible medical devices
JP2004329761A (ja) 2003-05-12 2004-11-25 Olympus Corp 内視鏡装置
JP4709513B2 (ja) 2004-08-19 2011-06-22 オリンパス株式会社 電動湾曲制御装置
JP4695420B2 (ja) 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
EP1832223B1 (en) * 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US20070161857A1 (en) * 2005-11-22 2007-07-12 Neoguide Systems, Inc. Method of determining the shape of a bendable instrument

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228102A (ja) * 1992-02-25 1993-09-07 Olympus Optical Co Ltd 内視鏡装置
JPH07155289A (ja) * 1993-12-02 1995-06-20 Olympus Optical Co Ltd 内視鏡装置
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2006042902A (ja) * 2004-07-30 2006-02-16 Olympus Corp 電子内視鏡装置及び内視鏡画像処理装置
JP2007282857A (ja) * 2006-04-17 2007-11-01 Olympus Medical Systems Corp 内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10588485B2 (en) 2014-02-26 2020-03-17 Olympus Corporation Medical-system control method

Also Published As

Publication number Publication date
WO2009069395A1 (ja) 2009-06-04
US8211009B2 (en) 2012-07-03
JPWO2009069395A1 (ja) 2011-04-07
EP2215960A1 (en) 2010-08-11
US20100204547A1 (en) 2010-08-12
EP2215960B1 (en) 2017-12-27
EP2215960A4 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
JP5153787B2 (ja) 内視鏡湾曲制御装置及び内視鏡システム
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US8454497B2 (en) Endoscope apparatus and bending drive control method
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP5715311B2 (ja) 内視鏡システム
JP5085662B2 (ja) 内視鏡システム
JP5865606B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US8167791B2 (en) Endoscope system
JP5295555B2 (ja) 内視鏡システム
US9357945B2 (en) Endoscope system having a position and posture calculating portion
JP4724262B2 (ja) 内視鏡装置
US20080009675A1 (en) Endoscope apparatus
US10413157B2 (en) Endoscope system with image pasting on planar model
JPWO2008155828A1 (ja) 内視鏡システム、撮像システム及び画像処理装置
US9824445B2 (en) Endoscope system
JP6132901B2 (ja) 内視鏡装置
JPWO2011024565A1 (ja) 内視鏡装置
US11842815B2 (en) Endoscope system, processor, diagnostic support method, and computer program
JP4624575B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5153787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees