CN104797186B - 内窥镜*** - Google Patents

内窥镜*** Download PDF

Info

Publication number
CN104797186B
CN104797186B CN201480002992.XA CN201480002992A CN104797186B CN 104797186 B CN104797186 B CN 104797186B CN 201480002992 A CN201480002992 A CN 201480002992A CN 104797186 B CN104797186 B CN 104797186B
Authority
CN
China
Prior art keywords
distance
image
information
condition
variable quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480002992.XA
Other languages
English (en)
Other versions
CN104797186A (zh
Inventor
伊藤满祐
秋本俊也
大西顺
大西顺一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104797186A publication Critical patent/CN104797186A/zh
Application granted granted Critical
Publication of CN104797186B publication Critical patent/CN104797186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内窥镜***具有：图像记录部，其记录被检体中的三维图像信息；管腔脏器提取部，其从三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；摄像部，其对规定的管腔脏器内进行摄像；位置信息取得部，其取得***部的前端的位置信息；距离比较部，其将提取出的规定的管腔脏器中的特征区域和从***部的前端的位置到特征区域的距离与设定距离进行比较；变化量检测部，其在进行摄像而得到的内窥镜图像内检测与规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据距离比较部的比较结果和变化量检测部的检测结果，记录包含***部的前端的位置和与位置对应的假想内窥镜图像的信息。

Description

内窥镜***
技术领域
本发明涉及通过摄像单元对被检体内进行摄像的内窥镜***。
背景技术
近年来，具有能够***到体腔内等的***部的内窥镜广泛应用于医疗领域等中。
另一方面，在***到体腔内的支气管这样的复杂分支的管腔脏器内对管腔脏器的末梢侧的目标部位(的患部组织)进行检查或基于处置器械的活检和处置的情况下，仅利用***时得到的内窥镜图像有时很难将***部前端导入到目标部位附近。
因此，提出了用于支援将内窥镜的***部前端导入到目标部位附近的操作的***或装置。
例如，作为第1现有例的WO2007-129493号公报的医疗图像观察支援装置公开了具有CT图像数据取入部、CT图像数据存储部、信息提取部、解剖学的信息数据库、视点位置/视线方向设定部、管腔脏器图像生成部、解剖学的名称信息产生部、分支指定部、图像合成显示部和用户I/F控制部的结构。视点位置/视线方向设定部根据信息提取部提取出的管腔脏器的构造信息，设定将视点锁定在管腔脏器的大致中心轴上来观察管腔脏器的外观的视点位置和视线方向。
并且，作为第2现有例的日本特开2011-212244号公报的内窥镜***公开了如下内容：假想视野决定部根据由关注位置确定部确定的关注构造物的位置、内窥镜的对应位置和姿势、由内窥镜视场角取得部取得的内窥镜的视场角，决定与由内窥镜位置姿势检测部检测到的内窥镜的位置对应的三维医用图像中的位置所配置的假想内窥镜的假想视野，以使得关注构造物的位置包含在假想视野内，并且与内窥镜的视野具有连续性，假想内窥镜图像生成部输入由三维医用图像形成部形成的三维医用图像，将内窥镜的对应位置作为视点，生成具有所决定的假想视野的假想内窥镜图像，显示控制部使WS显示器显示所生成的假想内窥镜图像。
在估计内窥镜的***部前端的位置的情况下，通过比较由内窥镜的摄像单元进行摄像而得到的内窥镜图像(实际图像)和根据基于CT的管腔脏器的三维数据而生成的假想内窥镜图像(假想图像)来进行估计。因此，最初进行基于两个图像的比较的位置对齐。
然后，在位置的估计精度降低的情况下，需要进行用于设定为能够确保规定的精度的状态的再次位置对齐，但是，上述现有例存在进行再次位置对齐花费时间的缺点。
更具体进行说明时，例如第1现有例公开了在三维图像上对内窥镜前端位置进行坐标转换并对与芯线之间的距离进行比较的观点、以及对分支部的实际图像和假想图像进行比较的观点，但是，没有明确公开以适于进行再次位置对齐的信息量进行记录。
并且，第2现有例也同样没有公开以适于进行再次位置对齐的信息量进行记录。
这样，在现有例中，由于多数情况下作为比较候选的假想图像过多，所以，产生再次位置对齐花费时间的缺点。因此，期望记录适于再次位置对齐的信息量的信息。并且，在现有例中，由于在视觉上很难确认进行记录的条件，所以，期望以容易确认的条件进行记录，提高针对用户的便利性。
本发明是鉴于上述情况而完成的，其目的在于，提供以视觉上容易掌握的条件记录适于进行再次位置对齐的信息量的信息的内窥镜***。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜***具有：图像记录部，其记录预先取得的被检体中的三维图像信息；管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像；位置信息取得部，其取得所述内窥镜的***部的前端的位置的信息作为位置信息；距离比较部，其将由所述管腔脏器提取部提取出的所述规定管腔脏器中的特征区域和从由所述位置信息取得部取得的所述内窥镜的***部的前端的位置到所述特征区域的距离与设定距离进行比较；变化量检测部，其在由所述摄像部进行摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据所述距离比较部的比较结果和所述变化量检测部的检测结果，记录包含所述内窥镜的***部的前端的位置和与该位置对应的所述假想内窥镜图像的位置和图像信息。
附图说明
图1是示出本发明的第1实施方式的内窥镜***的整体结构的图。
图2A是示出支气管的一部分和支气管形状图像的图。
图2B是示出***到支气管内并对支气管径进行经时计算的状况的图。
图2C是示出计算支气管径的位置和计算出的支气管径的大小的图。
图2D是示出在指示了进行再次位置对齐的情况下在监视器中显示的候选信息的图。
图3A是示出具有进行立体计测的立体内窥镜的内窥镜装置的结构的图。
图3B是示出进行立体计测的计测对象的位置在左右摄像元件的摄像面上成像的关系的说明图。
图3C是示出在监视器画面中显示使用立体内窥镜对支气管内进行摄像而得到的图像的一例的图。
图3D是用于根据图3C的图像计算支气管径的说明图。
图3E是用于通过使用了单一摄像装置的立体计测来计算支气管径的说明图。
图4A是示出第1实施方式中的处理内容的一例的流程图。
图4B是示出图4A中的一部分的处理内容的详细情况的流程图。
图5是示出***部的前端的位置与分支点之间的距离的计算(计测)例的图。
图6是示出计算(计测)支气管径的例子的图。
图7是示出针对***部的前端的位置与支线之间的距离设定设定距离并进行***的状况的图。
图8是示出图7的情况下的处理内容的一部分的流程图。
图9A是示出利用最短距离来计算***部的前端的位置与支线之间的距离的例子的图。
图9B是示出根据***部的前端的位置计算作为最短距离的芯线上的位置与支线之间的距离的例子的图。
图9C是示出沿着三维数据的某个坐标面计算距离的例子的图。
图10是监视***部的前端位置与芯线之间的距离并将***部***的情况的说明图。
图11A是计算***部的前端的位置与芯线之间的距离等的情况的说明图。
图11B是利用与图11A不同的方法计算距离的情况的说明图。
图12是用户设定设定区域并将***部***的情况的说明图。
图13是在***到支气管内的情况下根据内窥镜图像中的暗部的面积等监视明亮度的变化量的动作的说明图。
图14是在***到支气管内的情况下监视内窥镜图像中的支气管的分支形状的变化量的动作的说明图。
图15是示出在***到支气管内的情况下监视内窥镜图像中的支线的长度的变化量的动作、以及移动***部的前端的位置时的支线的长度的变化的状况的图。
图16是示出在***到支气管内的情况下监视内窥镜图像中的支线的角度的变化量的动作、以及支线的角度变化的状况的图。
图17是在***到支气管内的情况下监视内窥镜图像中的视野不良的产生情况的动作的说明图。
图18是在***到支气管内的情况下监视内窥镜图像中的分支以外的变化的动作的说明图。
图19是计算内窥镜图像中的抖动量的结构的说明图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第1实施方式)
如图1所示，本发明的第1实施方式的内窥镜***1主要由以下部分构成：内窥镜装置4A，其具有***到作为检查对象的被检体即患者中的作为规定的管腔脏器的支气管2(图2A)内的内窥镜3A；以及***支援装置5，其与该内窥镜装置4A一起使用，用于进行内窥镜3A的***支援。
内窥镜装置4A具有内窥镜3A、对该内窥镜3A供给照明光的光源装置6、对搭载于内窥镜3A中的构成摄像单元的摄像元件7进行信号处理的作为信号处理装置的照相机控制单元(简记为CCU)8A、以及显示由CCU 8A生成的内窥镜图像的监视器9A。
内窥镜3A具备具有挠性的细长的***部(或内窥镜***部)11以及设置在该***部11的后端的操作部12，在***部11的前端部13设有照明窗和观察窗。在***部11、操作部12内贯穿***有传递照明光的光导14，该光导14的入射端与光源装置6连接，由光源装置6内的未图示的光源灯或LED产生的照明光入射到入射端。由该光导14传递的照明光从安装在照明窗上的出射端(前端面)向前方出射。
并且，在观察窗上安装有形成用于对被摄体进行成像的物镜光学***的物镜15，在其成像位置配置有CCD等摄像元件7，通过物镜15和摄像元件7形成作为摄像单元(或摄像部)的摄像装置16，该摄像装置16对作为供***部11***的规定的管腔脏器的支气管2内进行摄像。
摄像元件7经由贯穿***到***部11、操作部12内的信号线而与CCU 8A连接。CCU 8A通过其内部的未图示的图像信号生成电路生成与摄像元件7的摄像面上形成的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9A。监视器9A显示图像信号的图像(动态图像)作为内窥镜图像(也称为摄像图像)。
在内窥镜3A的***部11中，在前端部13的后端设有弯曲自如的弯曲部19，手术医生通过进行使设置在操作部12上的弯曲操作旋钮20旋转的操作，能够使弯曲部19向上下左右的任意方向弯曲。另外，弯曲操作旋钮20具有用于向上下方向弯曲的上下方向用弯曲操作旋钮、以及用于向左右方向弯曲的左右方向用弯曲操作旋钮。
也可以代替图1所示的内窥镜装置4A而采用图3A所示的内窥镜装置4B。
内窥镜装置4B具有能够进行立体计测的立体内窥镜3B、光源装置6、对设置在立体内窥镜3B中的两个摄像元件7a、7b进行信号处理的CCU 8B、以及显示由CCU8B生成的立体图像信号的立体显示用监视器9B。
在立体内窥镜3B的***部11的前端部13，在左右方向上分开规定的间隔配置有左右物镜15a、15b，在各自的成像位置配置有左右摄像元件7a、7b，构成具有左右摄像装置16a、16b的立体摄像装置16′。另外，左右物镜15a、15b和左右摄像装置16a、16b分别使用特性一致的部件。
并且，在***部11内贯穿***有传送来自光源装置6的照明光的光导14。光导14的前端安装在前端部13的照明窗上，从照明窗出射所传送的照明光，对体腔内的患部等被摄体进行照明。
对被照明的被摄体进行摄像的左右摄像元件7a、7b将光电转换后的摄像信号输入到CCU 8B内的摄像控制部18a、18b，摄像控制部18a、18b生成左右图像信号并将其输出到立体图像信号生成部18c。
立体图像信号生成部18c根据左右图像信号生成立体显示用的图像信号，并将其输出到立体显示用监视器9B。然后，立体显示用监视器9B显示立体显示用的图像信号，手术医生等用户能够通过立体显示用的图像信号的显示对被摄体进行立体观察。
并且，由摄像控制部18a、18b生成的左右图像信号被输入到计测运算部18d，使用左右图像信号，通过利用了三角测量原理的立体计测，能够计测进行摄像而得到的内窥镜图像上的2点间的距离等。如后所述，例如能够计测(计算)支气管径Da。由计测运算部18d计算出的支气管径Da等信息被输出到图像处理部25。另外，根据内窥镜图像计测(计算)出的支气管径Da不是支气管2的平均内径，而是根据管腔中的2点计算出的内径的值。因此，在支气管2分支的分支区域附近，有时计测(计算)出大于支气管的实际内径的支气管径Da。在图3A中，由摄像控制部18a(或18b)生成的影像信号也输出到图像处理部25。
接着，使用图3B对基于立体计测的计测对象的点(位置)的三维坐标的求解方法进行说明。使用左右物镜15a、15b，针对摄像元件7a、7b的摄像面的图像，通过三角测量的方法，利用以下的(1)式～(3)式计算计测点60的三维坐标(X、Y、Z)。其中，设实施了失真校正的左右图像上的计测点61、62的二维坐标分别为(XL、YL)、(XR、YR)，设左右物镜15a、15b的光学中心63、64之间的距离为D，设焦距为F，设t＝D/(XL-XR)。于是，以下的关系式成立。
X＝t×XR+D/2…(1)
Y＝t×YR…(2)
Z＝t×F…(3)
如上所述，当决定针对计测点60的图像上的二维坐标的计测点61、62后，使用作为参数的距离D和焦距F求出计测点60的三维坐标。
通过求出几个点的三维坐标，能够进行这几个点中的2点间的距离、连接2点的线与1点的距离、面积、深度、表面形状等各种计测。并且，还能够求出从左物镜15a的光学中心63或右物镜15b的光学中心64到被摄体的距离(物体距离)。为了进行上述立体计测，使用表示内窥镜3B的前端部13和物镜15a、15b的特性的光学数据。另外，在图3B中，利用PL表示包含2个摄像面的面，并且，利用OL、OR表示(图3B中未显示的物镜15a、15b的光轴上的)左右摄像面的中心。
作为根据立体图像运算三维坐标的方法，存在日本特开2011-027911号公报所示的方法等。
在本实施方式中，在计测后述支气管径Da的情况下，通过指定图3B的摄像面上的与支气管径的一个计测点60对应的点61和62和与另一个计测点对应的点来计算所指定的2点间的支气管径Da。
使用图3C和图3D对该方法进行说明。示出在监视器9B的显示画面71中显示内窥镜图像中的支气管72以及作为该支气管72的末梢侧的下一个支气管分支部73的状况。相对于该画面71的范围，利用网格74所示的块进行划分，提取各块内的平均亮度为规定值以下的区。图3D中标注斜线示出这样提取出的检测块75。
然后，将检测块75的直径最大的二维坐标的2点判定为支气管径Da，将这2点设定为计测点60a和计测点60b。另外，图3D示出左画面和右画面中的一个画面，在另一个画面中也同样设定计测点60a、60b。一般情况下，在利用内窥镜观察管腔脏器时，越靠里侧成为越暗的图像，所以，能够利用上述那样进行说明的方法来设定计测点。在指定计测点60a、60b的情况下，也可以在该计测点60a、60b之间最大的方向上进行指定。
在构成立体图像的左画面和右画面双方中实施上述运算，在左画面和右画面中分别求出二维的计测点60a和计测点60b。然后，当将与左画面的计测点60a相当的点作为图3B的二维的点61、将与右画面的计测点60a相当的点作为二维的点62进行运算时，能够求出计测点60的(三维坐标)位置。通过对与计测点60b相当的左画面和右画面进行同样的运算，能够得到与支气管径两端的计测点60相当的三维坐标，所以，能够根据这2点间的距离来计算(连接这2点的计测方向的)支气管径Da。
每当更新内窥镜图像时进行以上的动作，由此，能够监视根据内窥镜图像计算出的计测方向的支气管径Da的变化。
并且，也可以代替使用图3A所示的具备具有成对的左右摄像装置16a、16b的立体摄像装置16′的立体内窥镜3B，而使用图1的具有单眼(单一)摄像装置16的内窥镜3A，如下所述进行立体计测。
如图3E所示，在将内窥镜3A***到支气管2内的情况下，手术医生也可以使***部11的前端侧的弯曲部19左右弯曲，设定为与图3B的利用左右摄像装置进行摄像的状态大致等效的状态，通过立体计测来计算支气管径。
例如，在不使弯曲部19弯曲的状态下，将***部11的前端设定在支气管2的中心线附近，手术医生使弯曲部19例如向左侧弯曲，使***部11的前端与支气管2的左侧内壁接触，设定为与图3B的利用左摄像装置16a进行摄像的状态相当的第1摄像位置16a′。分别利用15a′、7a′示出第1摄像位置16a′处的物镜15和摄像元件7。
在该第1摄像位置16a′处进行了摄像后，手术医生使弯曲部19向右侧弯曲，如图3E中双点划线所示那样使前端与支气管2的右侧内壁接触，设定为与图3B中的利用右摄像装置16b进行摄像的状态相当的第2摄像位置16b′。分别利用15b′、7b′示出第2摄像位置16b′处的物镜15和摄像元件7。在该第2摄像位置16b′处进行摄像。
预先调查通过弯曲操作旋钮20的操作而使弯曲部19分别向左右弯曲的情况下的前端部13的左右方向的移动量、摄像装置16的物镜15的焦距、摄像元件7的左右和垂直方向的像素数、像素的间距等信息，将其存储在信息记录部27等中。
在这种情况下，能够根据弯曲部19的弯曲角(或弯曲操作旋钮20的操作量)等计算与图3B的左右光学中心63、64对应的图3E中的光学中心63′、64′和与左右光学中心间的距离D对应的距离D′。并且，能够根据针对与图3B的计测点60的情况对应的计测点60′的摄像元件7a′、7b′上的计测点61′、62′的信息，计算计测点60′的三维位置。并且，通过指定支气管径的一个位置和另一个位置这2点作为计测点60′，能够计算支气管径。这样，使用图1的内窥镜3A，也可以计算支气管径。另外，虽然利用向左右方向弯曲的情况进行了说明，但是，在向其他方向弯曲的情况下，也同样能够计算沿着该其他方向的支气管径。
如图1所示，上述***支援装置5具有：CT数据取入部21，其针对由内窥镜3A或3B进行检查的患者，经由DVD、蓝光光盘、闪存等移动型存储介质取入由公知的CT(Computed Tomography：计算机断层扫描)生成的患者的作为三维图像信息的CT数据；以及作为图像记录单元的CT图像数据记录部22，其记录由该CT数据取入部21取入的CT数据。
另外，CT图像数据记录部22也可以经由通信线路、因特网等存储由CT生成的(作为被检体的患者的作为三维图像信息的)CT数据。该CT图像数据记录部22可以由硬盘装置、闪存、DVD等构成。
并且，构成图像记录单元的CT图像数据记录部22具有对应图像信息记录部22a，该对应图像信息记录部22a记录将从CT数据中分离出图像数据而得到的CT图像数据和从CT数据中分离出位置信息而得到的三维位置数据对应起来的对应图像信息，其中，所述三维位置数据使用了与该CT图像数据对应的第1坐标系(CT坐标系)。
并且，***支援装置5具有支气管提取部23，该支气管提取部23由从CT图像数据记录部22的CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数据的作为管腔脏器提取单元的管腔脏器提取电路、中央运算处理装置(简记为CPU)等构成。
该支气管提取部23根据提取出的支气管2的三维数据(更具体而言为三维体数据)，生成表示支气管2的中空形状的三维形状的信息(形状数据)和三维形状的图像信息(图像数据)。即，支气管提取部23具有作为支气管形状图像生成单元的支气管形状图像生成部23a，该支气管形状图像生成部23a根据提取出的支气管2的三维数据生成作为中空的三维形状的支气管形状的图像的支气管形状图像2a。
并且，该支气管提取部23在提取支气管2的三维数据时，对应地提取与三维数据对应的第1坐标系(或CT坐标系)中的三维位置数据。而且，该支气管提取部23具有由存储器等构成的对应信息记录部23b，该对应信息记录部23b记录将支气管2的三维形状的数据(即支气管形状数据)和三维位置数据对应起来的对应信息。
并且，***支援装置5具有作为假想内窥镜图像生成单元的VBS图像生成部24，该VBS图像生成部24生成与通过设置在内窥镜3A或3B中的***部11的前端部13的摄像装置16或16a、16b的摄像而生成的内窥镜图像对应的作为假想的内窥镜图像的假想内窥镜图像(称为VBS图像)。下面，在内窥镜3A或3B中的任意一方均可的情况下，利用内窥镜3A的情况进行说明。
例如从输入装置31经由控制部26对VBS图像生成部24输入与内窥镜3A的前端部13的摄像装置16有关的包含成像***的特性信息(物镜15的焦距、摄像元件7的像素数、像素尺寸等)。另外，也可以不经由控制部26而从输入装置31对VBS图像生成部24输入与摄像装置16有关的特性信息。
VBS图像生成部24由图像生成电路或CPU等构成，该图像生成电路根据实际***到支气管2内的内窥镜3A的前端部13内所配置的摄像装置16的三维位置(也称为***部11的前端的三维位置)的信息、利用摄像装置16对支气管2内的被摄体进行成像的特性信息、所述支气管形状数据，生成假想地描绘将所述三维位置(简称为位置)作为视点位置而以内窥镜的角度对支气管2内进行摄像而得到的内窥镜图像的VBS图像。另外，在相同视点位置处改变前端的轴方向(与摄像装置16的光轴方向大致一致)的情况下，VBS图像生成部24能够生成与该变化对应的VBS图像。
因此，例如当通过CT坐标系指定***部11的前端的位置和前端的(轴)方向时，VBS图像生成部24生成与位置和方向的指定对应的VBS图像。
并且，***支援装置5具有：由CPU、图像处理电路等构成的图像处理部25，其利用图像匹配来进行从CCU 8A输入的内窥镜图像与VBS图像生成部24的VBS图像的位置对齐；作为控制单元的由CPU等构成的控制部26，其进行图像处理部25等的控制；以及构成信息记录单元的由存储器等构成的信息记录部27，其在控制部26的控制下，记录用于进行***支援的VBS图像等信息作为候选信息或位置和图像信息。
并且，***支援装置5具有：MPR图像生成部28，其根据CT图像数据记录部22中记录的CT图像数据生成作为多断面重构图像的CT断层图像(称为MPR图像)；以及鼠标等指示器件等作为路径设定单元的路径设定部29，其生成具有MPR图像生成部28生成的MPR图像的作为***路径设定画面的路径设定画面，设定将内窥镜3A***到支气管2内的目标部位侧时的路径。
而且，如图2A所示，例如在根据CT图像数据指定了目标部位36的情况下，路径设定部29具有路径数据生成电路等路径数据生成部29a的功能，该路径数据生成部29a根据CT图像数据和支气管形状图像2a，生成从支气管2中的(***部11的)***开始位置到作为目标部位36附近的目标位置的路径数据。
并且，内窥镜***1具有针对路径设定部29输入设定信息的由键盘或指示器件等构成的输入装置31。并且，手术医生能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据，或者针对控制部26选择并指示控制动作。
并且，在手术医生进行了路径设定的情况下，路径设定部29将所设定的路径的信息送到VBS图像生成部24、MPR图像生成部28、控制部26。VBS图像生成部24和MPR图像生成部28分别生成沿着路径的VBS图像、MPR图像，控制部26沿着路径进行各部的动作的控制。
对上述图像处理部25输入由CCU 8A生成的内窥镜图像(实际图像或简称为图像)和由VBS图像生成部24生成的VBS图像。并且，由支气管形状图像生成部23a生成的支气管形状图像2a也被输入到图像处理部25。
在本实施方式中，在配置有摄像装置16的***部11的前端部13未搭载用于检测***部11的前端的位置的传感器，所以，通过基于图像处理部25的位置对齐处理部25a中的图像匹配来估计(或计算)***部11的前端的三维位置(简称为位置)。
当预先根据支气管2的入口或隆凸K(参照图2A)等支气管形状图像2a设定能够由CT坐标系确定的三维位置(已知位置)或其附近位置作为动画匹配的开始位置时，VBS图像生成部根据该位置信息生成VBS图像。图像处理部25的位置对齐处理部25a根据支气管2的入口或隆凸等支气管形状图像2a，在能够由CT坐标系(第1坐标系)确定的三维位置(已知位置)或其附近位置设定***部11的前端，设定为能够通过CT坐标系估计(或计算)***部11的前端的位置的状态。
然后，手术医生将***部11的前端***，以使得内窥镜图像看起来与VBS图像相同。通过进行这种位置对齐，图像处理部25的位置对齐处理部25a对内窥镜图像和VBS图像进行比较，开始进行图像匹配，以使得比较结果在所设定的条件(能够确保规定的精度的误差)以内一致。
因此，图像处理部25具有对内窥镜图像和VBS图像进行比较的作为图像比较单元的由图像比较电路等构成的图像比较部25b，位置对齐处理部25a利用图像比较部25b的图像比较，进行基于图像匹配的位置对齐的处理。
通过进行上述的位置对齐，图像处理部25的位置对齐处理部25a成为能够通过表示CT坐标系(第1坐标系)中的位置坐标和轴方向(也称为姿势)的信息来确定***部11的前端的位置和前端的轴方向(摄像装置16的视点方向或视线方向)的状态。
在这样进行位置对齐后，使用该位置对齐的信息，通过图像比较部25b的图像比较结果，能够取得以后的***部11的前端的位置作为与CT坐标系(第1坐标系)中的位置对应的信息。即，图像处理部25具有通过估计来取得***部11的前端的位置的位置估计部25c，作为取得***部11的前端的位置(信息)的位置信息取得单元。位置估计部25c也根据图像比较部25b的图像比较结果取得***部11的前端的位置。进一步进行说明时，在将***部11***到支气管2的深部侧(末梢侧)的操作中，图像处理部25根据内窥镜图像和VBS图像这两个图像的比较结果，估计通过位置对齐处理部25a进行位置对齐后的状态下的CT坐标系中的***部11的前端移动的位置。
即，伴随着使***部11的前端从进行了位置对齐处理的位置起大致沿着芯线35移动(以进行***)的操作，摄像装置16移动，所以内窥镜图像变化。
该情况下，位置估计部25c使用在大致沿着芯线35的路径上移动***部11的前端的情况下的(从VBS图像生成部24输出的)VBS图像，通过图像处理选出与当前的内窥镜图像最匹配的VBS图像，计算(估计)与所选出的VBS图像对应的三维位置作为***部11的前端的位置。如上所述，位置估计部25c还与***部11的前端的位置一起计算(估计)其姿势(***部11的前端附近的轴方向或长度方向)。
由于***部11的前端有时移动到从芯线35上脱离的位置，所以，VBS图像生成部24也可以生成从芯线35偏心适当距离的位置处的VBS图像，将所生成的VBS图像输出到位置对齐处理部25a。这样，能够扩大基于图像匹配的位置估计的范围。
并且，根据由位置估计部25c估计出的2个位置的差分量，计算(估计)***部11的前端的移动量和移动的位置。并且，位置估计部25c还能够计算(估计)所估计出的一个位置与支气管2中的特征区域中的分支点(能够由CT坐标系确定的位置)这样的特定位置之间的距离。
因此，位置估计部25c具有作为距离计算单元的距离计算部的功能，该距离计算部计算由该位置估计部25c估计出的***部11的前端的位置与作为规定的管腔脏器的支气管2内的分支的分支区域等特征区域之间的距离。如上所述，图像处理部25具有通过估计而取得***部11的前端的位置的信息的作为位置信息取得单元的位置估计部25c的功能。该情况下，可以定义为位置对齐处理部25a包含位置估计部25c的功能的结构。
另外，在本说明书中，***部11的前端是与内窥镜3A的前端相同的意思。
并且，图像处理部25在控制部26中的对显示进行控制的显示控制部26a等的控制下，生成作为图像显示单元的监视器32中显示的图像。
在显示控制部26a的控制下，图像处理部25通常将由支气管形状图像生成部23a生成的支气管形状图像2a的图像信号(影像信号)输出到监视器32。然后，如图1所示，在监视器32中显示支气管形状图像2a作为例如以沿着穿过管腔中心的方向的截面切出的二维断层图像。另外，不限于利用二维断层图像进行显示的情况，也可以利用三维图像进行显示。在利用三维图像进行显示的情况下，例如可以利用基于平行投影法的投影图、管腔内部可知的透视图进行显示。
并且，如图2A所示，在监视器32所显示的支气管形状图像2a中还显示穿过支气管2的管腔中心的芯线35。
另外，例如由支气管形状图像生成部23a生成芯线35，但是，也可以在图像处理部25中生成芯线35。并且，图像处理部25具有图像生成部25d的功能，该图像生成部25d生成在支气管形状图像2a上与芯线35一起重叠由位置估计部25c估计出的***部11的前端的位置而得到的图像等。
手术医生等用户在将***部11从其前端***到支气管2内的情况下，在表示支气管2的三维形状的支气管形状图像2a上显示芯线35和***部11的前端的位置，所以，通过参考该显示，容易进行***部11的***操作。并且，通过进行沿着芯线35***的操作，能够在短时间内进行基于图像匹配的***部11的前端的位置的估计。
并且，图像处理部25具有作为距离比较单元的距离比较部25e，该距离比较部25e将由位置估计部25c估计出的***部11的前端的位置与作为规定的管腔脏器的支气管2内的特征区域之间的距离与设定距离进行比较。
另外，也可以代替图像处理部25具有距离比较部25e的结构，而采用控制部26具有作为距离比较单元的距离比较部25e的结构。如上所述说明了图像处理部25中的位置估计部25c计算(估计)距离的情况，但是，也可以由距离比较部25e进行距离计算(估计)和距离比较。
并且，在本实施方式中，图像处理部25具有作为变化量检测单元的变化量检测部25g，该变化量检测部25g检测由摄像装置16进行摄像而得到的内窥镜图像(简称为图像)内的特征部的变化量。变化量检测部25g具有检测作为特征部的支气管径(支气管2的内径)的变化量的支气管径变化量检测部25h、检测作为特征部的分支区域的明亮度的变化量的明亮度变化量检测部25i、以及检测分支区域的形状的变化量的形状变化量检测部25j。
并且，形状变化量检测部25j具有检测支气管2的管腔分开(分支)的支线(分支点或分支边界)的长度和角度的变化量的支线变化量检测部25k，并且，明亮度变化量检测部25i具有后述视野不良检测部25l的功能。不限于明亮度变化量检测部25i具有视野不良检测部25l的功能的情况。
另外，上述控制部26也可以根据由位置估计部25c估计出的***部11的前端的位置，对由路径数据生成部29a(在内窥镜3A的***部11的***前)生成的路径数据进行校正。
并且，控制部26具有条件判定部26b的功能，该条件判定部26b判定距离比较部25e的比较结果和变化量检测部25g的检测结果是否满足用于记录的规定的条件。
控制部26中的条件判定部26b在判定为满足规定的条件的情况下，使信息记录部27记录将判定为满足规定的条件的情况下的由位置估计部25c估计出的***部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的信息(作为位置和图像信息或再次位置对齐时提示的候选信息)。
因此，信息记录部27具有信息记录单元的功能，该信息记录单元根据距离比较部25e的比较结果和变化量检测部25g的检测结果，记录作为将***部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的候选信息的位置和图像信息(简记为信息)。
并且，控制部26的条件判定部26b具有进行在信息记录部27中记录位置和图像信息的控制的信息记录控制部26c的功能。
并且，控制部26的例如显示控制部26a进行控制，以使得例如在手术医生认为当前的***部11的前端的被估计出的位置的精度较低的情况等、从输入装置31输入了进行再次位置对齐的指示信号以进行再次位置对齐的情况下，读出信息记录部27中记录的信息，经由图像处理部25在监视器32中显示为候选信息。
该情况下，图像处理部25具有图像生成部25d，该图像生成部25d生成在支气管形状图像2a上重叠显示从信息记录部27中读出的候选信息而得到的图像。具体而言，在支气管形状图像2a上重叠显示***部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像。另外，如后所述，图2D示出如下的状况：在监视器32所显示的支气管形状图像2a上，将***部11的前端的位置显示在与该位置对应的位置，并且在该位置(用线)关联地重叠显示与该位置对应的VBS图像。
手术医生参考候选信息，进行再次位置对齐，位置对齐处理部25a或位置估计部25c能够在与支气管2的坐标系对应的状态下取得***部11的前端的位置和姿势的信息。然后，通过再次位置对齐，位置估计部25c能够确保规定的精度，进行再次将***部11的前端从再次位置对齐的位置***到支气管2的深部侧的操作。
在本实施方式中，如上所述，在信息记录控制部26c或条件判定部26b得到距离比较部25e的比较结果满足第1条件、变化量检测部25g的检测结果满足第2条件(即满足由第1条件和第2条件构成的规定的条件)的判定结果的情况下，信息记录部27记录得到该判定结果的情况下的包含(估计出的)***部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的信息作为候选信息。另外，也可以在信息记录部27中记录用于形成至少包含上述前端的位置和姿势中的位置的候选信息的信息。
在本实施方式中，如上所述，通过在满足相互不同的多个条件的情况下记录信息，在进行再次位置对齐的情况下，能够在作为显示单元(或显示装置)的监视器32中显示(或提示)适度信息量(或适度数量)的候选信息。
在本实施方式中，通过变化量检测部25g检测与由摄像装置16进行摄像而得到的内窥镜图像中的作为规定的管腔脏器的支气管2有关的支气管径等特征部的变化量，至少根据该变化量检测部25g的检测结果，在信息记录部27中记录包含所述检测结果时的***部11的前端的位置和姿势(的信息)以及与该位置和姿势对应的VBS图像的信息(作为进行再次位置对齐时提示的情况的候选信息)。
手术医生等用户容易掌握记录信息的条件或状况，以进行一边观察由摄像装置16进行摄像而得到的内窥镜图像一边将***部11***的操作。并且，进行再次位置对齐时提示的候选信息能够应对内窥镜图像中的特征部的变化量相对于***部11的前端的位置的移动而敏感变化的情况，所以，容易进行基于图像比较的位置对齐。
另外，信息记录部27中记录的信息包括***部11的前端的位置和姿势以及对应的VBS图像，但是，也可以还包括与所述位置和姿势的信息对应的内窥镜图像来进行记录。
并且，图像处理部25具有在对内窥镜图像和VBS图像这两个图像进行比较并进行图像匹配时暂时存储内窥镜图像和VBS图像或用作图像处理的工作区的图像存储器26f。另外，也可以在图像处理部25的外部设置图像存储器25f。
并且，在本实施方式中，例如输入装置31也可以构成为具有指定部31a，该指定部31a分别选择性地指定(或设定)与距离比较部25e进行比较的***部11的前端和特征区域有关的第1条件、以及与变化量检测部25g检测的特征部的变化量有关的第2条件。
并且，例如信息记录部27也可以具有作为条件信息记录单元的条件信息记录部27a，该条件信息记录部27a除了记录作为上述候选信息的信息以外，还预先记录与第1条件有关的第1条件的候选信息和与第2条件有关的第2条件的候选信息。另外，也可以构成为与信息记录部27分开地具有条件信息记录部27a。
第1条件的候选信息是(a)***部11的前端与芯线35被分开的分支点Bi(i＝1、2、…)之间的距离da、(b)***部11的前端与支气管2被分开的支线Spi(i＝1、2、…)之间的距离db、(c)***部11的前端与芯线35或支气管壁之间的距离dc、(d)***部11的前端与预先设定的区域之间的距离dd等。而且，手术医生等用户也可以通过指定部31a从(a)～(d)的第1条件的候选信息中选择性地进行指定，使其能够用作第1条件(的信息)。除此之外，作为第1条件的候选信息，也可以包含(e)***部11的前端与目标部位之间的距离、(f)***部11的前端与***开始位置之间的距离等。
并且，第2条件的候选信息是(a)支气管径Da的变化、(b)图像(内窥镜图像)或显示内窥镜图像的显示画面的明亮度变化、(c)分支的形状的变化、(d)支线Sp的长度的变化、(e)支线Sp的角度的变化、(f)视野的不良、(g)内窥镜图像的较大抖动、(h)在内窥镜图像中映出支气管以外的部分的变化等。而且，手术医生等用户也可以通过作为指定单元的由鼠标或键盘等构成的指定部31a从(a)～(h)的第2条件的候选信息中选择性地进行指定，使其能够用作第2条件(的信息)。
该情况下，控制部26具有条件设定部26d的功能，该条件设定部26d对应于指定部31a的指定来进行第1条件和第2条件的设定。条件设定部26d在进行第1条件和第2条件的设定时，还进行条件判定部26b进行判定时使用的阈值信息的设定。另外，也可以与第1条件的候选信息对应地在信息记录部27中记录阈值信息。
另外，在图1中，例如图像处理部25可以由CPU(中央运算处理装置)构成，但是，也可以分别使用CPU以外的专用硬件构成图像处理部25内部的位置对齐处理部25a-变化量检测部25g。并且，图1中的控制部26可以由CPU构成，也可以使用CPU以外的专用硬件构成。
这种结构的内窥镜***1的特征在于，具有：作为图像记录单元的CT图像数据记录部22，其记录预先取得的被检体中的三维图像信息；作为管腔脏器提取单元的支气管提取部23，其从所述三维图像信息中提取作为规定的管腔脏器的支气管2；作为假想内窥镜图像生成单元的VBS图像生成部24，其针对由所述管腔脏器提取单元提取出的所述规定的管腔脏器的信息生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；作为摄像单元的摄像装置16或16′，其设置在内窥镜3A或3B内，对所述规定的管腔脏器内进行摄像；作为位置信息取得单元的位置估计部25c，其取得所述规定的管腔脏器内的所述内窥镜3A的***部11的前端的位置的信息作为位置信息；作为距离比较单元的距离比较部25e，其将由所述管腔脏器提取单元提取出的所述规定的管腔脏器中的特征区域和从由所述位置信息取得单元取得的所述内窥镜3A或3B的***部11的前端的位置到所述特征区域的距离与设定距离进行比较；作为变化量检测单元的变化量检测部25g，其在作为由所述摄像单元进行摄像而得到的图像的内窥镜图像内检测所述规定的管腔脏器中的特征部的变化量；以及作为信息记录单元的信息记录部27，其根据所述距离比较单元的比较结果和所述变化量检测单元的检测结果，记录包含与所述内窥镜的***部的前端的位置信息和与该位置对应的所述假想内窥镜图像的位置和图像信息。
接着，对本实施方式的动作进行说明。
图4A示出本实施方式中的代表性处理，图4B示出图4A中的一部分的处理部分、即在满足规定的条件的情况下记录作为候选信息的(位置和图像)信息的处理部分。
当图1的内窥镜***1的电源接通、内窥镜装置4A(或4B)和***支援装置5成为动作状态时，图4A中的处理开始。在图4A的最初的步骤S1中进行初始设定处理。作为该初始设定处理，手术医生从输入装置31进行本实施方式中用于***支援的信息的输入。该情况下，手术医生从指定部31a进行第1条件和第2条件的指定。并且，条件判定部26b成为进行与所指定的第1条件和第2条件对应的判定的状态。
下面，设手术医生指定***部11的前端与芯线35被分开的分支点Bi之间的距离da作为第1条件、指定支气管径Da的变化作为第2条件的情况为(A)进行说明。
(A)指定了***部11的前端(的位置)与分支点Bi之间的距离da以及支气管径Da的变化作为第1条件和第2条件的情况
如图2A所示，支气管形状图像生成部23a生成作为支气管2的形状图像的支气管形状图像2a，经由图像处理部25在监视器32中显示支气管形状图像2a。并且，如上所述，在支气管形状图像2a上显示穿过支气管2的管腔中心的芯线35。并且，芯线35分支的分支点Bi也显示在监视器32上。芯线35和分支点Bi的各位置成为在CT坐标系中确定的已知的三维位置。
在接下来的步骤S2中，手术医生将***部11的前端***到支气管2内。此时，手术医生将***部11的前端***，以使得预先设定为图像匹配开始位置的支气管2的入口或隆凸K(参照图2A)等VBS图像和基于摄像装置16(或16′)的内窥镜图像看起来相同。通过进行这种位置对齐，图像处理部25的位置对齐处理部25a开始进行图像匹配，以使得内窥镜图像和VBS图像在所设定的条件(能够确保规定的精度的误差以内)下一致。另外，在使用摄像装置16′的情况下，采用基于摄像装置16′中的一个摄像装置16a或16b的内窥镜图像即可。
在步骤S2的位置对齐处理后，手术医生将***部11的前端***到比位置对齐的位置更靠支气管2的深部侧。在***部11被***的情况下，如步骤S3所示，图像处理部25的位置估计部25c通过使用了图像比较部25b的图像匹配来估计***部11的前端的位置和姿势。在能够通过图像匹配进行估计的情况下，如图2A所示，在支气管形状图像2a上的相应位置显示估计出的位置。并且，将该信息存储在例如图像存储器25f中。
并且，如接下来的步骤S4所示，控制部26监视手术医生等是否输入了进行再次位置对齐的指示信号。
如上所述，在从步骤S2中进行位置对齐的状态的位置起的移动距离不大的情况下，手术医生不需要进行再次位置对齐的指示。另外，也可以构成为，图像处理部25的图像比较部25b对内窥镜图像和VBS图像的图像进行比较，通过图像比较，在两个图像的匹配程度偏移为预先设定的阈值以上的情况下、换言之估计***部11的前端的位置失败的情况下，产生再次位置对齐的指示信号，将该指示信号输入到控制部26。该情况下，在从位置对齐的状态的位置起的移动距离不大的情况下，不对控制部26输入指示信号。
在控制部26中未输入指示信号的情况下，在步骤S5中，控制部26的条件判定部26b判定距离比较部25e的比较结果和变化量检测部25g的检测结果是否满足规定的条件。
在步骤S5中为不满足规定的条件的判定结果的情况下，返回步骤S3的处理。另一方面，当成为满足规定的条件的判定结果时，进入步骤S6，例如条件判定部26b进行控制，以使得在信息记录部27中记录满足规定的条件的判定结果的情况下的***部11的前端的位置和姿势以及对应的VBS图像的信息。
另外，满足规定的条件的判定结果如后所述至少是时间上不同的2个以上的时机的比较结果，所以，在信息记录部27中记录进行了比较的2个以上的时间中的一个时间的***部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的信息。在步骤S6的处理后，返回步骤S3的处理。这样，在***部11的前端从最初进行位置对齐的位置起大幅移动的情况下，基于图像比较部25b的匹配精度容易降低。
在匹配精度降低的情况下，用于进行再次位置对齐的指示信号被输入到控制部26，控制部26检测指示信号的输入。然后，如步骤S7所示，控制部26的显示控制部26a进行控制，以使得读出信息记录部27中记录的信息作为候选信息，在监视器32中提示或显示候选信息。
在接下来的步骤S8中，手术医生在参考监视器32中显示的候选信息进行了再次位置对齐后，返回步骤S3，对步骤S2中的旧位置对齐的信息进行更新。另外，也可以在步骤S7的处理后，返回步骤S2(不是步骤S3)，参照候选信息进行再次位置对齐。这样，反复进行图4A的处理，能够顺畅地进行将***部11***到支气管2的末梢侧(深部侧)的操作。
接着，参照图4B更加详细地说明图4A中的步骤S5、S6的处理。另外，针对图4B中的与支气管径有关的处理，使用基于图3A中说明的内窥镜装置4B的立体计测或基于图3E的立体计测进行说明。
在图4A的步骤S4中在控制部26中未输入再次位置对齐的指示信号的情况下，在图4B的步骤S11中，图像处理部25的位置估计部25c根据步骤S3中取得的***部11的前端的位置(的信息)和支气管提取部23提取出的支气管2的三维数据中的分支点Bi(的位置信息)，计算两者之间的距离da。图2A示出该情况下的支气管2(及其支气管形状图像2a)以及***到支气管2内的***部11。
如图2A所示，当***部11的前端位于比分支点Bi靠***口侧的位置Pj时，针对该***部11的前端的位置Pj与位于比该***部11的前端的位置Pj靠前方侧的分支点Bi之间的距离da，(伴随着第1条件的指定)设定作为(该分支点Bi中预先)设定的阈值距离的设定距离dth。
在接下来的步骤S12中，距离比较部25e判定是否满足计算出的***部11的前端的位置Pj与分支点Bi之间的距离da是否为设定距离dth以内这样的第1条件。
在步骤S12的判定处理中为不满足第1条件的判定结果的情况下，返回步骤S3的处理。另一方面，在步骤S12的判定处理中为满足第1条件的判定结果的情况下，在接下来的步骤S13中，通过利用了内窥镜装置4B(的计测运算部18d)或内窥镜3A的弯曲部19的弯曲的立体计测，如上所述根据内窥镜图像的信息计算支气管径Da。然后，将计算出的支气管径Da的信息送到图像处理部25的变化量检测部25g。
在接下来的步骤S14中，变化量检测部25g(的支气管径变化量检测部25h)判定是否满足计算出的支气管径Da是否变化了作为针对该支气管径Da而预先设定的阈值信息的设定值Dth以上这样的第2条件。图2B示出从如图2A所示***部11的前端满足第1条件的状态的位置起将***部11***到支气管2的末梢侧的情况下的状况。
如图2B所示，通过位置估计部25c，例如每隔一定时间间隔估计并取得***部11的前端的位置Pj，估计出的位置Pj经由位置P1、P2、…、P6、P7而移动到当前的前端的位置P8。另外，不限于一定时间间隔的情况，也可以是一定距离，还可以是运算出***部11的前端位置的情况下的规定的运算次数、进行了计算支气管径的运算的情况下的规定的运算次数等。
并且，在图2B中，白圆圈所示的各位置Pj(图2B中为j＝1、2、…、6)是分支点Bi中的满足第1条件的位置，黑点所示的位置P7、P8是分支点Bi中的不满足第1条件的位置。但是，在下一个分支点Bi+1中进行与分支点Bi的情况相同的处理。
并且，在上述各位置Pj中，由计测运算部18d计算出的支气管径Da的变化的状况的概略如图2B所示，图2C示出在满足第1条件的状态下的***部11的前端的移动中计算出支气管径的各支气管径计算时的位置P1～P6以及计算出的支气管径Da的变化的状况。另外，满足第1条件的各位置P1～P6处的信息暂时存储在图像存储器25f等中。
如图2B和图2C所示，支气管径Da大幅变化，以使得支气管径Da在分支点Bi附近成为峰值。该情况下，在从位置P3移动到位置P4的情况下，支气管径Da从小于设定值Dth的状态起变化为超过设定值Dth的大值。
因此，控制部26的条件判定部26b在信息记录部27中记录从位置P3变化为位置P4的情况下的位置P3和姿势或位置P4和姿势以及位置P3和姿势或位置P4和姿势中的对应的VBS图像的信息(作为候选信息)。即，如图4B中的步骤S15所示，在信息记录部27中记录支气管径Da变化设定值Dth以上的前后的***部11的前端的位置(P3或P4)和姿势以及对应的VBS图像的信息(作为候选信息)。
另外，在从位置P4变化为位置P5的情况下，支气管径Da也从大值变化为小值，但是，从成为满足第1条件的状态的位置P1的情况起的变化在设定值Dth以内，所以不进行记录。也可以代替如上所述在信息记录部27中记录位置P3和姿势或位置P4和姿势以及位置P3和姿势或位置P4和姿势中的对应的VBS图像的信息(作为候选信息)，而在信息记录部27中记录位置P3与P4之间的位置和姿势的信息以及对应的VBS图像的信息。
这样，在步骤S15中记录了分支点Bi附近的信息后，返回步骤S3的处理。然后，反复进行同样的处理。例如，如图2B所示，在当前的位置成为P8的情况下，在下一个分支点Bi+1中反复进行与分支点Bi的情况相同的处理。这样，***部11被***到支气管2的末梢侧的位置，当***部11的前端***到目标部位附近时，图4A或图4B的处理结束。根据上述说明可知，在支气管2中的各分支点Bi附近，支气管径大幅变化，在本实施方式中，在各分支点Bi附近记录信息。
因此，例如在图2A中的***到比分支点Bi+1靠末梢侧的状态(例如图2A中的位置Pk)下，向控制部26输入了再次位置对齐的指示信号的情况下，在监视器32中显示在分支点Bi附近记录在信息记录部27中的信息以及在分支点Bi+1附近记录在信息记录部27中的信息作为候选信息。
图2D示出该情况下的候选信息的显示例。在图2D的候选信息的显示例中，例如以用线连接的方式显示到达位置Pk之前记录在信息记录部27中的***部11的前端的位置(图2D中为分支点Bi和Bi+1)以及分别对应的VBS图像。另外，比分支点Bi靠基端侧(***口侧)的分支点Bi-1等也可以同样显示。
如图2D所示，将在支气管2中的作为特征区域的管腔分支的分支点Bi、Bi+1附近分别记录的信息作为进行再次位置对齐的情况下的候选信息进行显示。这样，显示适于再次位置对齐的各分支点附近的必要最小限度的候选信息。因此，手术医生容易顺畅地在短时间内进行再次位置对齐。换言之，由于通过第1条件和第2条件来缩小要记录的信息，所以，能够记录适于进行再次位置对齐的(不会过多的)信息量的信息。
另外，在图2D中示出了分支点Bi和Bi+1中的候选图像的提示例，但是，针对***部11的前端的位置Pk，也可以提示在与估计出的位置Pk最近的状态下记录在信息记录部27中的信息作为候选信息。在应用于图2D的情况下，也可以仅提示在分支点Bi+1附近记录的信息作为候选信息。
与此相对，在现有例中，未通过本实施方式中的针对***部11的前端与作为特征区域的分支点Bi之间的距离的第1条件、针对内窥镜图像中的作为特征部的管腔的内径的变化量(更具体而言为支气管径的变化量)的第2条件来缩小(信息记录部27中)记录的信息，所以，再次位置对齐时显示的候选信息过多，以适当的候选信息进行再次位置对齐花费时间。
并且，在本实施方式中，相对于***部11的前端的位置的移动，在内窥镜图像中的特征部大幅变化的情况下记录信息，所以，手术医生等用户容易在视觉上掌握记录信息的条件。因此，在本实施方式中，能够以用户容易在视觉上掌握的条件记录适于进行再次位置对齐的信息量的信息。
并且，在本实施方式中，在显示(提示)所记录的信息作为候选信息并进行再次位置对齐的情况下，反映了内窥镜图像中的特征部相对于***部11的前端的位置的移动而大幅变化的特性，所以，用户容易在视觉上进行基于图像匹配的再次位置对齐。
另外，如图2C所示，在支气管径Da变化的情况下，也可以在信息记录部27中记录支气管径Da相对于前端的位置的移动轨迹而最大(峰值)的位置P4的状态下的信息。
当这样进行记录时，在作为用于进行再次位置对齐的候选信息进行提示的情况下，在接近该候选信息的位置附近使***部11的前端的位置移动的情况下，内窥镜图像中的支气管径相对于***部11的位置的变化而大幅变化，所以，能够增大针对再次位置对齐时的图像比较的变化的比例。并且，由于是内窥镜图像中的支气管径最大的位置附近，所以成为容易确定的状态的位置。
并且，在监视器32中，如图2D中双点划线所示，也可以显示将当前的内窥镜图像与从信息记录部27中读出并显示的作为候选信息的VBS图像(和内窥镜图像)一起重叠在支气管形状图像2a上而得到的合成图像。这样，当与候选信息相邻地显示当前的内窥镜图像时，能够容易地进行基于与候选信息的图像比较的位置对齐。
并且，该情况下，也可以构成为在图像处理部25中设置图像移动部，该图像移动部能够移动显示位置以使候选信息侧的VBS图像重叠在当前的内窥镜图像的显示位置，或者能够移动显示位置以使候选信息侧的内窥镜图像重叠在当前的内窥镜图像的显示位置。或者，也可以构成为具有能够将当前的内窥镜图像的显示位置移动到候选信息侧的VBS图像的显示位置或候选信息侧的内窥镜图像的显示位置的图像移动部。
并且，在图2D中示出了显示(提示)2个分支点Bi、Bi+1附近的候选信息的例子，但是，也可以仅显示(提示)最后记录的信息作为候选信息。当应用于图2D时，仅显示(提示)分支点Bi+1附近的信息作为候选信息。
另外，在计算(计测)分支点Bi与***部11的前端的位置Pj之间的距离da的情况下，也可以通过以下说明的图5(A)-图5(C)中的任意一方进行计算。
在图5(A)所示的例子中，利用连接两者的最短距离来计算分支点Bi与***部11的前端的位置Pj之间的距离da。在图5(B)中，也可以设定从***部11的前端的位置Pj起的芯线35上的作为最短距离的位置Pj1，采用该位置Pj1与分支点Bi之间的距离da1来代替距离da。
并且，在图5(B)中，设定了从***部11的前端的位置Pj起的芯线35上的作为最短距离的位置Pj1，但是，也可以取而代之而如图5(C)所示采用在与对应于支气管2的三维数据的CT坐标系的坐标面平行的面中使***部11的前端的位置Pj在芯线35上移动的位置Pj2与分支点Bi之间的距离da2作为距离da。
并且，在计算(计测)支气管径Da的情况下，如图6所示，可以采用在与***部11的前端(的轴方向)垂直的面中计算出的支气管径Da1，也可以采用沿着穿过前端和从该前端起的最短距离的芯线35上的点并与芯线35垂直的面而计算出的支气管径Da2。
在上述中，作为第1条件，如图2A所示，利用分支点Bi与***部11的前端之间的距离da的情况进行了说明，但是，也可以代替分支点Bi而采用支气管2分支的支线Spi。
(B)指定了***部11的前端(的位置)与支线之间的距离以及支气管径的变化作为第1条件和第2条件的情况
该情况下，代替图2A，如图7所示，判定支线Spi与前端Pj之间的距离db是否为以支线Spi为中心的半径dth的设定距离dth以内。另外，也可以将支线Spi的情况下的设定距离dth设定为与分支点Bi的情况下的设定距离dth不同的值。
该情况下，成为将图4A、图4B中的分支点Bi改写为支线Spi的内容。因此，图4B的流程图如图8所示。
图8中的步骤S11成为将图4B中的分支点之间的距离da变更为支线之间的距离db的内容。并且，图8中的步骤S12成为将图4B中的(***部11的前端位置与分支点之间的距离)da变更为(***部11的前端位置与支线之间的距离)db的内容。
而且，该情况下的作用效果与利用分支点Bi的情况进行说明的作用效果大致相同。另外，关于***部11的前端位置Pj与支线Spi之间的距离db，如图9A所示，可以将***部11的前端的位置Pj与支线Spi之间的最短距离db1作为距离db。并且，如图9B所示，也可以将从***部11的前端位置Pj起的最短距离的芯线35上的位置Pj1与支线Spi之间的最短距离db2作为距离db。
并且，如图9C所示，也可以采用在与对应于支气管2的三维数据的CT坐标系的坐标面平行的面中使***部11的前端位置Pj在芯线35上移动的位置Pj3与支线Spi之间的距离db3作为距离db。
(C)指定了***部11的前端(的位置)与芯线35之间的距离dc以及支气管径Da的变化作为第1条件和第2条件的情况
该情况下，进行在图4A、图4B中将分支点Bi改写为芯线35的处理。该情况下，在位置估计部25c估计出***部11的前端的位置Pj的情况下，距离比较部25e计算前端的位置Pj与芯线35之间的距离dc，持续进行监视该距离dc的值的变化的动作。
图10示出***到支气管2内进行前端的位置Pj的位置估计、并且判定是否满足前端的位置Pj与芯线35之间的距离dc为设定值dct以内的第1条件的情况的状况。并且，该情况下，还监视支气管径Da的变化。在位置Pj在时间上经由位置P1、P2、…、P7而移动到P8的当前的位置Pj的情况下，距离dc仅在位置P7处为dc>dct。
该情况下，由于在位置P1～P6处满足第1条件，所以，与(A)中说明的情况同样，从图10中的位置P3移动到位置P4的情况下的支气管径Da变化设定值Dth以上，所以，在分支点Bi附近的位置P4(或P3)记录信息。该情况下，也具有与(A)中说明的情况相同的作用效果。
另外，在上述说明中，说明了在满足第1条件的状态下、在内窥镜图像中的支气管径Da变化设定值Dth以上的情况下记录信息的情况，但是，在第1条件进一步变化的情况下、即距离dc从设定值dct以下变化为dct以上的情况下，也可以在变化的情况之前的位置Pj记录信息。
在这样进行了记录的情况下，能够记录接近必要最小限度的信息，并且，能够记录进行再次位置对齐之前的位置处的信息。具体而言，在图10的情况下，除了位置P4(或P3)处的信息以外，还能够记录成为如位置P7那样从芯线35脱离的位置之前的位置P6处的信息。该情况下，还显示位置P6处的信息作为候选信息，能够进行再次位置对齐。而且，该情况下，能够进行再次位置对齐，而不用返回到位置P4。
另外，也可以代替监视芯线35与前端的位置Pj之间的距离dc而监视位置Pj与支气管壁之间的距离dd。并且，该情况下，也可以判定距离dd是否小于(短于)预先设定的距离ddt。
图11A和图11B示出计算(计测)前端的位置Pj与芯线35之间的距离dc或前端的位置Pj与支气管壁之间的距离dd的状况。
如图11A所示，可以采用从前端的位置Pj起通过垂线到达芯线35的距离dc1、或从前端的位置Pj起通过相对于该前端的轴的垂线到达芯线35的距离dc2作为距离dc。
并且，如图11A所示，也可以采用从前端的位置Pj起通过垂线到达支气管壁的距离dd1、或从前端的位置Pj起通过相对于该前端的轴的垂线到达支气管壁的距离dd2作为距离dd。
并且，如图11B所示，也可以采用从前端的位置Pj起的与三维数据的某个坐标面平行的面上的前端的位置Pj与芯线35之间的距离dc3作为距离dc，并且采用从前端的位置Pj起的与三维数据的某个坐标面平行的面上的前端的位置Pj与支气管壁之间的距离dd3作为距离dd。
(D)指定了***部11的前端(的位置)与用户(手术医生)预先设定的区域的中心之间的距离de以及支气管径Da的变化作为第1条件和第2条件的情况
该情况下，在要将***部11***到支气管2内的情况下，如图12所示，作为用户的手术医生从输入装置31沿着***的路径预先设定规定的设定区域Ri、Ri+1等。
然后，距离比较部25e持续进行监视***部11的前端的位置Pj与设定区域Ri的中心Ric之间的距离是否是设定区域Ri内的距离的动作。
该情况下，成为与在上述(A)中以分支点Bi为中心设定了设定距离dth的情况相同的动作。另外，也可以如设定区域Ri+1那样设定为非球形的形状，而不是球形的设定区域Ri。
并且，不限于图12所示的形状的设定区域的情况，也可以利用长方体等形状来设定设定区域。并且，例如，也可以以芯线上的分支点等为中心设定预先设定的半径的球形的初始区域，在设定后由用户变更为期望大小、形状或进行删除等修正。
该情况下，能够进行与用户期望对应的信息的记录以及候选信息的显示(提示)。
(E)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像的明亮度的变化作为第1条件和第2条件的情况
该情况下，如图13所示，在将***部11***到支气管2内的情况下，变化量检测部25g的明亮度变化量检测部25i检测内窥镜图像中的明亮度的变化量。
具体而言，如图13所示的位置P1、P2、…、P5所示，(图像处理部25中的)明亮度变化量检测部25i例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视暗部的面积的动作。在图13中示出与在各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取既定值以下的暗部的状态。
暗部的面积是指内窥镜图像中的明亮度为既定值以下的图像部分的合计面积。在图13中，支气管2内的***部11的前端前方侧的管腔部分中的分支部分被识别为暗部。例如，从位置P1移动到位置P2的情况下的暗部的面积变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，暗部的面积大幅变化。明亮度变化量检测部25i在检测到暗部的面积大幅变化的情况下，在变化的前后，在信息记录部27中记录包含VBS图像的信息。
另外，也可以根据检测为暗部的分支部分的数量的变化(例如从2个变化为1个或从1个变化为2个)，检测为暗部的面积的较大变化量，由此，此时在信息记录部27中记录包含VBS图像的信息。
并且，作为明亮度的变化量，不限于根据暗部的面积的变化量进行检测的情况，也可以计算内窥镜图像的明亮度的平均值，在成为平均值为阈值以上的变化量的情况下，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图13所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。
并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(E)的情况下，采用暗部的面积等手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(F)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的分支形状的变化作为第1条件和第2条件的情况
在图14中示出了提取支气管2的分支形状的部分的状态。该情况下，如图14所示，在将***部11***到支气管2内的情况下，变化量检测部25g的形状变化量检测部25j检测内窥镜图像中的特征部的形状的变化量。
更具体而言，如图14所示的位置P1、P2、…、P5所示，(图像处理部25中的)形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的分支形状的动作。
在图14中示出与在各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支气管2的分支形状的状态。
具体而言，从位置P1移动到位置P2的情况下的支气管分支形状的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支气管分支形状大幅变化。形状变化量检测部25j在检测到支气管分支形状大幅变化的情况下，在变化的前后，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图13所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。
并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(F)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(G)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的支线的长度的变化作为第1条件和第2条件的情况
该情况下，如图15(A)所示，在将***部11***到支气管2内的情况下，变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的长度的变化量。在图15(A)中示出与各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支线的长度的状态。另外，支线的长度是支气管2的管腔分支为两股的分支部中的边界的长度。
如图15(A)所示的位置P1、P2、…、P5所示，(图像处理部25中的)支线变化量检测部25k例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的长度的动作。图15(B)示出***部11的前端的位置Pj与支线的长度的关系。根据图15(A)、图15(B)可知，例如从位置P1移动到位置P2的情况下的支线的长度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支线的长度大幅变化。支线变化量检测部25k在检测到支线的长度大幅变化的情况下，在变化的前后，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图15所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。
并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(G)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(H)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的支线的角度的变化作为第1条件和第2条件的情况
该情况下，如图16(A)所示，在将***部11***到支气管2内的情况下，变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的角度(朝向)的变化量。在图16(A)中示出与各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支线的角度的状态。另外，支线的角度是支气管2的管腔分支为两股的分支部中的边界部分的长度方向的朝向或与基准方向所成的角度。
如图16(A)所示的位置P1、P2、…、P5所示，(图像处理部25中的)支线变化量检测部25k例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的角度的动作。
图16(B)示出***部11的前端的位置Pj与支线的角度的关系。根据图16(A)、图16(B)可知，例如从位置P1移动到位置P2的情况下的支线的角度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，手术医生扭转***部11，因此，与位置P2相比，支线的角度大幅变化。支线变化量检测部25k在检测到支线的角度大幅变化的情况下，在变化的前后，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图16(A)所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。
并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(H)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(I)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的视野不良的变化作为第1条件和第2条件的情况
该情况下，如图17所示，在将***部11***到支气管2内的情况下，变化量检测部25g的视野不良检测部25l检测内窥镜图像中的视野不良的产生。关于视野不良(的产生)，在支气管内进行摄像而得到的内窥镜图像中，根据是否以能够识别的程度映出管腔的前端侧的分支和暗部来进行判定，假设污渍覆盖视野整体，在内窥镜图像的明亮度低于规定的明亮度、较暗区域大致遍及内窥镜图像整体的情况下，视野不良检测部25l判定为视野不良。
因此，例如明亮度变化量检测部25i具有视野不良检测部25l的功能。
在图17中示出各位置Pj(j＝1、2、…、5)处取得的内窥镜图像的概略。如位置P1、P2、…、P5所示，(图像处理部25中的)视野不良检测部25l例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视视野不良的动作。在图17所示的例子中，在从位置P2移动到位置P3的情况下检测到视野不良的产生，在变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图16(A)所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(I)的情况下，采用如视野不良那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
另外，上述形状变化量检测部25j检测支气管内的分支形状的变化量，但是，如下所述，也可以在从分支形状变化为分支形状以外的构造、形状的情况下、换言之检测到变化为分支形状以外的情况下记录信息。
(J)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的从支气管分支形状起的变化作为第1条件和第2条件的情况
该情况下，如图18所示，在将***部11***到支气管2内的情况下，变化量检测部25g的形状变化量检测部25j持续进行监视对支气管2内进行摄像而得到的内窥镜图像中的支气管2的分支是否存在于内窥镜图像内的动作。然后，手术医生使***部11的弯曲部19弯曲或使***部11扭转，在判定为分支不存在于内窥镜图像内的情况下，在信息记录部27中记录包含在紧挨着的之前的位置处的VBS图像的信息。
如图18所示，如位置P1、P2、…、P5所示，(图像处理部25中的)形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，在所取得的内窥镜图像内提取例如分支形状部分，持续进行监视有无分支的动作。然后，在图18中，判定为在从位置P2移动到位置P3的情况下变化为不存在分支的状态，在该变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得***部11的前端位置的时机联动。进而，作为第1条件，如图16(A)所示，不限于前端位置与分支点Bi之间的距离da为设定距离dth以内的情况，也可以将前端位置与支线之间的距离db设定为设定距离以内。并且，作为第1条件，也可以使用距离da、db以外进行设定。
在(J)的情况下，采用如有无分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
(K)指定了***部11的前端位置与分支点或支线之间的距离以及内窥镜图像中的特征部的抖动的变化作为第1条件和第2条件的情况
该情况下，如图19所示，图像处理部25将从CCU 8A依次以规定的时间间隔(例如1/30s或1/60s)输入的图像信号交替存储在图像存储器25f中的第1存储器81a和第2存储器81b中。例如，最新的第n个图像In存储在第2存储器81b中，该1帧或1场之前的第n-1个图像In-1存储在第2存储器81b中。
以相邻的帧或场进行摄像而得到的第n-1个图像In-1和第n个图像In被输入到抖动量运算处理部82，抖动量运算处理部82进行如下运算：相对于一个图像(例如图像In)中设定的点，计算另一个图像中的对应点，作为表示抖动量的运动矢量。
由抖动量运算处理部82计算出的运动矢量被输入到抖动量判定部83，抖动量判定部83将计算出的运动矢量视为抖动量，判定运动矢量的大小(绝对值)是否超过规定值，根据判定结果记录包含VBS图像的信息作为候选信息。另外，也可以构成为图1所示的条件判定部26b具有抖动量判定部83的功能。
抖动量运算处理部82将以图像In的中心点为中心的W×H像素的范围设定为模板，探索与该中心点对应的图像In-1上的对应点。例如通过计算亮度的SAD(Sum ofAbsolute Differences：绝对差值和)来进行对应点的探索。当设模板的像素值为t(x、y)、探索对象的图像的像素值为g(x、y)时，一般利用(4)式计算坐标(u、v)中的SAD即F(u、v)。
F(u、v)＝ΣiΣj|g(i+u、j+v)-t(i、j)| (4)
另外，Σi、Σj分别表示进行在i为NW以内、j为NH以内的模板的宽度W、高度H中加上|g-t|的运算，并且，设模板的宽度为W、高度为H，设为-W/2≦NW≦W/2、-H/2≦NH≦H/2。并且，设与图像In相当的图像In-1的中心坐标为(Ox、Oy)，在Ox-W/2≦u≦Ox+W/2、Oy-H/2≦v≦Oy+H/2的范围内计算F(u、v)。F(u、v)最小时的坐标(Ex、Ey)成为对应点。
根据相对于图像In的中心坐标(Ox、Oy)的对应点的坐标(Ex、Ey)，利用(5)式计算运动矢量m。
m＝(Ex-Ox、Ey-Oy)…(5)
以上是运动矢量m的计算方法。
通过运动矢量m的计算，当计算该运动矢量m作为抖动量的处理结束后，利用抖动量判定部83将运动矢量m的大小与规定值进行比较，在抖动量判定部83判定为运动矢量m的大小大于规定值的情况下，抖动量判定部83判定为产生了超过规定值的抖动变化，对信息记录部27输出用于记录VBS图像的记录指示信号(或保存指示信号)。接收到该记录指示信号的信息记录部27记录超过规定值的抖动产生前的图像存储器25f的第1存储器81a的图像作为候选图像。每当输入记录指示信号时进行记录该候选图像的动作，在信息记录部27中蓄积候选图像。
通过反复进行以上动作，能够蓄积紧挨着内窥镜图像的抖动大于规定值的情况之前的内窥镜图像作为候选图像。另外，作为检测内窥镜图像的抖动的方法，在无法进行基于SHIFT(Scale-Invariant Feature Transform：尺度不变特征转换)的运算、无法运算与各图像对应的特征点的情况下或在图像的频率解析中高频成分减小规定值以上的情况下，也可以同样进行记录。这种情况下也得到相同效果。
另外，在上述实施方式中，关于第1条件和第2条件，说明了代表性组合的情况，但是，也可以通过上述组合以外的组合来记录信息。
即，本发明还包含与上述实施方式中的第1条件和第2条件有关的组合不同的结构、方法的情况。进而，第1条件和第2条件不仅可以由用户设定，还可以通过预先存储在设备内的例如条件设定部26d或信息记录控制部26c等中，即使用户不进行设定也能设定。
并且，说明了作为条件信息记录单元的条件信息记录部27a分别记录能够设定为第1条件和第2条件的多个候选条件的信息和候选信息的情况，但是，也可以不使用候选条件的信息和候选信息，而叙述为分别记录能够设定为第1条件和第2条件的多个条件信息(或信息)。
另外，在上述说明中，说明了在从输入装置31等对控制部26输入了进行再次位置对齐的指示信号的情况下、在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息的情况。
本发明不限于该情况，例如，也可以在规定的时机在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息。
例如，用户也可以从输入装置31等针对控制部26进行用于设定显示候选信息的时间间隔或条件的输入，控制部26在符合所设定的时间间隔或条件的情况下，进行从信息记录部27中读出信息的控制，经由图像处理部25在监视器32中显示包含VBS图像的候选信息。
并且，在具有对由摄像单元进行摄像而得到的图像信息和假想内窥镜图像进行比较的图像比较单元、在规定的时机显示信息取得单元中记录的假想内窥镜图像的显示单元的结构中，也可以构成为，信息取得单元根据图像比较单元的比较结果取得摄像单元的至少位置信息。
并且，本发明不限于上述例如图1所示的结构，可以仅是权利要求1所述的基本结构，也可以构成为在该基本结构中选择性地追加一个或多个结构要素。
本申请以2013年3月6日在日本申请的日本特愿2013-44601号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书和权利要求书中。

Claims (12)

1.一种内窥镜***，其特征在于，该内窥镜***具有：
假想内窥镜图像生成部，其针对具有管腔的脏器生成假想内窥镜图像，该假想内窥镜图像是所述管腔内的规定的视点位置处的假想的内窥镜图像；
摄像部，其设置在被***所述管腔的内窥镜内，取得所述管腔内的内窥镜图像；
图像比较部，其对在所述假想内窥镜图像生成部中生成的所述假想内窥镜图像和在所述摄像部中取得的所述内窥镜图像进行比较；
位置信息取得部，其根据所述图像比较部的比较结果，取得所述内窥镜的***部的前端的位置的信息作为位置信息；
距离计算部，其计算从所述位置信息取得部所取得的所述***部的前端的位置到所述脏器中的特征区域的距离；
距离比较部，其判定所述距离计算部计算出的所述距离是否在预先设定的设定距离以内；
变化量检测部，其在所述内窥镜图像内检测所述管腔中的分支的分支区域中的形状的变化量，明亮度的变化量以及管腔的内径的变化量中的至少一个变化量；以及
信息记录部，其根据所述距离比较部的比较结果和所述变化量检测部的检测结果，记录所述内窥镜的***部的前端的位置。
2.根据权利要求1所述的内窥镜***，其特征在于，
所述距离计算部计算从作为所述特征区域的所述管腔中的分支或者从穿过所述管腔的中心的芯线到所述***部的前端的位置的距离，
所述变化量检测部判定所述形状的变化量或明亮度的变化量是否超过了预先设定的阈值，
当在所述距离比较部中判定为所述距离在所述设定距离以内、并且在所述变化量检测部中判定为所述形状的变化量或明亮度的变化量超过了预先设定的阈值的情况下，所述信息记录部记录所述内窥镜的***部的前端的位置。
3.根据权利要求1所述的内窥镜***，其特征在于，
所述内窥镜***还具有条件判定部，该条件判定部判定所述距离比较部的比较结果和所述变化量检测部的检测结果是否分别满足由第1条件和第2条件构成的规定的条件，
在所述条件判定部判定为满足所述第1条件和所述第2条件的情况下，所述信息记录部记录所述内窥镜的***部的前端的位置。
4.根据权利要求2所述的内窥镜***，其特征在于，
所述内窥镜***还具有：
管腔形状图像生成部，其生成管腔形状图像，该管腔形状图像是表示所述脏器的管腔的形状的图像；以及
显示控制部，其进行控制，使得在所述位置信息取得部根据所述图像比较部的比较结果取得所述内窥镜的***部的前端的位置信息失败的情况下、或产生了用于提示所述信息记录部中记录的所述位置的指示信号的情况下，在所述管腔形状图像中的对应位置显示所述信息记录部中记录的所述内窥镜的***部的前端的位置，并且显示与该前端的位置对应的所述假想内窥镜图像。
5.根据权利要求3所述的内窥镜***，其特征在于，
所述内窥镜***还具有：
条件信息记录部，其记录了能够分别选择性地设定为所述第1条件和所述第2条件的多个条件信息；以及
指定部，其从所述条件信息记录部中选择性地指定分别用作所述第1条件和所述第2条件的条件信息。
6.根据权利要求1所述的内窥镜***，其特征在于，
所述内窥镜***还具有：
输入部，其产生用于提示所述信息记录部中记录的所述内窥镜的***部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的指示信号；以及
显示装置，其根据所述指示信号的产生而显示所述内窥镜的***部的前端的位置和与该前端的位置对应的所述假想内窥镜图像。
7.根据权利要求1所述的内窥镜***，其特征在于，
所述变化量检测部通过在所述内窥镜图像内每隔一定时间估计所述管腔的内径，检测所述一定时间内的所述内径的变化量，
所述信息记录部记录所述变化量检测部检测到设定值以上的所述内径的变化量的情况下的所述内窥镜的***部的前端的位置。
8.根据权利要求3所述的内窥镜***，其特征在于，
所述变化量检测部通过在所述内窥镜图像内每隔一定时间估计所述管腔的内径，检测所述一定时间内的所述内径的变化量，
在所述变化量检测部检测到设定值以上的所述内径的变化量的情况下，所述条件判定部判定为满足所述第2条件。
9.根据权利要求3所述的内窥镜***，其特征在于，
在所述变化量检测部检测到设定值以上的所述明亮度或所述形状的变化量的情况下，所述条件判定部判定为满足所述第2条件。
10.根据权利要求3所述的内窥镜***，其特征在于，
所述距离比较部每隔一定时间将从所述位置信息取得部所取得的所述内窥镜的***部的前端的位置到所述管腔中的分支的分支区域的第1距离、或所述内窥镜的***部的前端的位置与穿过所述管腔的中心的芯线之间的第2距离、或所述内窥镜的***部的前端的位置与穿过所述管腔的中心的芯线分支的芯线分支点之间的第3距离与对应于所述第1距离、所述第2距离或所述第3距离而设定的所述设定距离进行比较，
在所述距离比较部判定为所述第1距离、所述第2距离或所述第3距离为所述设定距离以内的情况下，所述条件判定部判定为满足所述第1条件。
11.根据权利要求10所述的内窥镜***，其特征在于，
在所述条件判定部判定为满足所述第1条件的情况下，所述信息记录部还记录所述***部的前端的轴方向的信息。
12.根据权利要求9所述的内窥镜***，其特征在于，
在所述条件判定部判定为满足所述第2条件的情况下，所述信息记录部还记录所述***部的前端的轴方向的信息。
CN201480002992.XA 2013-03-06 2014-02-19 内窥镜*** Active CN104797186B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013044601 2013-03-06
JP2013-044601 2013-03-06
PCT/JP2014/053875 WO2014136576A1 (ja) 2013-03-06 2014-02-19 内視鏡システム

Publications (2)

Publication Number Publication Date
CN104797186A CN104797186A (zh) 2015-07-22
CN104797186B true CN104797186B (zh) 2016-10-12

Family

ID=51491098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002992.XA Active CN104797186B (zh) 2013-03-06 2014-02-19 内窥镜***

Country Status (5)

Country Link
US (1) US20150054929A1 (zh)
EP (1) EP2904957A4 (zh)
JP (1) JP5715311B2 (zh)
CN (1) CN104797186B (zh)
WO (1) WO2014136576A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
WO2015056471A1 (ja) * 2013-10-17 2015-04-23 オリンパス株式会社 内視鏡装置
WO2015190435A1 (ja) * 2014-06-10 2015-12-17 オリンパス株式会社 内視鏡システム、内視鏡装置及びプロセッサ
EP3235418A4 (en) * 2014-12-15 2018-10-24 Olympus Corporation Display control device and endoscope system
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
EP3349649B1 (en) * 2015-09-18 2022-03-09 Auris Health, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN105902253A (zh) * 2016-04-28 2016-08-31 深圳市鹏瑞智能图像有限公司 一种内窥镜***控制方法及***
JP2018068923A (ja) * 2016-11-04 2018-05-10 章仁 久保木 鼻内洗浄装置
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10485629B2 (en) * 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
JP6478136B1 (ja) * 2017-06-15 2019-03-06 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
CN116725667A (zh) 2017-06-28 2023-09-12 奥瑞斯健康公司 提供定位信息的***和在解剖结构内***械的方法
KR102578978B1 (ko) 2017-06-28 2023-09-19 아우리스 헬스, 인코포레이티드 전자파 왜곡 검출
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
JP7055624B2 (ja) * 2017-12-01 2022-04-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10827913B2 (en) 2018-03-28 2020-11-10 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP7214747B2 (ja) 2018-03-28 2023-01-30 オーリス ヘルス インコーポレイテッド 位置センサの位置合わせのためのシステム及び方法
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
KR102567087B1 (ko) 2018-05-31 2023-08-17 아우리스 헬스, 인코포레이티드 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
KR102455671B1 (ko) * 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
EP3841958B1 (en) * 2018-08-20 2023-09-27 FUJIFILM Corporation Endoscopic system
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
CN114340542B (zh) 2019-08-30 2023-07-21 奥瑞斯健康公司 用于位置传感器的基于权重的配准的***和方法
WO2021044297A1 (en) 2019-09-03 2021-03-11 Auris Health, Inc. Electromagnetic distortion detection and compensation
KR20220123087A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 인터페이스
KR20220123273A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 해부학적 특징부 식별 및 표적설정
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
CN111938817B (zh) * 2020-08-05 2022-05-24 北京唯迈医疗设备有限公司 一种介入手术机器人导丝动作安全预警方法及***
EP4190270A1 (en) * 2021-12-03 2023-06-07 Ambu A/S Endoscope image processing device
CN115082739B (zh) * 2022-07-01 2023-09-01 苏州慧维智能医疗科技有限公司 基于卷积神经网络的内窥镜评估方法及评估***
CN117179680A (zh) * 2023-09-11 2023-12-08 首都医科大学宣武医院 内镜导航***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和***
CN102821671A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察支持***、方法、设备和程序
CN102858229A (zh) * 2010-02-18 2013-01-02 皇家飞利浦电子股份有限公司 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的***和方法
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准***和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477768B2 (en) * 1999-06-29 2009-01-13 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
ATE498013T1 (de) * 2000-05-12 2011-02-15 Cropdesign Nv Für zellzyklusproteine kodierende nukleinsäure und deren verwendung
US7165445B2 (en) * 2003-08-25 2007-01-23 Asylum Research Corporation Digital control of quality factor in resonant systems including cantilever based instruments
JP2005338551A (ja) * 2004-05-28 2005-12-08 Olympus Corp 工業用内視鏡装置
US20090226065A1 (en) * 2004-10-09 2009-09-10 Dongqing Chen Sampling medical images for virtual histology
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
EP2712553A3 (en) * 2005-01-11 2014-09-17 Volcano Corporation Vascular image co-registration
AU2006213635B2 (en) * 2005-02-11 2010-06-17 Kalamazoo Holdings, Inc. A Capsicum variety exhibiting a hyper-accumulation of zeaxanthin and products derived therefrom
JP4899068B2 (ja) 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
JP5153787B2 (ja) * 2007-11-29 2013-02-27 オリンパスメディカルシステムズ株式会社 内視鏡湾曲制御装置及び内視鏡システム
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP6045152B2 (ja) * 2008-06-25 2016-12-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 最小の侵襲性の手術のための入れ子カニューレシステムをデザインする方法及びその製造方法
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
US8696549B2 (en) * 2010-08-20 2014-04-15 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation in endoscopic applications
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
JP5160699B2 (ja) * 2011-01-24 2013-03-13 オリンパスメディカルシステムズ株式会社 医療機器
JP5734789B2 (ja) 2011-08-23 2015-06-17 Ｊｘ日鉱日石エネルギー株式会社 導電材料製構造物の損傷推定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和***
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准***和方法
CN102858229A (zh) * 2010-02-18 2013-01-02 皇家飞利浦电子股份有限公司 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的***和方法
CN102821671A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察支持***、方法、设备和程序

Also Published As

Publication number Publication date
JP5715311B2 (ja) 2015-05-07
EP2904957A1 (en) 2015-08-12
EP2904957A4 (en) 2016-08-24
CN104797186A (zh) 2015-07-22
US20150054929A1 (en) 2015-02-26
JPWO2014136576A1 (ja) 2017-02-09
WO2014136576A1 (ja) 2014-09-12

Similar Documents

Publication Publication Date Title
CN104797186B (zh) 内窥镜***
CN104883950B (zh) 内窥镜***
CN104755009B (zh) 内窥镜***
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN102247114B (zh) 图像处理装置及图像处理方法
JPWO2014156378A1 (ja) 内視鏡システム
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
US20180214006A1 (en) Image processing apparatus and image processing method
EP2904958A1 (en) Endoscopic system
JP2012509715A (ja) 大腸内視鏡検査追跡および評価システム
CN107249427B (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
CN105050473A (zh) 图像处理装置、内窥镜装置、程序以及图像处理方法
CN103313675A (zh) 用于内窥镜手术的术中照相机校准
IE20090299A1 (en) An endoscopy system
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
CN116324897A (zh) 用于重建管状器官的三维表面的方法和***
WO2018230099A1 (ja) 内視鏡システム、内視鏡システムの作動方法
CN104321007B (zh) 医疗装置
CN117398042B (zh) 一种ai辅助检测的3d内窥镜***及成像方法
WO2022239518A1 (ja) プログラム、情報処理方法及び内視鏡システム
EP4373079A1 (en) System, method, and computer program for an optical imaging system and corresponding optical imaging system
CN116916807A (zh) 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的***
CN104321007A (zh) 医疗装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant