CN105530852B - 内窥镜*** - Google Patents

内窥镜*** Download PDF

Info

Publication number
CN105530852B
CN105530852B CN201480050306.6A CN201480050306A CN105530852B CN 105530852 B CN105530852 B CN 105530852B CN 201480050306 A CN201480050306 A CN 201480050306A CN 105530852 B CN105530852 B CN 105530852B
Authority
CN
China
Prior art keywords
image
pickup part
pasted
image pickup
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480050306.6A
Other languages
English (en)
Other versions
CN105530852A (zh
Inventor
南里美穗
长谷川润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105530852A publication Critical patent/CN105530852A/zh
Application granted granted Critical
Publication of CN105530852B publication Critical patent/CN105530852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Urology & Nephrology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内窥镜***具有：内窥镜，其***部***于被检体内的规定的脏器内；摄像部，其设置于内窥镜，对规定的脏器内进行摄像；摄像信息获取部，其对摄像部的位置信息和视线信息进行检测；展开图像生成部，其生成将与规定的脏器对应的模型图像平面地展开的平面模型图像；以及图像粘贴呈现部，其将基于摄像部的位置信息的规定的脏器内的图像粘贴于展开图像生成部所生成的平面模型图像，并且根据位置信息来变更平面模型图像的呈现方法。

Description

内窥镜***
技术领域
本发明涉及使用脏器的模型图像来呈现内窥镜图像的内窥镜***。
背景技术
以往，内窥镜***在医疗领域和工业领域被广泛利用。例如，在医疗领域的内窥镜***中，手术医生将内窥镜的***部***于被检体内，通过设置于***部的前端部的观察窗而得到的内窥镜图像显示于显示装置。手术医生能够观察所显示的内窥镜图像而进行内窥镜检查。并且，内窥镜***也能够进行内窥镜图像的记录。例如，医生能够将所记录的病变部的内窥镜图像用作病历的一部分。
并且，近年来，胶囊型内窥镜***也被实用化，若患者吞服该胶囊型内窥镜，则胶囊型内窥镜在体内移动的期间对体内进行摄像而记录体内的图像。
在胶囊型内窥镜的情况下，由于获取了数量庞大的图像，所以提出了如下的技术：从所获取到的多个图像中仅提取病变部等观察对象部位的图像；以及像在作为第一现有例的日本特开2010-240000号公报中公开的那样，在将多个图像粘贴于3D模型上时，根据特征参数使用优先顺序从高到低的图像来生成诊断用图像。
但是，为了对上次内窥镜检查中发现的病变部的状态进行观察，也再一次进行内窥镜检查，或者利用内窥镜对上次内窥镜检查中发现的病变部进行处置。
因此，医生将在检查中发现的病变部的检查对象脏器的位置记入病历。例如，在检查对象脏器为膀胱的情况下，通过在绘制于病历的膀胱展开图(图解)上标注记号来指定病变部的位置。
并且，在作为第二现有例的日本特开2006-288869号公报中公开了如下的技术：将坐标变换运算部所求得的第一至第四内窥镜的前端部的二维坐标数据输入给图像描绘电路部，图像描绘电路部根据从第一至第四内窥镜得到的多个影像信息和从医疗诊断图像装置得到的位置信息即二维坐标数据来将各内窥镜的影像显示于与各内窥镜的位置对应的监视器上的位置。并且，在该公报中公开了将立体的患部的影像作为将患部平面地展开的影像而显示于监视器的技术。
但是，上次内窥镜检查中得到的内窥镜图像是对象脏器中的哪个位置的图像有时很难判定。
在作为使用胶囊型内窥镜的上述第一现有例的日本特开2010-240000号公报所公开的内窥镜***中，内窥镜图像被粘贴于对象脏器的3D模型上，但因为是胶囊型内窥镜，所以医生不能容易地根据所得到的内窥镜图像来把握脏器中的病变部的位置。
并且，即使在具有***部的内窥镜的情况下，例如，有时也不容易把握在膀胱展开图上指定的位置与实际的膀胱中的位置之间的对应，对于医生来说，将内窥镜检查中确认的病变部的位置记入那样的膀胱展开图，并且根据那样的病历的膀胱展开图中标记的位置来把握实际的膀胱中的位置是不容易的。
并且，如上所述，在作为第二现有例的日本特开2006-288869号公报中公开了将立体的患部的影像作为将患部平面地展开的影像(图像)而显示于监视器的技术，但在内窥镜***部在如膀胱内那样大致球形状的规定的脏器内移动或者改变了***方向的情况下，不容易把握平面地展开的展开图的图像与实际摄像的图像的对应关系。
因此，当想要呈现在平面地展开的展开图的平面模型图像上粘贴有由内窥镜的摄像单元拍摄的图像而得到的粘贴图像的情况下，期望以使手术医生容易把握由摄像单元拍摄的图像与粘贴于平面模型图像的粘贴图像之间的对应关系的方式进行呈现。
本发明就是鉴于上述的情况而完成的，其目的在于提供一种内窥镜***，该内窥镜***以能够容易地把握由内窥镜的摄像单元拍摄的图像与粘贴于平面模型图像的粘贴图像之间的对应关系的方式进行呈现。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜***具有：内窥镜，其***部***于被检体内的规定的脏器内；摄像部，其设置于所述内窥镜，对所述被检体内的规定的脏器内进行摄像；摄像信息获取部，其设置于所述摄像部附近或与该摄像部连接的部件，对所述摄像部的位置信息和视线信息进行检测；展开图像生成部，其生成将与所述规定的脏器对应的模型图像平面地展开的平面模型图像；以及图像粘贴呈现部，其将基于所述摄像部的位置信息的所述规定的脏器内的图像粘贴于所述展开图像生成部所生成的所述平面模型图像，并且根据所述位置信息来变更所述平面模型图像的呈现方法。
附图说明
图1是示出本发明的第一实施方式的内窥镜***的整体的结构的立体图。
图2是示出本发明的第一实施方式的内窥镜***的结构的框图。
图3是示意性地示出患者中的成为观察对象的作为规定的脏器的膀胱的位置和名称的图。
图4是示出将内窥镜的***部***于膀胱内的情况下的膀胱的各部分的图。
图5是与将膀胱模型化后的3D模型图像一起示出***部的***形状图像的图。
图6是示出将膀胱平面化后的2D模型的图。
图7是示出将膀胱的内表面平面地展开并模型化后的平面模型图像和膀胱内的各部分的位置的图。
图8是示出显示于监视器的3个图像的显示区域的图。
图9是示出第一实施方式中的对膀胱内进行观察的情况下的整体的处理内容的一例的流程图。
图10是示出图9中的粘贴图像的判定处理的细节的流程图。
图11是将在恒定的帧数或时间内获取到的内窥镜图像用作粘贴图像的情况下的说明图。
图12是示出基于图10中的图像处理的判定处理的细节的流程图。
图13是示出与图12的处理有关的散焦图像等例子的图。
图14是示出图10中的使用了位置/方向信息的判定处理的细节的流程图。
图15是以表格形式示出与图像同步地获取到的传感器信息的例子的图。
图16是图14中的基于移动量和移动速度的判定的说明图。
图17是图14中的基于角速度的判定的说明图。
图18是示出图10中的基于到膀胱壁的距离和视线方向的判定处理的细节的流程图。
图19是图18中的步骤S52、S53的处理的说明图。
图20是图18中的步骤S54的处理的说明图。
图21是在粘贴于展开图像而显示的图像中示出与显示于第一区域的内窥镜图像对应的摄像范围的呈现例的图。
图22A是当粘贴了最新的粘贴图像后粘贴下一个粘贴图像时缩小呈现的呈现例的说明图。
图22B是示出将与显示于第一区域的内窥镜图像对应的展开图像的位置设定于展开图像的中心而对该图像进行呈现的例子的图。
图23是示出将***部***于膀胱的立体模型内并从正面侧对观察对象进行摄像的样子和摄像的情况下的内窥镜图像的说明图。
图24是示出将***部***于膀胱的立体模型内并使其以向上方反转的程度较大地弯曲而从背面侧对观察对象进行摄像的样子和摄像的情况下的内窥镜图像的说明图。
图25是示出将***部***于膀胱的立体模型内并使其以向下方向反转的程度较大地弯曲而从背面侧对观察对象进行摄像的样子和摄像的情况下的内窥镜图像的说明图。
图26是示出使粘贴于展开图像上的图像的朝向与图24的内窥镜图像的显示的朝向对应地一致而显示的例子的说明图。
图27是示出使粘贴于展开图像上的图像的朝向与图25的内窥镜图像的显示的朝向对应地一致而显示的例子的说明图。
图28是示出了图9中的步骤S15的处理例的流程图。
图29是示出硬性内窥镜的结构的图。
图30是示出使用了硬性内窥镜的情况下的展开图像的显示例的图。
图31是对使用了硬性内窥镜的情况下的展开图像的显示进行变更的情况下的说明图。
图32是磁场产生装置的坐标系与床上患者P的膀胱B的坐标系之间的关系的说明图。
图33是对投影于中间坐标系(X1Y1Z1)上的方向向量进行说明的说明图。
图34是中间坐标系(X1Y1Z1)与第二坐标系(X2Y2Z2)之间的关系的说明图。
图35是在第二坐标系(X2Y2Z2)中球体的内表面上的坐标的说明图。
图36是根据前端部的位置和方向向量来说明第二坐标系(X2Y2Z2)中的位置P2和方向向量V2的说明图。
图37是二维坐标系(U，V)中的坐标关系的说明图。
图38是对内窥镜图像的整体进行扫描并对第二坐标系(X2Y2Z2)中的各像素向球体的内表面的粘贴进行说明的说明图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第一实施形式)
如图1所示，本发明的第一实施方式的内窥镜***1具有：内窥镜3，其用于***横卧于床2的作为被检体的患者P内而进行观察或检查；光源装置4，其对内窥镜3供给照明光；作为信号处理装置的处理器5，其对内窥镜3的摄像单元进行信号处理；图像处理装置6，其对由处理器5生成的图像进行图像处理和记录等；监视器7，其对由处理器生成的内窥镜图像和被图像处理装置6进行了图像处理后的图像进行显示；以及磁场产生装置9，其对设置于摄像单元附近的磁传感器8的位置进行检测。
内窥镜3具有：***部11，其具有挠性；操作部12，其设置于该***部11的后端(基端)，并由手术医生把持着进行弯曲等操作；以及通用线缆13，其从操作部12延伸。
并且，如图2所示，在***部11内***有传输照明光的光导14，该光导14从操作部12经过通用线缆13，其端部的光导连接器可自由拆卸地与光源装置4连接。
如图2所示，在光源装置4内设置有发光二极管(简写为LED)15a、15b、15c、反射镜16a、16b、16c以及LED电源(电路)17。LED 15a产生白色光，该白色光被反射镜16a反射后透过分色镜16b、16c入射到光导14的端部。
并且，LED 15b和15c分别产生中心波长被设定于415nm附近和540nm附近的窄带的蓝色光(Bn)和绿色光(Gn)。LED 15b所产生的窄带光Bn被分色镜16b选择性地反射后，透过分色镜16c向光导14的端部入射。并且，LED 15c所产生的窄带光Gn被分色镜16c选择性地反射后，向光导14的近前侧端部入射。
在内窥镜3的操作部12中设置有镜体开关18，该镜体开关具有切换开关SW1、释放开关SW2以及静帧开关SW3等，其中，该切换开关SW1进行从通常光观察模式(或者白色光观察模式，也称作WBI模式)和窄带光观察模式(也称作NBI模式)中的一方的观察模式向另一方的观察模式切换的操作，该释放开关SW2进行释放操作，该静帧开关SW3进行静帧操作。
当把持内窥镜3的操作部12的手术医生对切换开关SW1进行操作时，切换信号被发送给光源装置4和处理器5，光源装置4与切换信号对应地使LED电源17对LED 16a和LED16b、LED16c的发光进行切换。并且，处理器5进行与切换信号相对应的信号处理。
并且，对释放开关SW2进行了操作的情况下的释放信号被输入给图像处理装置6内的构成控制单元的中央运算处理装置(简写为CPU)31，由CPU 31进行记录内窥镜图像的控制动作。
另外，也可以是，将对释放开关SW2进行了操作的情况下的操作信号输入给处理器5(内的信号处理部5b)，处理器5根据操作信号生成释放信号并将该释放信号发送给图像处理装置6的CPU 31，CPU 31根据从处理器5输入的释放信号来进行记录内窥镜图像的控制动作。在图2中示出了将释放信号输入给处理器5和CPU 31的结构例。
并且，对静帧开关SW3进行了操作的情况下的静帧信号被输入给处理器5(内的信号处理部5b)，处理器5进行将动态的内窥镜图像变为静态图像的处理。并且，静帧信号也被发送给CPU 31，CPU 31把握进行了静帧操作的情况。
入射到光导14的近前侧端部的照明光被光导14传输到其前端面。光导14的前端面配置于照明窗，从照明窗向外部射出，其中，该照明窗设置于***部11的前端部20。在本实施方式中，由于***部11经由患者P的尿道***作为规定的脏器的膀胱B内，所以照明光对膀胱B内进行照明。
如图2所示，在***部11的前端部20配置有物镜21和配置于其成像位置的电荷成像元件(简写为CCD)22，由物镜21和CCD 22形成了摄像部(或者摄像组件)23，该摄像部23构成对规定的脏器内进行摄像的摄像单元。摄像部23对被照明光照明的部位进行摄像并输出作为光电转换后的电信号的摄像信号。
另外，CCD 22具有例如在红(R)、绿(G)、篮(B)的波段上按照像素单位进行颜色分离的马赛克滤波器22a。因此，例如在通常光观察模式(WBI模式)的情况下，CCD 22输出由马赛克滤波器22a进行颜色分离后的宽带的R、G、B信号，在NBI模式的情况下，通过在LED 16b、16c的照明光下的摄像，CCD 22输出由马赛克滤波器22a进行颜色分离后的窄带的G、B信号(简写为Gn、Bn信号)。
处理器5具有CCD驱动部(或CCD驱动电路)5a，将由CCD驱动部5a生成的CCD驱动信号经由贯穿***于内窥镜3内的信号线24而施加于CCD 22。通过该施加，CCD 22将光电转换后的摄像信号经由贯穿***于内窥镜3内的信号线24而输出给设置于处理器5的信号处理部(或信号处理电路)5b。
信号处理部5b生成作为内窥镜图像而显示的影像信号(图像信号)，该内窥镜图像用于显示于监视器7(由CCD 22拍摄的图像)。也如图1所示，由于***部11***于膀胱B内，所以生成与在膀胱B内拍摄的图像对应的图像信号。由信号处理部5b生成的动态的图像信号被输入给监视器7，监视器7显示与动态的图像信号对应的内窥镜图像(也称作摄像图像或实际图像)。
该监视器7具有PinP(Picture In Picture：画中画)功能，与内窥镜图像一起显示作为(将与后述的膀胱B对应的立体模型图像平面地展开的)平面模型图像的展开图像以及***部11的前端侧的***形状图像。
另外，也可以是，不利用监视器7的PinP功能而将内窥镜图像输入给图像处理装置6，在图像处理装置6内设置将内窥镜图像、展开图像以及***形状图像重叠的图像重叠单元。
例如，也可以是，将由处理器5内的信号处理部5b生成的内窥镜图像暂时保存于图像处理装置6内的存储器33中的例如(未图示的)第一帧存储器的第一规定区域，将展开图像暂时保存于第二帧存储器的第二规定区域，将***形状图像暂时保存于第三帧存储器的第三规定区域，将从三个帧存储器同时读出的3个图像在显示接口(简写为显示I/F)37进行重叠，并将重叠的图像信号输出给监视器7。在该情况下，(如图1所示)显示I/F 37具有图像重叠部37a的功能。通过基于监视器7的PinP或图像重叠部37a的功能，能够如图8所示那样在监视器7的显示面上主要显示三个图像。
并且，在本实施方式中，如图1所示，在前端部20的CCD 22的附近位置配置由2个磁线圈8a构成的磁传感器8，以使得能够检测出配置于***部11的前端部20的摄像部23的三维位置和摄像部23的视线方向，其中，该2个磁线圈8a构成2个位置传感器。
如图2所示，磁传感器8经由贯穿***于内窥镜3内的信号线8b与图像处理装置6内的位置/方向检测部(或位置/方向检测电路)34连接。位置/方向检测部34通过检测2个磁线圈8a的三维位置来计算摄像部23的位置和视线方向。
具体来说，位置/方向检测部34对驱动磁场产生装置9的驱动电路35进行控制，从驱动电路35经由信号线9a对磁场产生装置9施加磁场产生用的驱动信号来产生规定的磁场，并通过2个磁线圈8a检测该磁场，根据检测出的磁场的检测信号而实时生成2个磁线圈8a的三维位置、2个磁线圈8a的三维位置附近的摄像部23的三维位置坐标(x，y，z)以及其视线方向的数据(即欧拉角(ψ、θ、)的数据)、即位置/方向信息。
因此，位置/方向检测部34具有作为摄像信息获取单元的摄像信息获取部(或摄像信息获取电路)34a的功能，该摄像信息获取单元获取来自磁传感器8的位置信息和方向信息，对作为摄像单元的摄像部23的位置信息和视线信息进行检测。
另外，由于磁传感器8设置于前端部20，所以位置/方向检测部34具有计算摄像部23的位置(信息)和视线方向(信息)的功能，并且具有计算前端部20的位置(信息)及其(长度)方向(信息)的功能。因此，位置/方向检测部34也使用计算(检测)前端部20的位置和方向的表达。另外，在后面进行将构成摄像信息获取单元的磁传感器8设置于与摄像单元连接的部件的说明。
在本实施方式中，将由位置/方向检测部34计算出的前端部20的位置和方向按照时间序列进行存储。
例如，存储器33将计算出的前端部20的位置和方向按照时间序列进行存储，位置/方向检测部34参照按照时间序列存储于存储器33的过去的信息来计算当前的前端部20的位置和方向，由此，计算***于膀胱B内的***部11的(主要是前端侧的)***形状。因此，位置/方向检测部34具有构成***形状信息检测单元的***形状信息检测部(或***形状信息检测电路)34b的功能，该***形状信息检测单元对***部11***于作为规定的脏器的膀胱B内的情况下的***形状信息进行检测。另外，摄像信息获取部34a也可以是具有***形状信息检测部34b的功能的结构。
如图2所示，在***部11的前端部20的近前侧端部设置有弯曲部25，在该弯曲部25上设置有在上下方向和左右方向上自由弯曲的弯曲块25a。另外，在图2中，简化地示出了设置例如仅能够在上下方向上弯曲的铆钉25b的例子，但实际上，以在上下方向和左右方向上交替自由弯曲的方式设置铆钉25b。
并且，在***部11内贯穿***有通过牵引而使弯曲块25a在上下方向和左右方向上分别弯曲的线26，线26的前端被固定于构成前端部20的前端部件(省略图示)，线26的后端被卷绕在配置于操作部12内的滑轮27上。并且，手术医生通过进行使与滑轮27连结的弯曲旋钮28转动的操作，能够使弯曲部25在上下、左右中的任意的方向上弯曲。通过使弯曲部25弯曲，能够使设置于弯曲部25的前端的摄像部23的摄像方向可变。如后述那样，通过使弯曲部25较大地弯曲，能够对***于膀胱B的作为入口侧的颈部RP侧的内壁面进行观察(摄像)。
如图2所示，图像处理装置6具有：CPU 31，其形成对图像处理装置6内的各部分的动作进行控制的控制单元；图像取入部(或图像取入电路)32，其取入从处理器5输出的图像信号；存储器33，其暂时存储经由图像取入部32而输入的图像信号，或暂时存储各种信息；以及位置/方向检测部34，其根据磁传感器8的检测信号来对配置于前端部20的摄像部23的位置和视线方向进行检测。
并且，图像处理装置6具有：驱动电路35，其驱动磁场产生装置9；记录部(存储部)36，其根据释放信号来记录(或存储)内窥镜图像；显示接口(显示I/F)37，其将内窥镜图像等显示于监视器7；以及输入部(或用户I/F)38，其进行各种数据的输入，CPU 31、图像取入部32、存储器33、位置/方向检测部34、记录部(存储部)36、显示I/F 37以及输入部38经由数据总线39而互相连接。
在记录部36中存储有包含由CPU 31执行的各种处理程序和***有***部11的作为规定的脏器的膀胱B的数据在内的各种数据，CPU 31生成***有***部11的前端部20的膀胱B的立体模型(3D模型)图像M1。因此，CPU 31具有3D模型图像生成部(或3D模型生成电路)31a的功能，该3D模型图像生成部生成作为规定的脏器的膀胱B的3D模型图像M1。
并且，当***部11的前端侧***于膀胱B内时，CPU 31根据由位置/方向检测部34检测到的前端部20的位置和方向的信息生成重叠图像，使得***部11的前端侧的***形状显示于3D模型图像M1上。因此，CPU 31具有***形状图像生成部(或***形状图像生成电路)31b的功能，该***形状图像生成部31b生成在***部11的前端侧***于膀胱B内的情况下的***形状图像I(作为3D模型图像上的重叠图像)。
并且，CPU 31具有展开图像生成部(或展开图像生成电路)31c的功能，该展开图像生成部31c使用通过包含作为从尿道朝向膀胱B内的入口的颈部RP(参照图3)的规定的平面将膀胱B切断而展开为2个圆形的二维(2D)模型来生成将3D模型图像M1中的膀胱B的3D内表面平面地展开的平面模型图像。
并且，CPU 31具有：图像粘贴处理部(或图像粘贴处理电路)31d，其对由摄像部23拍摄的内窥镜图像(有时简写为图像)进行将符合规定的条件的图像粘贴于展开图像的处理；以及图像粘贴呈现处理部(或图像粘贴呈现处理电路)31e，其进行通过作为显示单元的监视器7来呈现粘贴于展开图像的图像的处理。通过参照由图像粘贴呈现处理部31e生成的在监视器7中被粘贴于展开图像BE上的图像，手术医生容易把握在膀胱B内进行摄像的部位。
另外，在将符合(或满足)规定的条件的(内窥镜)图像粘贴于展开图像上的情况下，实际求得3D模型图像M1的内表面中的对应的位置，将该位置投影于2D模型图像M2，将上述图像粘贴于其投影的位置。或者，也可以将粘贴于3D模型图像M1的内表面中的对应的位置的图像投影于2D模型图像M2，成为粘贴图像。
并且，当手术医生进行释放操作时，CPU 31将来自处理器5的内窥镜图像记录于记录部36。即，由存储器等构成的记录部36形成记录内窥镜图像的图像记录部。
图3是在***有***部11的状态下示意性地示出了在本实施方式中被进行内窥镜检查的患者P的膀胱B，图4一并示出了将膀胱B模型化后的3D模型图像M1和***形状图像。
膀胱B被区分为如下的多个区域：作为尿道的前端侧(深度侧)的开口端部并且作为朝向膀胱B的入口的颈部RP、腹部侧的顶部、从脊背至与颈部RP对置的位置的后壁、从患者P观察时处于右侧的右壁以及从患者P观察时处于左侧的左壁。膀胱B的检查是在患者P仰卧的状态下并且在膀胱B内充满了规定的液体的状态下进行的。
当***部11的前端侧***于该膀胱B内时，使用了3D模型图像M1的情况下的***部11的前端侧成为如图4所示那样。在图4中，通过θ1来表示膀胱B内的摄像部23的观察视野。
并且，***形状信息检测部34b根据由位置/方向检测部34检测到的位置/方向信息来计算(检测)膀胱B内的***部11的前端侧的***形状，***形状图像生成部31b生成***形状图像I，能够如图5所示那样，在监视器7上显示在3D模型图像M1上重叠了***形状图像I的图像。
并且，CPU 31利用通过颈部RP的平面(具体来说，是包含图5的X2-Y2的平面)将图5所示的3D模型图像M1进行二等分而生成图6所示的那样的2D模型图像M2。进而，CPU 31的展开图像生成部31c根据图6的2D模型图像M2考虑颈部RP的尺寸而如(将图6变形的)图7所示那样生成膀胱B的作为2D模型图像的2D展开图像(下面，简称为展开图像)BE。另外，膀胱B的2个尿道口位于图5和图6中以uo所示的位置。并且，例如当在图5中在虚线所示的位置在膀胱B内存在病变部AA时，图5的病变部AA的位置与在图6中以虚线所示的位置对应。
图7是示出在标准的观察状态下对膀胱B内的各部分进行了观察的情况下的投影于展开图像BE上的各部分的区域的配置例。
并且，在判定为由摄像部23拍摄的摄像图像(或规定的时机的内窥镜图像)符合规定的条件的情况下，CPU 31的图像粘贴处理部31d将该摄像图像粘贴于展开图像BE中的对应的位置作为粘贴图像。在该情况下，图像粘贴处理部31d参照位置/方向检测部34的位置和方向的信息来粘贴作为粘贴对象的摄像图像。
并且，在将摄像图像粘贴于展开图像BE上作为粘贴图像的情况下，可以根据展开图像BE的尺寸与摄像图像的尺寸的相对大小来对例如粘贴图像的尺寸进行调整。
在本实施方式中，例如图像粘贴处理部31d在进行了将摄像图像的尺寸缩小等调整而将摄像图像粘贴于展开图像BE上的(摄像部23所拍摄的)与该摄像图像对应的中心位置作为粘贴图像，但是，也能够以使得摄像图像的范围与展开图像BE上的区域大致一致的方式来选择粘贴。该粘贴图像被称作等倍粘贴图像(或第一粘贴图像)。
因此，图像处理装置6具有视野角信息获取部，该视野角信息获取部6预先获取视野角的信息，该视野角的信息对实际***于膀胱B内的内窥镜3中的摄像部23的摄像范围进行确定。在内窥镜3具有识别信息(ID)的情况下，可以根据识别信息来获取视野角的信息。在内窥镜3不具有识别信息(ID)的情况下，可以从输入部38等输入视野角的信息，获取到存储器33或记录部36等中并保存视野角的信息，能够在需要的情况下参照该信息。并且，摄像信息获取部34a也可以具有获取摄像部23的视野角的信息的功能。
在这种情况下，在以视野角较宽的摄像部23或者与膀胱B的壁面的距离较大的状态进行了摄像的情况下，由于1个等倍粘贴图像在展开图像BE上占据较大的区域，所以在进行了该粘贴后，可能产生如下情况：展开图像BE的各部分的配置状态变得难以分辨。
因此，如上述那样，在粘贴了等倍粘贴图像后，在经过适当的时间后，可以以不变更中心位置的方式采用将等倍粘贴图像的尺寸缩小为几分之一左右的缩小粘贴图像。
作为上述适当的时间，例如若设定为小于到粘贴下一个摄像图像为止的时间左右，则当粘贴下一个摄像图像时，能够使把握该摄像图像是对展开图像BE上的哪个区域进行了摄像而得到的这样的功能几乎不降低。即，构成图像粘贴呈现单元的图像粘贴处理部31d将在作为平面模型图像的展开图像BE上由摄像单元拍摄的摄像图像以与对应于所述摄像图像的区域几乎一致的方式粘贴于平面模型图像中的对应位置作为第一粘贴图像之后，在对下一个摄像图像进行粘贴的情况下，可以将所述第一粘贴图像变更为缩小(几分之一等)后的粘贴图像(参照图22A)。
或者，可以在粘贴下一个摄像图像的处理开始时或粘贴下一个摄像图像的处理确定时，将等倍粘贴图像变更为缩小粘贴图像而进行呈现。
并且，也能够从一开始就粘贴缩小粘贴图像作为粘贴图像，使得能够根据手术医生的喜好将摄像图像粘贴于展开图像BE上而进行呈现。并且，可以在前端部20(或摄像部23)与膀胱B的内壁面之间的距离在适当的范围的情况下粘贴摄像图像。
图8示出在监视器7中与内窥镜图像一起显示的粘贴有粘贴图像42a的展开图像BE以及使用了3D模型图像M1的***形状图像I的一例。
并且，手术医生能够通过由键盘等构成的输入部38来选择将粘贴图像粘贴于展开图像BE进行呈现(显示)时的呈现位置以及呈现的情况下的尺寸、呈现角度等。
因此，输入部38具有呈现选择部(或呈现选择装置)38a的功能，该呈现选择部38a对进行粘贴图像的呈现(显示)时的呈现方法、呈现内容等进行选择。
如图8所示，在显示画面的左侧的作为内窥镜图像显示区域(或实际图像显示区域或摄像图像显示区域)的第一区域41中显示有内窥镜图像(摄像图像)，在右侧的上方的作为展开图像显示区域的第二区域42中显示有粘贴有粘贴图像42a的展开图像BE，在其下侧的作为***形状显示区域的第三区域43中显示有在3D模型图像M1上重叠了***部11的形状后的***部形状图像I。
在本实施方式中，CPU 31的图像粘贴呈现处理部31e具有作为摄像范围呈现单元的摄像范围呈现部(或摄像范围呈现装置)45a的功能以及呈现位置调整部(或呈现位置调整装置)45b的功能，其中，该摄像范围呈现单元根据摄像部23的位置/方向(或视线)信息而如后述那样在展开图像BE上以易于分辨当前摄像的观察位置的方式来呈现与当前由摄像部23拍摄的摄像范围(区域)对应的展开图像BE上的摄像范围(摄像区域)，该呈现位置调整部45b通过对展开图像BE进行分割并移动等来对呈现位置进行调整，以使得在将观察过程中的摄像图像作为粘贴图像42a进行显示的情况下该粘贴图像42a位于展开图像BE的中心。
并且，图像粘贴呈现处理部31e具有呈现角度调整部(或呈现角度调整装置)45c的功能，如后述那样，由于若使弯曲部25弯曲，则作为观察图像的内窥镜图像显示于监视器7的第一区域41时的上下、左右的方向发生变化，所以该呈现角度调整部45c对显示于展开图像BE上的粘贴图像42a的方位(朝向)进行调整，以使得易于把握内窥镜图像与粘贴图像42a之间的对应关系。
另外，不限于对作为平面模型图像的展开图像BE上的粘贴图像42a的方位(朝向)进行变更的情况，可以对表示展开图像BE整体的方位(朝向)的角度进行变更而易于把握两图像之间的关系。
并且，CPU 31具有粘贴图像判定部(或粘贴图像判定电路)31f的功能，该粘贴图像判定部31f对摄像部23所拍摄的图像是否符合规定的条件进行判定。并且，在本实施方式中，被该粘贴图像判定部31f判定为符合规定的条件的图像被所述图像粘贴处理部31d进行粘贴，被判定为不符合规定的条件的图像成为不被图像粘贴处理部31d进行粘贴的图像。
在本实施方式中，粘贴图像判定部31f具有：图像处理判定部(或图像处理判定电路)46a，其通过图像处理来判定是否符合规定的条件；位置/方向信息判定部46b，其根据作为传感器信息的位置/方向信息来进行判定；以及距离等信息判定部(或距离等信息判定电路)46c，其根据从前端部20至膀胱壁的距离的信息和视线方向的信息来进行判定。
并且，图像粘贴处理部31d在已经在展开图像BE上粘贴有粘贴图像42a的情况下进行粘贴处理，使得将最新的粘贴图像粘贴于旧的粘贴图像42b上。在该情况下，在粘贴最新的粘贴图像42a的位置处的存在于该粘贴图像的尺寸的外侧的旧的粘贴图像42b上以不重叠的状态粘贴有最新的粘贴图像42a。
并且，CPU 31具有膀胱内***判定部的功能，该膀胱内***判定部对从处理器5经由图像取入部32输入的内窥镜图像(摄像图像)的例如亮度的变化量进行监视，并利用***部11的前端部20从尿道进入到膀胱B内时的亮度变化来对向膀胱内的***进行检测(判定)。
具体来说，当亮度值在***部11的前端部20从尿道进入到膀胱B内的情况下从高的状态变化为低的状态时，判定为进入到膀胱B内。另外，除了亮度之外，还可以对内窥镜图像的色调或纹理的变化量等进行监视，更准确地判定进入了膀胱B内。并且，可以在膀胱附近的规定的位置安装未图示的磁传感器等位置检测传感器，能够根据位置检测传感器的位置检测结果对膀胱的入口的位置进行三维检测。另外，在图2中，通过CPU 31构成3D模型图像生成部31a、***形状图像生成部31b、展开图像生成部31c、图像粘贴处理部31d、图像粘贴呈现处理部31e以及粘贴图像判定部31f，但不限于通过CPU 31构成的情况，也可以使用专用的电子电路或FPGA等来构成。
本实施方式的内窥镜***1的特征在于，该内窥镜***1具有：内窥镜3，其***部11***于作为被检体内的规定的脏器的膀胱B内；作为摄像单元的摄像部23，其设置于所述内窥镜3，对所述被检体内的规定的脏器内进行摄像；作为摄像信息获取单元的位置/方向检测部34，其设置于所述摄像单元附近或与该摄像单元连接的部件，对所述摄像单元的位置信息和视线信息(视线方向信息)进行检测；作为展开图像生成单元的展开图像生成部31c，其生成作为将与所述规定的脏器对应的模型图像平面地展开的平面模型图像的展开图像BE；以及作为图像粘贴呈现单元的图像粘贴呈现处理部31e，其将基于所述摄像单元的位置信息的所述规定的脏器内的图像粘贴于所述展开图像生成单元所生成的所述平面模型图像，并且根据所述位置信息来变更所述平面模型图像的呈现方法或呈现内容。
接下来，对本实施方式的动作进行说明。图9示出本实施方式的整体的动作内容的一例。
内窥镜***1的电源被接通，光源装置4、处理器5、图像处理装置6以及监视器7等成为动作状态，在最初的步骤S1中，手术医生进行初始设定。在初始设定中，当手术医生进行使用内窥镜3进行膀胱B内的内窥镜检查这样的来自输入部38的输入指示时，CPU 31读出膀胱B的数据。并且，在监视器7中，准备了显示于该监视器7的3个区域41、42、43。初始设定结束后，在接下来的步骤S2中，手术医生从患者P的尿道***内窥镜3的***部11。
并且，如步骤S3所示，位置/方向检测部34根据磁传感器8的检测信号使用以磁场产生装置9为基准的第一坐标系(X0Y0Z0)对***部11的前端部20的摄像部23的位置和方向进行检测。
并且，如步骤S4所示，CPU 31的膀胱内***判定部对由处理器5生成的内窥镜图像进行监视，判定(检测)***部11的前端部20是否***于膀胱内(膀胱内的入口，即颈部RP)，并继续进行该处理直到前端部20***于膀胱B内为止。
在检测出前端部20***于膀胱B内的情况下，如步骤S5所示，CPU 31进行控制以将前端部20的位置和方向的信息记录于记录部36。并且，如步骤S6所示，在前端部20所处的作为膀胱B的入口的颈部RP的三维位置处，CPU 31进行能够实现基于磁场产生装置9的第一坐标系(X0Y0Z0)、图5的3D模型图像M1的第二坐标系(X2Y2Z2)和图6的2D模型图像M2的中间坐标系(X1Y1Z1)的转换的(包含方向的)对位。
即，在各坐标系中，将膀胱B的入口的位置分别作为已知的基准位置来进行各坐标系间的对位(或进行对坐标系间的转换所需要的转换数据进行确定的处理)(后述的式(4)～式(23))，使得即使在其他的坐标系中也能够对一个坐标系中的任意位置进行确定。通过该对位，能够使用第一、中间、第二坐标系中的任意坐标系来进行***部11的前端部20在膀胱B内的任意位置和方向的确定。
在步骤S6的处理之后，CPU 31主要通过中间和第二坐标系对前端部20的位置和方向进行管理。
如步骤S7所示，CPU 31进行控制，使得例如每隔规定的时间获取前端部20的位置和方向的信息并将所获取的位置和方向的信息记录于记录部36。并且，如步骤S8所示，CPU31(的***形状图像生成部31b)参照即将记录于记录部36之前的前端部20的位置和方向的信息来生成膀胱内的***部11的前端侧的***形状图像I，并显示于3D模型图像M1上对应的坐标位置。图5示出该情况下的一例。
并且，图5示出设置于***部11的前端部20的摄像部23在膀胱B内例如以视野角θ1对内窥镜图像进行摄像的样子。并且，若在虚线所示的位置存在病变部AA，则图5的坐标系中的病变部AA的位置与在图6的2D模型图像M2(的坐标系)中虚线所示的位置对应。
如步骤S9所示，CPU 31对释放操作进行监视。并且，在进行了释放操作的情况下，如步骤S10所示，CPU 31将进行释放操作的时机的内窥镜图像记录于记录部36。并且，如步骤S11所示，CPU 31将获取记录的内窥镜图像时的前端部20的位置和方向的信息与内窥镜图像相关联地记录于记录部36。另外，当在步骤S9的处理中未进行释放操作的情况下转移到步骤S12的处理。或者可以如虚线所示那样转移到步骤S14的处理。
并且，如步骤S12所示，CPU 31的粘贴图像判定部31f进行内窥镜图像是否符合预先设定的粘贴条件的判定处理。并且，设定与是否符合粘贴条件的判定结果相应的符号。粘贴图像判定部31f在判定为符合粘贴条件的情况下，例如将作为与判定结果相应的符号的Check1设定为有效(ON)，在判定为不符合粘贴条件的情况下，例如将Check1设定为无效(OFF)。
如步骤S13所示，CPU 31的图像粘贴处理部31d对是否是符合粘贴条件的判定结果(具体来说，Check1为有效)进行判定。并且，在符合粘贴条件的判定结果的情况下，如步骤S14所示，图像粘贴处理部31d进行粘贴内窥镜图像的处理。
并且，如步骤S15所示，图像粘贴呈现处理部31e根据前端部20的位置和方向的信息等来进行确定通过图像粘贴处理部31在展开图像BE上进行粘贴并在监视器7上进行显示(呈现)的情况下的呈现方法等的处理。如接下来的步骤S16所示，图像粘贴处理部31d将确定了呈现方法等的粘贴有粘贴图像的展开图像BE经由显示IF 37输出给监视器7。并且，被图像粘贴呈现处理部31e进行处理后的粘贴图像42a以粘贴于展开图像BE上的对应的位置的状态显示于监视器7。
另一方面，在步骤S13的处理中，在不符合粘贴条件的判定结果的情况下，如步骤S17所示，图像粘贴处理部31d不进行粘贴内窥镜图像(摄像图像)的处理。在步骤S16或步骤S17的处理之后，如步骤S18所示，CPU 31根据位置/方向检测部34的检测信息来判定***部11是否从膀胱拔出(拉出)。
在***部11未从膀胱拔出的判定结果的情况下，返回步骤S7的处理并重复进行步骤S7～S18的处理。另一方面，在***部11从膀胱拔出的判定结果的情况下，CPU 31结束图9的处理。
接下来，对图9的处理内容的一部分进行更详细地说明。图10示出图9中的步骤S12的处理的细节。
当图10的粘贴图像的判定处理开始时，在最初的步骤S21中，CPU 31的粘贴图像判定部31f(中的图像处理判定部或图像处理判定电路46a)如图12所示，对(图9的步骤S12中的)处理对象内窥镜图像进行图像处理，根据其图像处理结果来判定是否符合粘贴条件。图像处理判定部46a在作为基于图像处理的判定结果而判定为符合粘贴条件的情况下，例如将Check2设定为有效，在判定为不符合粘贴条件的情况下，例如将Check2设定为无效。
如图10中的接下来的步骤S22所示，粘贴图像判定部31f判定作为判定结果的Check2是否为有效。在Check2为有效的情况下，如接下来的步骤S23所示，粘贴图像判定部31f的位置/方向信息判定部(或位置/方向信息判定电路)46b使用基于传感器8的位置方向信息来判定处理对象内窥镜图像是否符合粘贴条件。位置/方向信息判定部46b在判定为符合粘贴条件的情况下，例如将Check3设定为有效，在判定为不符合粘贴条件的情况下，例如将Check3设定为无效。
如接下来的步骤S24所示，粘贴图像判定部31f判定作为判定结果的Check3是否为有效。在Check3为有效的情况下，如接下来的步骤S25所示，距离等信息判定部(或距离等信息判定电路)46c使用从前端部20(的摄像部23)至膀胱壁的距离和视线信息来判定处理对象内窥镜图像是否符合粘贴条件。
距离等信息判定部46c在判定为符合粘贴条件的情况下，例如将Check4设定为有效，在判定为不符合粘贴条件的情况下，例如将Check4设定为无效。
如接下来的步骤S26所示，粘贴图像判定部31f判定作为判定结果的Check4是否为有效。在Check4为有效的情况下，如接下来的步骤S27所示，粘贴图像判定部31f进行基于帧或时间的判定处理。并且，在接下来的步骤S28中，粘贴图像判定部31f判定是否是从在上次粘贴中所采用的内窥镜图像经过了恒定间隔的帧数或时间后的内窥镜图像。在符合该条件的内窥镜图像的情况下，在接下来的步骤S29中，作为处理对象内窥镜图像符合粘贴条件的判定结果，粘贴图像判定部31f将Check1设为有效。
图11示出符合步骤S29的判定处理中的粘贴条件的内窥镜图像的例子。如图11所示，判定为只有恒定间隔(具体来说，5个帧数的间隔)的内窥镜图像符合粘贴条件。
另一方面，在图10的步骤S22中Check2为无效的情况下、在步骤S24中Check3为无效的情况下、在步骤S26中Check4为无效的情况下以及在不符合步骤S28的条件的情况下，在步骤S30中，作为处理对象内窥镜图像不符合粘贴条件的判定结果，粘贴图像判定部31f将Check1设为无效，结束图10的处理。
图12示出基于图10中的步骤S21的图像处理的判定处理的细节。当基于图像处理的判定开始时，在最初的步骤S31中，粘贴图像判定部31f的图像处理判定部46a判定处理对象内窥镜图像是否是散焦图像。
是否是散焦图像，能够根据是否检测出内窥镜图像中的边缘成分为阈值以上来判定。图13(A)示出散焦图像的一例。
在内窥镜图像不是散焦图像的情况下，在接下来的步骤S32中，图像处理判定部46a判定内窥镜图像是否是红色球图像。是否是红色球图像，能够根据内窥镜图像中的R像素的像素值来判定。图13(B)示出红色球图像的一例，是图像整体呈现红色色调的图像。
在内窥镜图像不是红色球图像的情况下，在接下来的步骤S33中图像处理判定部46a判定内窥镜图像是否是模糊图像。是否是模糊图像，能够根据内窥镜图像中的边缘成分来判定。图13(C)示出纵向的模糊图像的一例。另外，可以一并进行步骤S31和步骤S33。
在内窥镜图像不是模糊图像的情况下，在接下来的步骤S34中，图像处理判定部46a判定是否是多个壁(面)映在内窥镜图像中的图像。是否是映出多个壁(面)的图像，能够根据内窥镜图像中的边缘成分来判定是否有呈带状或线状的亮度低的图像行进。图13(D)示出多个壁(面)以阶梯状映出的图像的一例。
当不是多个壁(面)映在内窥镜图像中的图像的情况下，在接下来的步骤S35中，图像处理判定部46a通过基于图像处理的条件处理来将Check2设为有效，作为符合粘贴条件的判定结果。另一方面，在步骤S31～S34的判定处理中，图像处理判定部46a在判定为是散焦图像、红色球图像、模糊图像以及映出多个壁面的图像的情况下，将Check 2设定为无效，作为不符合粘贴条件的判定结果。并且，结束图12的处理。
图14示出基于图10中的步骤S23的位置/方向信息的判定处理的细节。当该判定处理开始时，在最初的步骤S41中，(粘贴图像判定部31f的)位置/方向信息判定部46从位置/方向检测部34读出当前所获取的内窥镜图像之前的内窥镜图像(简写为前图像)的位置/方向信息。
若是图9的步骤S12或图13中的作为处理对象的最新的第p个内窥镜图像Img(p)，则也读出比该第p个提前一帧的第p-1个所获取的内窥镜图像Img(p-1)的位置/方向信息。并且，如下面说明的那样，对于第p个和第p-1个这两个内窥镜图像或更一般化的第n个和第m个这两个内窥镜图像，通过下面的式(1)来计算移动量Lnm。
Lnm＝((xn－xm)2+(yn－ym)2+(zn－zm)2)1/2 (1)
在式(1)中，xn、yn、zn、xm、ym、zm分别是三维坐标系(X2Y2Z2)中的前端部20或摄像部23的位置信息。因此，移动量Lnm可以说是表示前端部20的移动量，并且也能够说是表示摄像部23所获取的内窥镜图像的移动量。例如设n＝p、m＝p-1，计算第p个与第p-1个之间的摄像部23所获取的内窥镜图像的移动量，或设n＝p、m＝p-2，计算第p个与第p-2个之间的移动量。并且，也可以设n＝p+1、m＝p-1，计算第p+1个与第p-1个之间的移动量。
在接下来的步骤S43中，位置/方向信息判定部46b判定移动量Lnm是否比移动量的阈值Thre1小。
在步骤S43中，在移动量Lnm是比阈值Thre1小的判定结果的情况下，在接下来的步骤S44中，位置/方向信息判定部46b通过下面的式(2)来计算前端部20的移动速度Mnm。
Mnm＝((xn－xm)2+(yn－ym)2+(zn－zm)2)1/2/(Tn-Tm) (2)
在式(2)中，Tn、Tm分别是获取内窥镜图像Img(n)时的时刻和获取内窥镜图像Img(m)时的时刻(其中，n>m)。例如设n＝p、m＝p-1，计算由摄像部23拍摄的第p个内窥镜图像Img(p)的移动速度，或者设n＝p、m＝p-2，计算由摄像部23拍摄的第p-1个内窥镜图像Img(p-1)的移动速度。并且，也可以设n＝p+1、m＝p-1，计算由摄像部23拍摄的第p个内窥镜图像Img(p)的移动速度。
在接下来的步骤S45中，位置/方向信息判定部46b判定移动速度Mnm是否比移动速度的阈值Thre2小。
步骤S45中，在是移动速度Mnm比阈值Thre2小的判定结果的情况下，在接下来的步骤S46中，位置/方向信息判定部46b通过下面的式(3)来计算作为前端部20绕长度轴的旋转速度的角速度Rnm。
Rnm＝∣δn-δm∣/(Tn-Tm) (3)
在式(3)中，δn、δm分别是绕三维坐标系(X2Y2Z2)中的前端部20的长度轴的角度。
在接下来的步骤S47中，位置/方向信息判定部46b判定计算出的角速度Rnm是否比角速度的阈值Thre3小。在得到角速度Rnm比阈值Thre3小的判定结果的情况下，在接下来的步骤S48中，位置/方向信息判定部46b通过基于位置/方向信息的条件处理将Check3设为有效，作为符合粘贴条件的判定结果。
另一方面，在步骤S43、S45、S47的判定处理中，在位置/方向信息判定部46b判定为大于等于阈值Thre1、Thre2、Thre3的情况下，在步骤S49中，位置/方向信息判定部46b将Check3设定为无效，作为不符合粘贴条件的判定结果。并且，结束图14的处理。
另外，如图15所示，位置/方向检测部34与由摄像部23获取(拍摄)各帧的内窥镜图像(也仅简写为图像)的时刻Ti(i＝1，2，…，n)同步地根据由2个磁线圈8a所获取的传感器信息来获取或计算前端部的位置(xi，yi，zi)和与欧拉角对应的旋转角(αi、βi、γi)的信息。并且，如图14中说明的那样，位置/方向信息判定部46b计算移动量Lnm、移动速度Mnm和角速度Rnm并分别判定它们是否比阈值小。
图16(A)示出***部11的前端部20(内的摄像部23)在膀胱内表面获取第m和第n帧的内窥镜图像Img(m)和Img(n)的样子。另外，在图16(A)中示意性地拍摄的对象区域A(m)、A(n)与内窥镜图像Img(m)、Img(n)对应。并且，在移动量Lnm比阈值Thre1小的情况下，用作粘贴图像，在移动量Lnm为阈值Thre1以上的情况下，不用作粘贴图像。
并且，图16(B)示出移动速度的说明图的一例。前端部20(前端部内的摄像部23)在静止状态的位置Pa、Pc处对与内窥镜图像Img(p-2)、Img(p)对应的对象区域A(p-2)、A(p)进行摄像。并且，前端部内的摄像部23在它们之间的位置Pb'一边移动一边进行摄像，对对象区域A(p-1)进行摄像。
在这种情况下，由于位置Pb'的移动速度Mnm为阈值Thre2以上，所以成为模糊图像的可能性高。这样的图像被判定为不用于粘贴的图像。
并且，图17示出相对于对图16(B)中的对象区域A(p-2)、A(p)进行摄像的情况下的前端部20的轴向的旋转角δp-2、δp，对它们之间的旋转角δp-1的情况下的角速度Rnm进行判定的样子。在该情况下，若角速度Rnm大到阈值Thre3以上，则成为模糊图像，这样的图像被判定为不用于粘贴的图像。
图18示出图10的步骤S27的基于到膀胱壁的距离和视线方向的判定处理的细节。在图18中，将基于到膀胱壁的距离和视线方向的判定简写为基于到膀胱壁的距离等的判定。
当该判定开始时，在最初的步骤S51中，(粘贴图像判定部31f的)位置/方向信息判定部46从位置/方向检测部34读出当前所获取的内窥镜图像之前的内窥镜图像(简写为前图像)的位置/方向信息。
在接下来的步骤S52中，粘贴图像判定部31f的距离等信息判定部46c对膀胱壁的三维位置进行推断。例如如图19(A)所示，将***部11的前端侧***于膀胱B内并使弯曲部25的弯曲方向在例如左右方向上稍微改变，由此，将前端部20设定于在左右方向上分开的位置Pl、Pr，能够对包含相同区域的对象区域A(l)、A(r)进行摄像。在该情况下，能够看成是分别在2个位置Pl、Pr配置了摄像部23的立体摄像单元。
各位置Pl、Pr能够通过磁传感器8来计算，距离等信息判定部46c根据在各位置由摄像部23拍摄的2个内窥镜图像Img(l)、Img(r)对膀胱壁的三维位置进行推断。
在接下来的步骤S53中，距离等信息判定部46c计算从前端部20到膀胱壁的距离Dn和膀胱壁的法线方向与摄像部23的摄像方向所成的角Θn。
距离Dn能够通过前端部20的三维位置和膀胱壁的三维位置来计算。并且，膀胱壁的法线方向与摄像部23的视线方向所成的角Θn如图19(B)所示的那样来计算。
如图19(B)所示，通过(利用图19(A)那样的立体计测)对膀胱壁面进行三点P1、P2、P3的位置计测而能够确定包含三点的膀胱壁面Pb，进而，能够计算垂直于该膀胱壁面Pb的法线向量Vb。并且，能够计算法线向量Vb与摄像部23的视线方向Vs所成的角Θn。另外，图19(C)示出在膀胱内观察膀胱壁面Pb的样子。
当图18中的步骤S53的处理结束时，在接下来的步骤S54中，距离等信息判定部46c判定距离Dn是否在预先设定的下限阈值Thre4与上限阈值Thre5之间的范围内。
图20(A)示出符合判定为粘贴图像的条件的情况下的一例。在图20(A)所示的例子中示出了从前端部20至膀胱壁面Pb的距离Dn在下限阈值Thre4与上限阈值Thre5之间的范围内的情况。与此相对，在图20(B)所示的例子中示出了距离Dn比下限阈值Thre4小和比上限阈值Thre5大的情况，不被判定为粘贴图像。
若前端部20与膀胱壁面Pb过近或者某种程度以上过远，则摄像部23进行摄像而得到的内窥镜图像会不对焦或明亮度不适当。
因此，作为能够拍摄出焦点和明亮度适当的图像的范围，将距离Dn比规定的阈值Thre4大并且小于规定的阈值Thre5的范围预先设定为到被摄体的适当的距离。
在图18的步骤S54中，在距离Dn处于阈值Thre4与Thre5之间的范围内的判定结果情况下，在接下来的步骤S55中，距离等信息判定部46c判定法线向量Vb与视线方向Vs所成的角Θn是否小于预先设定的阈值Thre6。
在角Θn小于阈值Thre6的判定结果的情况下，在步骤S56中，距离等信息判定部46c与所拍摄的内窥镜图像是符合基于距离等信息判定部46c的粘贴条件的图像的判定结果相应地将Check4设为有效。
另一方面，在步骤S54、S55中，在不满足各条件的判定结果的情况下，在步骤S57中，距离等信息判定部将Check4设为无效，结束图18的处理。
使用图10和示出图10中的步骤S21、S23、S25等处理的细节等的图11至图20对图9中步骤S12的粘贴图像处理的细节进行了说明。由此，当粘贴图像的判定处理结束时，如图9的步骤S14中说明的那样，图像粘贴处理部31d将判定为粘贴图像的内窥镜图像(摄像图像)粘贴于展开图像BE中的对应的位置。
在本实施方式中，为了易于理解显示于监视器7的第一区域41的内窥镜图像是对显示于第二区域42的展开图像BE中的哪个位置或哪个范围(或区域)进行了摄像，图像粘贴呈现处理部31e的摄像范围呈现部(或摄像范围呈现电路)45a在展开图像BE上标注了表示摄像范围(或摄像区域)的标记。图21(A)、21(B)、21(C)以及21(D)示出摄像范围呈现部45a的摄像范围的呈现例。
如图21(A)所示，当在第一区域的内窥镜图像中设定了范围A1的框的情况下，通过显示与该范围A1对应的显示于第二区域42的展开图像BE中的对应的摄像范围B1的框，手术医生能够容易地把握第一区域的内窥镜图像是在展开图像BE上对哪个范围进行了摄像。
并且，如图21(B)或图21(C)所示，通过圆形框B2或矩形框B3来表示与对第一区域的内窥镜图像进行摄像的范围相对应的展开图像BE上的摄像范围。由此，具有与图21(A)的情况大致相同的效果。
并且，如图21(D)所示，例如通过涂有蓝色等颜色的着色区域B4来表示与对第一区域41的内窥镜图像进行摄像的范围对应的展开图像BE上的摄像范围。由此，具有与图21(A)的情况大致相同的效果。并且，如图22A所示，也可以进行图像粘贴。
如上所述，将在最新的状态下拍摄的内窥镜图像(摄像图像)按照与展开图像BE上的对应的位置和所拍摄的区域(摄像范围)几乎一致的尺寸的粘贴图像B5进行粘贴之后，在粘贴下一个内窥镜图像时可以如虚线所示的粘贴图像B6那样进行缩小。另外，在成为粘贴图像B6的情况下，在粘贴图像B6的外侧会显示被粘贴图像B5遮住的部分的粘贴图像。
并且，也可以代替使用摄像范围呈现部45a而通过呈现位置调整部(或呈现位置调整电路)45b来对展开图像BE的显示位置(呈现位置)进行调整而显示。图22B示出该情况下的呈现(显示)例。
如图22B所示，以使与显示于第一区域的内窥镜图像对应地粘贴于展开图像BE上的图像42c位于展开图像BE的中心的方式对展开图像BE进行移动等而显示。即，图22B的左侧表示在呈现位置调整部45b进行调整前监视器7所显示的展开图像BE等，在该展开图像BE中与显示于第一区域41的内窥镜图像对应的图像42c由于其他的图像42b等的存在而变得难以分辨。
因此，呈现位置调整部45b以使图像42c位于第二区域42的中心的方式而如图22B的下侧所示那样对展开图像BE进行调整而显示，易于分辨与内窥镜图像对应的图像42c(的摄像范围)。
并且，在本实施方式中，通过手术医生从呈现选择部38a的选择而能够选择呈现角度调整部(或呈现角度调整电路)45c。
在本实施方式中，图像粘贴呈现处理部31e的呈现角度调整部45c如下面说明的那样对(统称)表示与第一区域41的内窥镜图像对应的粘贴于第二区域42的展开图像BE上的图像的方位(或朝向)的角度进行调整，使得手术医生容易地把握两个图像的各部分。并且，呈现角度调整部45c如下面说明的那样具有图像调整单元或图像调整部的功能，该图像调整单元或图像调整部使由摄像单元拍摄的内窥镜图像(摄像图像)与展开图像BE上的粘贴图像的各方位(朝向)一致地进行显示(呈现)。
并且，呈现角度调整部45c也可以说是具有如下的功能：以使显示于第二区域42的第二显示区域的作为平面模型图像的展开图像BE上粘贴的图像中的上下、左右的方向与在第一区域41的第一显示区域中显示有摄像图像的情况下的上下、左右的方向在作为图像显示装置的监视器7的显示画面上分别一致的方式对展开图像BE的方位或角度进行调整。
在将***部11的前端侧***于膀胱内来对膀胱内表面进行观察的情况下，例如无需使弯曲部25较大地弯曲就能够观察膀胱的后壁侧。在这种情况下，由摄像部23进行摄像而作为内窥镜图像显示于第一区域41的情况下，以内窥镜图像中的上下、左右的各方位(或朝向)预先与通常的上下、左右的各方位一致的方式进行显示。该情况下的上下、左右的各方位与不使弯曲部25弯曲的状态下的上下、左右的各方向一致。
但是，在对膀胱B内的供***部11***的入口侧的内表面进行观察的情况下，需要使弯曲部25较大地弯曲到超过90°而反转的位置，在这样较大地弯曲的情况下，设置于前端部20的摄像部23进行摄像的情况下的上下、左右的方位依赖于弯曲部25的弯曲方向而变化。显示于第一区域41的内窥镜图像根据摄像部23进行摄像时的前端部20侧的弯曲等的姿势而变化。
如果显示于第一区域41的内窥镜图像的方位与粘贴于展开图像BE上的图像的方位不一致，(在多个图像未被粘贴的情况下)则会产生难以识别是否是相同图像的情况，在这种情况下，难以把握是对膀胱B内的哪个部位或区域进行了摄像。
因此，在本实施方式中，如下面说明的那样，以能够容易地识别或把握两图像是否是相同图像的方式对粘贴于展开图像BE上的图像的方位(或朝向)、换言之是作为被粘贴的图像侧的展开图像BE的角度进行调整。
图23至图27示出其动作的说明图。图23(A)示出在膀胱B的立体模型的其内表面中的代表性的四个位置记有文字的观察对象61，图23(B)示出从正面对观察对象61进行了摄像的(显示于第一区域41的)内窥镜图像。
图24(A)示出使***部11的前端侧向上方较大地弯曲而从背面侧对图23(A)所示的观察对象61进行观察的样子，该情况下的内窥镜图像如图24(B)所示。
图25(A)示出使***部11的前端侧向上方较大地弯曲而从背面侧对图23(A)所示的观察对象61进行观察的样子，该情况下的内窥镜图像如图25(B)所示。
在***部11的每个弯曲状态下，第一区域41的上下左右的各方向的关系是不同的，如果在该状态下对第二区域42进行粘贴，则由于粘贴于第二区域42的各个图像的方位关系不统一，所以成为图像与图像不相关的状态。在本实施方式中，对粘贴于展开图像BE上的图像42d以外的该展开图像BE的角度进行调整而如图26和图27那样进行显示。
如图26和图27所示，由于显示于第一区域41的内窥镜图像41a的各方位与在显示于第二区域42的展开图像BE上粘贴而显示的图像42d的各方位是一致的，所以手术医生能够容易地把握两图像是相同的图像，并且由于粘贴的图像的方位关系是统一化的，所以图像与图像准确地相关。对于图23的情况尽管未图示，但与图26、图27的情况相同。另外，在使显示于第一区域41的内窥镜图像的方位与在显示于第二区域42的展开图像BE上粘贴而显示的图像的方位一致的情况下，在图26、图27中，对粘贴于展开图像BE上的图像42d的位置处的展开图像BE的方位(角度)进行变更，但也可以通过使展开图像BE绕其中心位置旋转来进行调整(形成图像调整单元)，使得两图像的方位一致。另外，在图24至图27中，对使弯曲部25在特定的方向上弯曲来进行摄像的情况进行了说明，但也可以应用于在与图示的情况不同的方向上进行摄像的情况。
图28示出图9中的步骤S15～16的处理的细节。粘贴于展开图像BE上的图像被判定为粘贴图像42a，该粘贴图像42a在步骤S14中被粘贴于展开图像BE中的对应的位置。在确定了该粘贴的情况下，如图28所示，开始进行确定呈现(显示)方法等的呈现处理。
在最初的步骤S61中，图像粘贴呈现处理部31e的呈现角度调整部45c根据由位置/方向检测部34检测到的位置/方向的信息和***形状信息来获取***部11的前端侧的摄像部23所摄像的姿势(图23(A)、图24(A)、图25(A)等的状态)的信息并计算粘贴于展开图像BE上的位置。在接下来的步骤S62中，图像粘贴呈现处理部31e判定手术医生是否从呈现选择部38选择内窥镜图像的摄像范围。
在进行了该选择的情况下，在接下来的步骤S63中，图像粘贴呈现处理部31e在展开图像BE中如图21的呈现例那样呈现当前的内窥镜图像的摄像范围，结束图28的处理。
在步骤S62中，在未进行摄像范围的选择的情况下，在步骤S64中，图像粘贴呈现处理部31e判定是否通过呈现选择部38a选择了呈现位置。
在进行了该选择的情况下，在接下来的步骤S65中，图像粘贴呈现处理部31e如图22的呈现例的那样，以使当前的内窥镜图像的摄像范围在展开图像BE中是中心位置的方式进行呈现，结束图28的处理。
在步骤S64中，在未进行呈现位置的选择的情况下，在步骤S66中，图像粘贴呈现处理部31e判定是否从呈现选择部38a选择了呈现角度。在进行了该选择的情况下，在接下来的步骤S67中，图像粘贴呈现处理部31e也计算显示于第一区域41的内窥镜图像的方位(朝向)。另外，显示于第一区域41的内窥镜图像的方位被设定为根据作为基准的摄像部23的姿态而确定。
在接下来的步骤S68中，呈现角度调整部45c判定显示于第一区域41的内窥镜图像的方位与粘贴于展开图像BE上的对应的位置的粘贴图像42a的方位是否一致。
在是不一致的判定结果的情况下，在接下来的步骤S69中，呈现角度调整部45c以使粘贴于展开图像BE上的粘贴图像42a的方位与显示于第一区域41的内窥镜图像的方位一致的方式进行展开图像BE的角度调整(参照图26、图27的呈现例)，结束图28的处理。
另一方面，在步骤S66的判定处理中，在是一致的判定结果的情况下也结束图28的处理。
由此，粘贴有粘贴图像42a的展开图像BE与内窥镜图像等一同显示于监视器7。在进行了图28的处理的情况下，如图21所示，能够容易地把握当前摄像(观察)的内窥镜图像的摄像范围。并且，如图22所示，能够容易地把握当前的内窥镜图像的摄像范围。并且，如图26、图27所示，由于内窥镜图像的方位与粘贴于展开图像BE上的粘贴图像42a的方位一致，所以手术医生能够容易地把握两图像是相同图像。
在上述的说明中，在软性的内窥镜3的情况下，对在***部11的前端侧设置有自由弯曲的弯曲部25的***部11进行了说明。
与此相对，也存在使用作为具有硬质的***部的内窥镜的硬性内窥镜对膀胱内进行观察的情况。因此，图1或图2所示的内窥镜***1也能够从内窥镜3和图29所示的硬性内窥镜3B、3C、3D中选择手术医生期望使用的任意一个来使用。
图29示出视野角等不同的例如3种硬性内窥镜3B、3C、3D。各内窥镜3I(I＝B、C、D)具有硬质的***部11、其后端(基端)的把持部63、可自由拆卸地在把持部63附近延伸的光导线缆64以及信号线缆65。光导线缆64的未图示的端部可自由拆卸地与图2所示的光源装置4连接。从光源装置4供给的照明光被光导线缆64和内窥镜3I内的光导14传送，从配置于***部11的前端部20的光导14的前端面(经由未图示的照明透镜)射出。
在前端部20设置有由物镜21和CCD 22构成的摄像部23I，能够通过摄像部23I对膀胱内表面进行摄像。并且，在摄像部23I的近旁或附近配置有构成摄像信息获取单元的磁传感器8。另外，在图29的图示例中，采用了将构成摄像单元的CCD 22配置于物镜21的成像位置的结构，但也可以采用将具有硬质的***部11的光学式内窥镜与在该光学式内窥镜的后端具有CCD 22的电视摄像机等连接部件连接并将构成摄像信息获取单元的磁传感器8配置于连接部件中的CCD 22的附近的结构。并且，对于摄像单元，也可以在以形状不随时间变化的状态连接的部件上设置构成摄像信息获取单元的磁传感器8等，该摄像信息获取单元能够检测摄像单元的位置信息和视线信息。即，检测所述摄像单元的位置信息和视线信息的摄像信息获取单元可以设置于摄像单元附近，也可以设置于与该摄像单元连接的部件。
另外，在使用了光学式内窥镜和电视摄像机的情况下，由于形成摄像单元或摄像部的CCD 22实际对规定的脏器内进行摄像的位置和摄像范围实质上也由配置于***部的前端部的形成物镜光学***的物镜21所确定，所以也可以代替摄像部的位置信息和视线信息而替换为物镜21的位置信息和视线信息(光轴方向信息)。换言之，可以代替设置于摄像部附近或设置于与该摄像部连接的部件并对所述摄像部的位置信息和视线信息进行检测(或获取)的摄像信息获取部而替换为构成摄像部并(对规定的脏器的光学像进行成像)对用于摄像的物镜光学***的位置信息和视线信息进行检测(或获取)的摄像信息获取部。
按照上述摄像部23I的视野角θi(i＝b、c、d)能够在膀胱内进行摄像的范围如图29所示那样是不同的。
在摄像部23B中，成为以***部11的长度方向为中心而沿着直视方向的视野角θb，在摄像部23C中，成为以与***部11的长度方向成规定的角度的方向为中心的斜视方向的视野角为θc，在摄像部23D中，成为与***部11的长度方向所成的角度比摄像部23C大的斜视方向的视野角θd。如图29所示，视野角θb<θc<θd。
这样，在硬性内窥镜3I的情况下，在***于膀胱内的情况下，按照硬性内窥镜3I的视野角θi而能够观察的范围被限制。
如图29所示，由于视野角θi不同，所以在对一位患者P的膀胱内进行检查的情况下，也存在替换地使用硬性内窥镜3I的情况。
这样，在替换地使用硬性内窥镜3I的情况下，在展开图像BE上的粘贴图像存在多个的情况下，有时难以分辨与通过当前使用的硬性内窥镜3I观察到的内窥镜图像对应的粘贴图像。
因此，如图30所示，可以使通过当前未使用的硬性内窥镜进行观察的情况下的粘贴图像变模糊并使通过当前使用的硬性内窥镜进行观察的情况下的粘贴图像42a变明确来进行显示。即，在图30中，通过42e表示模糊的图像。另外，模糊的图像42e只要使其亮度等级或色彩饱和度等降低而显示即可。或者，也可以使模糊的图像42e的色调为黑白，使得能够分辨出与通过当前使用的硬性内窥镜进行观察的情况下的粘贴图像42a的差异。
并且，如图29所示，视野角根据所使用的硬性内窥镜的种类而不同，限制了在膀胱内能够观察的范围。因此，如图29所示，由于对膀胱内进行观察的情况下的范围根据所使用的硬性内窥镜的种类而被限制，所以可以变更实际显示的展开图像。在图29中，通过Ei表示与硬性内窥镜3I的视野角θi对应地能够进行摄像的大概的范围。
图31示出该情况下的说明图。图31示出在中央生成展开图像的情况下使用的3D模型图像M1，用于生成展开图像的范围(虚线表示其边界)根据视野角的宽度而变化。由此，可以根据硬性内窥镜的种类和视野角对实际利用的展开图像的显示范围进行调整。
具体来说，在观察膀胱B的颈部RP侧的视野角较宽的硬性内窥镜3D的情况下，作为边界的虚线向左侧移动。与此相对，在观察膀胱的顶部侧的视野角较窄的硬性内窥镜3B、3C的情况下，虚线向右侧移动。
即，可以在视野角较宽的摄像单元的情况下使展开图像BE的区域变宽广，在视野角较窄的摄像单元的情况下使展开图像BE的区域变小。构成图像粘贴呈现单元的图像粘贴呈现处理部31e可以根据摄像单元的种类对变更作为平面模型图像的展开图像BE的区域的大小或色调等的呈现方法进行变更。并且，图像粘贴呈现处理部31e也可以通过根据摄像单元的种类对粘贴于展开图像BE上而呈现的粘贴图像的色调或尺寸等进行变更等来对展开图像BE上的呈现方法进行变更。
另外，图32至图38示出本实施方式的坐标系的转换和将内窥镜图像粘贴于展开图像BE的情况下的说明图。
图32是用于说明磁场产生装置9的坐标系与床2上的患者P的膀胱B的坐标系之间的关系的图。位置/方向检测部34实时地生成以磁场产生装置9的第一坐标系(X0Y0Z0)为基准的位置方向信息。
因此，在图9的步骤S6中，如图32所示，CPU 31将膀胱B的入口的位置和方向确定为基准位置和基准方向，根据下面的式(4)和式(5)，将位置/方向检测部34的位置方向信息转换为以膀胱B的入口为基准的坐标系(X1Y1Z1)的位置/方向信息。
P1＝R01P0+M01…(4)
V1＝R01V0…(5)
这里，P0和V0分别是以磁场产生装置9为基准的坐标系即第一坐标系(X0Y0Z0)中的位置和方向向量。R01是下面的式(6)所示的旋转矩阵，M01是下面的式(7)所示的平移矩阵。
【式6】
【式7】
因而，第一坐标系(X0Y0Z0)上的点(x0，y0，z0)如下面的式(8)所示，被转换为中间坐标系(X1Y1Z1)上的点(x1，y1，z1)。
【式8】
设检测到内窥镜的前端部20***于膀胱B内时由位置/方向检测部34检测出的位置和方向的向量为P'0、V'0，则平移矩阵M01由下面的式(9)求得。
M01＝-P'0…(9)
并且，要求旋转矩阵R01满足下面的条件。图33是用于说明投影于中间坐标系(X1Y1Z1)上的方向向量的图。旋转矩阵R01所满足的条件为：Z1与重力方向平行，以及将V'0投影于与Z1垂直的X1Y1平面，设该投影的向量方向为Y1，与Y1Z1平面垂直的向量为X1。
在步骤S7中，在记录了前端部20的位置/方向的信息的情况下，进而根据下面的式(10)和式(11)将中间坐标系(X1Y1Z1)的位置和方向向量转换为以3D模型图像M1的中心为基准的第二坐标系(X2Y2Z2)的位置和方向向量而记录。图34是用于说明中间坐标系(X1Y1Z1)与第二坐标系(X2Y2Z2)之间的关系的图。
P2＝R12P1+M02…(10)
V2＝R12V1…(11)
这里，P1和V1分别是中间坐标系(X1Y1Z1)中的位置和方向向量、P2和V2分别是第二坐标系(X2Y2Z2)中的位置和方向向量。V2是第二坐标系(X2Y2Z2)中的内窥镜图像的中心像素的方向向量。R12是下面的式(12)所示的旋转矩阵，M02是下面的式(13)所示的平移矩阵。
【式12】
【式13】
因而，中间坐标系(X1Y1Z1)上的点(x1，y1，z1)如下面的式(14)所示被转换为第二坐标系(X2Y2Z2)上的点(x2，y2，z2)。
【式14】
当将X1Y1Z1坐标系在Y1轴向上移动R2的情况下，平移M12和旋转R12分别成为式(15)和式(16)那样。
【式15】
【式16】
如上所述，磁场产生装置9的第一坐标系(X0Y0Z0)的位置P0根据式(8)和式(14)转换为以3D模型的中心为基准的第二坐标系(X2Y2Z2)的位置P2，第一坐标系(X0Y0Z0)中的方向V0根据下面的式(17)转换为第二坐标系(X2Y2Z2)的方向V2。
V2＝R12R01V0…(17)
并且，在步骤S14中的内窥镜图像的粘贴处理中，在第二坐标系(X2Y2Z2)中，对将内窥镜图像粘贴于3D模型图像M1的内表面的情况下的坐标的计算进行说明。
在3D模型图像M1中，将膀胱B的形状假定为半径R2的球体。内窥镜图像被粘贴于该球体的内表面。图35是用于在第二坐标系(X2Y2Z2)中说明球体的内表面上的坐标的图。图36是用于根据前端部20的位置和方向向量来说明第二坐标系(X2Y2Z2)中的位置P2和方向V2的图。
当确定了前端部20的第二坐标系(X2Y2Z2)中的位置P2和方向V2时，求出所获得的内窥镜图像的球体的内表面上的坐标。因此，计算满足下面的式(18)和式(19)的系数k，并求出第二坐标系(X2Y2Z2)中的坐标P21。
P21＝P2+kV2…(18)
∣P21∣＝R2…(19)
内窥镜图像被投影并粘贴于所求出的坐标P21的位置。
接下来，第二坐标系(X2Y2Z2)中的位置被投影于2D模型的坐标系。
首先，在膀胱B的腹侧的半球的情况下(0≦Z2)，由于二维膀胱模型左右反转，所以u方向的值由下面的式(20)表示，v方向的值由下面的式(21)表示。
u＝-x21…(20)
v＝y21+R2…(21)
并且，在膀胱B的脊背侧的半球的情况下(Z2<0)，由于二维膀胱模型左右反转，所以u方向的值由下面的式(22)表示，v方向的值由下面的式(23)表示。
u＝-x21…(22)
v＝y21-2R2…(23)
图37是用于说明二维坐标系(U，V)中的坐标关系的图。
如上所述，方向向量V2是第二坐标系(X2Y2Z2)中的内窥镜图像的图像中心的像素的方向向量。因而，针对内窥镜图像中的图像中心的像素以外的像素，求出各像素的方向向量，通过重复进行上述的式(18)至式(23)的转换运算，能够将内窥镜图像的整体粘贴于第二坐标系(X2Y2Z2)的球体的内表面。
图38是用于说明对内窥镜图像的整体进行扫描并将各像素向第二坐标系(X2Y2Z2)的球体的内表面粘贴的图。
如虚线所示那样，一边在规定的方向上对内窥镜图像EI的各像素进行扫描一边将各像素向第二坐标系(X2Y2Z2)的球体的内表面粘贴。在图38中，V2'表示内窥镜图像EI的各像素的粘贴向量，P21'表示第二坐标系(X2Y2Z2)的球体的内表面的粘贴向量。
如上所述，根据本实施方式，当摄像单元对膀胱B内进行摄像而得的内窥镜图像(或摄像图像)作为粘贴图像而被粘贴(重叠)于作为平面模型图像的展开图像BE上的对应位置而呈现(显示)时，由于以容易把握两图像的对应关系的方式进行呈现，所以手术医生能够顺利地进行规定的脏器内的患部等关注部位的检查、诊断。
并且，由于具有作为图像粘贴判定单元的粘贴图像判定部31f，所以能够粘贴符合粘贴的图像，手术医生能够顺利地进行膀胱B等规定的脏器内的患部等关注部位的检查、诊断，其中，该图像粘贴判定单元判定将由摄像单元拍摄的内窥镜图像(或摄像图像)粘贴于作为平面模型图像的展开图像BE上的图像是否是符合粘贴的图像。
并且，在本实施方式中，手术医生等使用者将由摄像单元拍摄的内窥镜图像(或摄像图像)作为粘贴于作为平面模型图像的展开图像BE上的粘贴图像而进行呈现的情况下，能够通过作为呈现选择单元的呈现选择部38a从多个项目中选择容易分辨两图像的对应的呈现方法等。
并且，根据上述的本实施方式的内窥镜***，由于能够容易地确认膀胱B内的病变部的位置和观察的区域，所以能够防止病变部的观察遗漏，也能够实现复查率的降低、减少对病历的记载错误。
进而，在上述的实施方式中，内窥镜图像被粘贴于二维脏器模型图像上，但也可以粘贴于作为3D图像的三维脏器模型的图像上。即，模型图像也可以不是2D图像而是3D图像。
进而，在上述的实施方式中，将膀胱B内的内窥镜图像粘贴于膀胱的2D模型图像上，但上述的实施方式的内窥镜***也能够应用于膀胱以外的其他的脏器，例如胃、子宫。
在胃的情况下，在从食道进入胃时，在肺的情况下，在气管的下方最开始分成左右支气管时，在子宫的情况下，在从子宫颈部进入子宫内时等，能够根据图像的变化来确定基准信息，能够在脏器模型图像上进行粘贴。
本申请是以2013年9月27日在日本申请的日本特愿2013-201898号作为优先权主张的基础而申请的，上述的公开内容被引用于本申请说明书、权利要求书以及附图。

Claims (10)

1.一种内窥镜***，其特征在于，该内窥镜***具有：
内窥镜，其***部***于被检体内的规定的管腔脏器内；
摄像部，其设置于所述***部的前端附近，对所述被检体内的规定的脏器内进行摄像；
摄像信息获取部，其设置于所述摄像部附近或与该摄像部连接的部件，获取所述摄像部的位置信息和视线信息；
展开图像生成部，其生成将与所述规定的管腔脏器对应的模型图像平面地展开的平面模型图像；
图像粘贴处理部，其生成粘贴图像，该粘贴图像是根据所述摄像部的位置信息和视线信息将所述规定的管腔脏器内的被检体图像粘贴于所述平面模型图像而得的；以及
图像粘贴呈现处理部，其在所述图像粘贴处理部所生成的所述粘贴图像上，根据所述摄像部的所述位置信息来呈现所述摄像部的摄像范围。
2.根据权利要求1所述的内窥镜***，其特征在于，
所述图像粘贴呈现处理部根据所述摄像部的位置信息和视线信息来变更呈现粘贴于所述平面模型图像上的所述被检体图像的角度。
3.根据权利要求1所述的内窥镜***，其特征在于，
所述图像粘贴呈现处理部根据所述摄像部的种类来变更所述平面模型图像上的呈现方法。
4.根据权利要求1所述的内窥镜***，其特征在于，
所述图像粘贴呈现处理部根据所述摄像部的位置信息，以使所述平面模型图像内的与所述位置信息对应的位置成为中心的方式进行呈现。
5.根据权利要求1所述的内窥镜***，其特征在于，
所述摄像部形成于能够弯曲的弯曲部的前端，
所述图像粘贴呈现处理部具有图像调整部，该图像调整部根据伴随着所述弯曲部的弯曲的所述摄像部的弯曲状态，以使所述摄像部所拍摄的显示于显示部的被检体图像与粘贴于所述平面模型图像上的被检体图像的朝向一致的方式进行调整。
6.根据权利要求1所述的内窥镜***，其特征在于，
所述内窥镜***还具有3D模型图像生成部，其生成所述规定的管腔脏器的立体模型图像，
所述摄像信息获取部具有***形状信息检测部，该***形状信息检测部对所述***部***于所述规定的管腔脏器内的情况下的***形状的信息进行检测，
该内窥镜***还具有***形状信息呈现部，该***形状信息呈现部使所述***形状信息检测部所检测的所述***形状的信息与所述被检体内的所述规定的管腔脏器的立体模型图像对应起来进行呈现。
7.根据权利要求1所述的内窥镜***，其特征在于，
该内窥镜***还具有图像粘贴判定部，该图像粘贴判定部针对由所述摄像部拍摄的图像判定是否由所述图像粘贴处理部粘贴于所述平面模型图像。
8.根据权利要求7所述的内窥镜***，其特征在于，
所述图像粘贴判定部判定针对由所述摄像部拍摄的图像的图像处理、所述摄像部的移动速度、从所述摄像部到所述规定的管腔脏器的内表面的距离、所述规定的管腔脏器的内表面的法线方向与所述摄像部的视线方向所成的角中的任意是否满足规定的条件，
所述图像粘贴处理部将被所述图像粘贴判定部判定为满足所述规定的条件的所述摄像部所拍摄的图像粘贴于所述平面模型图像。
9.根据权利要求1所述的内窥镜***，其特征在于，
所述图像粘贴处理部在所述平面模型图像上将所述摄像部所拍摄的图像作为摄像图像，并在所述平面模型图像中的对应的位置以与对应于所述摄像图像的区域几乎一致的方式作为第一粘贴图像进行了粘贴之后，在对下一个摄像图像进行粘贴的情况下，将所述第一粘贴图像变更为缩小的粘贴图像。
10.根据权利要求1所述的内窥镜***，其特征在于，该内窥镜***还具有：
图像显示装置，其将所述摄像部所拍摄的摄像图像和所述平面模型图像分别显示于同一显示画面上的彼此不同的第一显示区域和第二显示区域；以及
呈现角度调整部，其对所述平面模型图像的方位或角度进行调整，使得所述图像粘贴呈现处理部在所述第二显示区域所显示的所述平面模型图像上粘贴的所述图像的上下、左右方向与在所述第一显示区域显示所述摄像图像的情况下的上下、左右方向在所述显示画面上分别一致。
CN201480050306.6A 2013-09-27 2014-09-22 内窥镜*** Active CN105530852B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013201898 2013-09-27
JP2013-201898 2013-09-27
PCT/JP2014/075099 WO2015046152A1 (ja) 2013-09-27 2014-09-22 内視鏡システム

Publications (2)

Publication Number Publication Date
CN105530852A CN105530852A (zh) 2016-04-27
CN105530852B true CN105530852B (zh) 2017-08-25

Family

ID=52743288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050306.6A Active CN105530852B (zh) 2013-09-27 2014-09-22 内窥镜***

Country Status (5)

Country Link
US (1) US10413157B2 (zh)
EP (1) EP3033987A4 (zh)
JP (1) JP5993515B2 (zh)
CN (1) CN105530852B (zh)
WO (1) WO2015046152A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942044B2 (ja) * 2014-02-14 2016-06-29 オリンパス株式会社 内視鏡システム
CN105943161A (zh) * 2016-06-04 2016-09-21 深圳市前海康启源科技有限公司 基于医疗机器人的手术导航***及方法
JP7014509B2 (ja) * 2016-08-26 2022-02-01 キヤノンメディカルシステムズ株式会社 医用画像処理装置および内視鏡装置
JP2018050890A (ja) 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
JP7026447B2 (ja) * 2017-04-13 2022-02-28 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の表示制御方法
US11129518B2 (en) * 2018-05-05 2021-09-28 Ankon Medical Technologies (Shanghai) Co., Ltd. Portable system and method for position and orientation of remote objects
JP7049220B2 (ja) * 2018-08-30 2022-04-06 オリンパス株式会社 画像取得装置および画像取得装置の作動方法
WO2021234907A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
CN113160040B (zh) * 2021-05-07 2022-08-02 上海埃尔顿医疗器械有限公司 用于医疗内窥镜成像的管腔图像展开方法
CN115861298B (zh) * 2023-02-15 2023-05-23 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921797A (zh) * 2004-02-18 2007-02-28 国立大学法人大阪大学 内窥镜***
US7195587B2 (en) * 1999-08-05 2007-03-27 Olympus Corporation Apparatus and method using it for detecting and displaying form of insertion part of endoscope inserted into body cavity
CN102395318A (zh) * 2009-04-16 2012-03-28 富士胶片株式会社 诊断支援装置、诊断支援方法以及存储诊断支援程序的存储介质
CN102640049A (zh) * 2009-12-01 2012-08-15 稻叶稔 立体图像摄像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
WO1995020343A1 (en) * 1994-01-28 1995-08-03 Schneider Medical Technologies, Inc. Imaging device and method
US6702736B2 (en) * 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP3389535B2 (ja) * 1999-08-06 2003-03-24 オリンパス光学工業株式会社 内視鏡形状検出装置
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
US7599730B2 (en) * 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
CA2523727A1 (en) * 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
US20050054895A1 (en) * 2003-09-09 2005-03-10 Hoeg Hans David Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
EP1832223B1 (en) * 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
JP2006288869A (ja) 2005-04-13 2006-10-26 Hitachi Medical Corp 内視鏡画像表示装置
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
US7824328B2 (en) * 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
JP5210719B2 (ja) * 2008-06-17 2013-06-12 富士フイルム株式会社 電子内視鏡及び画像処理プログラム
JP5388657B2 (ja) * 2009-04-01 2014-01-15 Ｈｏｙａ株式会社 画像処理装置、画像処理装置の作動方法、およびシステム
DK2568870T3 (en) * 2010-03-30 2018-08-13 3Shape As SCREENING SPACES WITH LIMITED AVAILABILITY
JP5580637B2 (ja) * 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
US9265468B2 (en) * 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
CN103561628B (zh) 2012-03-06 2016-08-17 奥林巴斯株式会社 内窥镜***
JP5595621B2 (ja) * 2012-08-06 2014-09-24 パナソニック株式会社 カテーテル先端回転角度検出装置、及び、プログラム
EP2996557B1 (en) * 2013-03-11 2019-05-01 Institut Hospitalo-Universitaire de Chirurgie Mini -Invasive Guidee Par l'Image Anatomical site relocalisation using dual data synchronisation
US9107578B2 (en) * 2013-03-31 2015-08-18 Gyrus Acmi, Inc. Panoramic organ imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7195587B2 (en) * 1999-08-05 2007-03-27 Olympus Corporation Apparatus and method using it for detecting and displaying form of insertion part of endoscope inserted into body cavity
CN1921797A (zh) * 2004-02-18 2007-02-28 国立大学法人大阪大学 内窥镜***
CN102395318A (zh) * 2009-04-16 2012-03-28 富士胶片株式会社 诊断支援装置、诊断支援方法以及存储诊断支援程序的存储介质
CN102640049A (zh) * 2009-12-01 2012-08-15 稻叶稔 立体图像摄像装置

Also Published As

Publication number Publication date
EP3033987A4 (en) 2017-05-17
EP3033987A1 (en) 2016-06-22
WO2015046152A1 (ja) 2015-04-02
CN105530852A (zh) 2016-04-27
JPWO2015046152A1 (ja) 2017-03-09
US20160278612A1 (en) 2016-09-29
US10413157B2 (en) 2019-09-17
JP5993515B2 (ja) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105530852B (zh) 内窥镜***
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US9460536B2 (en) Endoscope system and method for operating endoscope system that display an organ model image to which an endoscopic image is pasted
CN104918534B (zh) 内窥镜***
CN105491936B (zh) 胶囊型内窥镜***
US20080039692A1 (en) Image display device
WO2014156378A1 (ja) 内視鏡システム
CN102247114A (zh) 图像处理装置及图像处理方法
JPWO2014156378A1 (ja) 内視鏡システム
JP5977900B2 (ja) 画像処理装置
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
US10231601B2 (en) Medical apparatus for associating index indicating priority corresponding to lesion occurrence frequency with position of inner wall opposing in visual line direction of endoscope the position being one at which image is acquired
CN114983317A (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
CN107113405A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
JPWO2017212725A1 (ja) 医療用観察システム
KR102313319B1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
CN109907835B (zh) 应用红外热成像的一体化外视镜腹腔镜设备
US20220222840A1 (en) Control device, image processing method, and storage medium
CN101394780B (zh) 医疗用图像处理装置以及医疗用图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant