CN108601670A - 图像处理装置和方法、手术***和手术构件 - Google Patents

图像处理装置和方法、手术***和手术构件 Download PDF

Info

Publication number
CN108601670A
CN108601670A CN201780009856.7A CN201780009856A CN108601670A CN 108601670 A CN108601670 A CN 108601670A CN 201780009856 A CN201780009856 A CN 201780009856A CN 108601670 A CN108601670 A CN 108601670A
Authority
CN
China
Prior art keywords
surgical
introscope
image
intraocular
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009856.7A
Other languages
English (en)
Other versions
CN108601670B (zh
Inventor
榎润郎
榎润一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108601670A publication Critical patent/CN108601670A/zh
Application granted granted Critical
Publication of CN108601670B publication Critical patent/CN108601670B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种图像处理装置和方法、手术***和手术构件，由此可以方便地确定用于对手术对象进行手术的手术构件的位置或方向。获取显微图像(201)，其中，通过手术显微镜(112)捕捉***到手术对象的手术构件(121)的图像，基于获取的显微图像(201)来估计在手术对象内部的手术构件的相对朝向，并且将与估计的朝向相关的朝向信息(222、223、224)输出到输出单元。例如，本发明可以通过使用手术显微镜来观察眼内内视镜或手术器具而应用于眼睛手术。

Description

图像处理装置和方法、手术***和手术构件
技术领域
本技术涉及一种图像处理装置和方法、手术***和手术构件，具体地，涉及一种利用其可以容易地掌握用于眼睛手术的手术构件的位置和朝向的图像处理装置和方法、一种手术***和一种手术构件。
背景技术
在眼科手术中，有时，在处理不能从显微镜视觉识别的位置的情况时使用眼内内视镜。眼内内视镜通常尤其用于视网膜玻璃体手术等。
图1是用于说明眼睛的手术的示图。将眼内内视镜11和手术工具12***到被实施手术的眼睛21中。在监视器31上显示由眼内内视镜11拍摄的被实施手术的眼睛21的内部的图像41。外科医生在观看监视器31的图像41的同时进行手术。虽然眼内内视镜11具有拍摄位置的高自由度，但是存在图像的重力方向和位置容易丢失的问题。此外，如果操作错误，则眼内内视镜11可能损坏视网膜13。
因此，学习眼内内视镜11的操作的障碍非常高。此外，在现行的过程中，在位置丢失的情况下指导返回到原位，因此，手术时间将更长。因此，需要容易地掌握眼内内视镜11的朝向和位置。
因此，已经提出了在眼科内视镜的手部提供指向特定方向的指标(专利文献1)。此外，提出使用重力传感器或加速度传感器来获得内视镜的方向(专利文献2)。此外，已经提出了利用内视镜的X射线检测标记，用于从X射线图像观察十二指肠(专利文献3)。
引用列表
专利文献
专利文献1：日本专利申请公开第10-328126号。
专利文献2：日本专利申请公开第2014-155592号。
专利文献3：日本专利申请公开第2015-2858号。
发明内容
本发明要解决的问题
然而，在专利文献1的提案中，操作者需要在视觉上识别眼科内视镜的基本原理或者用指尖的触觉来确认指标。在前一种情况下，视线远离手术区域(surgical field)。在后一种情况下，存在必须习惯于掌握正确取向的问题。此外，很难掌握位置。另外，由于微创手术眼科内视镜变得更细，不仅可能发生变形，而且也难以处理在根部和尖端之间发生变形的情况。
如专利文献2中所提出的，将传感器附接到内视镜的尖端部分，成为缩小直径的阻碍因素。此外，尽管将传感器附接到手部是有些用的，但是内视镜本身的重量增加，操作变得困难，并且难以应用于眼内内视镜。
如在专利文献3的提案中，为了利用X射线图像，不仅需要X射线装置，而且用于观察十二指肠的内视镜本身也需要具有特定结构，并且装置的尺寸变大，导致成本高。因此，难以应用于内视镜。
鉴于这种情况已提出了本技术，并且本技术能够容易地掌握用于眼睛手术的手术构件的位置和朝向。
问题的解决方法
本技术的一个方面是一种图像处理装置，包括：获取单元，获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像；估计单元，基于由获取单元获取的显微图像来估计手术构件在手术对象中的相对姿势；以及输出单元，输出与已估计的姿势相关联的姿势信息。
手术构件可以是眼内内视镜。
输出单元可以将姿势信息叠加在由眼内内视镜输出的内视镜图像上并且输出叠加的图像。
姿势可以包括位置、朝向和旋转角度中的至少一个。
姿势信息可以包括表示位置、朝向或刻度上的旋转角度的图形。
姿势信息可以包括眼球模型的截面或三维视图。
在手术构件上显示标记，并且估计单元基于由获取单元获取的显微图像的标记来估计手术构件在手术对象中的相对姿势。
所述获取单元获取从作为手术对象的被实施手术的眼睛的外部拍摄的眼内内视镜的图像，并且估计单元可以基于未***到眼内内视镜的被实施手术的眼睛的部分的特征量来估计眼内内视镜在被实施手术的眼睛中的相对姿势。
手术构件是显示标记的手术工具，获取单元可以获取显示标记的手术工具的显微图像和眼内内视镜的内视镜图像，估计单元可以估计显示标记的手术工具与手术显微镜之间的相对姿势，并且还可以估计显示标记的手术工具与眼内内视镜之间的相对姿势，并且所述图像处理装置还包括操作单元，其根据手术工具和手术显微镜之间的相对姿势以及手术工具和眼内内视镜之间的相对姿势来操作手术显微镜和眼内内视镜之间的相对姿势。
本技术的一个方面是一种图像处理方法，包括：获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像的步骤；基于由所述获取单元获取的显微图像来估计手术构件在手术对象中的相对姿势的步骤；以及输出与已估计的姿势相关联的姿势信息的步骤。
本技术的一个方面是一种手术***，包括：手术显微镜，拍摄手术对象；获取单元，获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像；估计单元，基于由获取单元获取的显微图像来估计手术构件在手术对象中的相对姿势；以及输出单元，输出与已估计的姿势相关联的姿势信息。
本技术的一个方面是一种手术构件，***到被实施手术者的被实施手术的眼睛并用于被实施手术的眼睛的手术，并且是一种其中，在***到被实施手术的眼睛中的***单元中显示可以通过手术显微镜观察的标记的手术构件。
在本技术的一个方面中，获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像；基于由获取单元获取的显微图像来估计手术构件在手术对象中的相对姿势；并且输出与已估计的姿势相关联的姿势信息。
本发明的效果
如上所述，根据本技术的一个方面，可以容易地掌握用于眼睛手术的手术构件的位置和朝向。
注意，在本文中描述的效果仅仅是说明性的，而不是限制性的，并且本技术可以具有额外效果。
附图说明
[图1]是用于说明眼睛手术的示图。
[图2]是示出根据本技术的实施方式的手术***的配置的透视图。
[图3]是用于说明根据本技术的实施方式的眼睛手术的示图。
[图4]是用于说明本技术的标记的示图。
[图5]是示出本技术的手术***的功能配置的方框图。
[图6]是用于说明本技术的图像处理的流程图。
[图7]是用于说明根据本技术的实施方式的眼睛手术的示图。
[图8]是用于说明根据本技术的实施方式的眼睛手术的示图。
[图9]是示出本技术的手术***的配置的方框图。
[图10]是用于说明本技术的图像处理的流程图。
[图11]是示出本技术的姿势信息的示例的示图。
[图12]是示出本技术的姿势信息的示例的示图。
[图13]是示出本技术的姿势信息的示例的示图。
[图14]是示出本技术的姿势信息的示例的示图。
具体实施方式
在下文中，将描述用于实现本技术的模式(下文中称为实施方式)。注意，将按以下顺序进行描述。
1、第一实施方式
(1)手术***
(2)姿势估计原理
(3)手术***的功能块
(4)图像处理
2、第二实施方式
3、第三实施方式
(1)姿势估计原理
(2)手术***的功能块
(3)图像处理
4、姿势信息
5、其他
<1、第一实施方式>
(1)手术***
图2是示出根据本技术的实施方式的手术***的配置的透视图。图2示意性地示出了用于眼科手术的手术***100的基本配置。手术***100包括手术台111、手术显微镜112、图像处理装置113和呈现单元114。此外，可以根据需要使用玻璃体手术装置、生命体征显示装置等，但是省略了其说明。
将被实施手术者(即，患者)131放置在手术台111上。外科医生132站立在被实施手术者131的头部131A的后侧(或可以是左侧或右侧)，并使用眼科手术构件进行眼科手术。在图2所示的示例的情况下，眼内内视镜121和手术工具122(例如，玻璃体切割器)用作手术构件。
手术显微镜112设置在被实施手术者131的头部131A上方，并且拍摄作为手术对象的被实施手术者131的被实施手术的眼睛151(参见稍后描述的图3)。在眼内内视镜121和手术工具122***到被实施手术的眼睛151的情况下，拍摄眼内内视镜121和手术工具122处于***状态的被实施手术的眼睛151。
将由手术显微镜112拍摄的图像信号提供给图像处理装置113。当***到被实施手术的眼睛151时，眼内内视镜121拍摄被实施手术的眼睛151的内部状态，并将其图像信号输出到图像处理装置113。图像处理装置113将与输入图像信号对应的图像输出到呈现单元114。通过该配置，外科医生132可以看到由手术显微镜112拍摄的图像(下文中称为显微图像)和在手术期间由眼内内视镜121拍摄的图像(下文中称为内视镜图像)。注意，有时，监视器附接到手术显微镜112，并且可以看到监视器上的图像。
手术显微镜112的位置可以任意改变。此外，眼内内视镜121的姿势可以通过外科医生132的操作来改变。利用这种配置，可以观察到被实施手术的眼睛151的任意部分。
(2)姿势估计原理
图3是用于说明根据本技术的实施方式的眼睛手术的示图。在下文中，将参考图3描述眼内内视镜121的姿势估计原理。
图3示出了被实施手术者131的被实施手术的眼睛151的截面配置。被实施手术的眼睛151的上部覆盖有角膜161。在角膜161下方的前房164(anterior chamber)的后面进一步存在晶体162(crystalline lens)，并且虹膜163存在于其左侧和右侧。此外，视网膜165存在于球形的被实施手术的眼睛151的后面。
将眼内内视镜121的***单元121A***到被实施手术的眼睛151，并且利用来自尖端121B的照明光照亮拍摄部分，并拍摄内部状态。在***单元121A上显示用于确认眼内内视镜121的姿势的标记171。可以用手术显微镜112拍摄的显微图像来确认该标记171。
现在将参考图4描述标记171的具体示例。图4是用于说明本技术的标记的示图。注意，图4中的标记Mx(x是数字)对应于图3中的标记171。
在图4的A中，沿着***单元121A的长度方向，在眼内内视镜121的***单元121A的外表面上显示红色、蓝色、绿色和黄色的带，使得可以利用手术显微镜112的显微图像来观察这些带。例如，在眼内内视镜121的上侧显示红色带M1，在从红色带M1逆时针旋转90°的位置显示蓝色带M2。此外，在从红色带M1逆时针旋转180°的位置显示绿色带M3，并且在从红色带M1逆时针旋转270°的位置，显示黄色带M4。
因此，可以通过利用手术显微镜112对***单元121A***到被实施手术的眼睛151的眼内内视镜121进行成像而获得的显微图像，来估计眼内内视镜121的旋转角度。例如，在观察红色带M1的情况下，可以看出眼内内视镜121位于参考位置(红色带M1设置在上侧的位置)，即，旋转角度是0°。在观察蓝色带M2的情况下，可以看出眼内内视镜121从参考位置逆时针旋转90°。
在下文中，类似地，在观察绿色带M3的情况下，可以看出，从眼内内视镜121的参考位置的旋转角度是180°。在观察黄色带M4的情况下，可以看出从眼内内视镜121的参考位置的旋转角度是270°。在观察红色带M1和蓝色带M2的情况下，可以看出从眼内内视镜121的参考位置的旋转角度是45°。
图4的B表示在预定位置处显示不同数量的线作为标记的示例。在该示例中，参考位置处的标记M11的线的数量是1，并且在从参考位置逆时针旋转90°的位置处的标记M2的线的数量是2。同样地，尽管未示出，但是在从参考位置逆时针旋转180°的位置处的数量是三个，并且在逆时针旋转270°的位置处的数量是四个。同样，在该示例中，可以从观察到的标记的状态估计眼内内视镜121的旋转角度。
图4的C示出了具有不同线粗细的标记的示例。在参考位置处的标记M21的线是最细的，并且在从参考位置逆时针旋转90°的位置处的标记M22的线的粗细比标记M21粗。同样地，尽管未示出，但是在从参考位置逆时针旋转180°的位置处的标记的线比标记M22粗，并且在逆时针旋转270°的位置处的标记的线比在180°的位置的标记更粗。同样，在该示例中，可以从观察到的标记的状态估计眼内内视镜121的旋转角度。
图4的D表示线间隔根据位置而变化的标记的示例。换言之，在该示例中，根据从眼内内视镜121的参考位置的旋转角度而具有不同间隔的线被显示为标记M31。同样，在该示例中，可以从观察到的标记的状态估计眼内内视镜121的旋转角度。
图4的E示出了特定图案的标记的示例。在该示例中，在***单元121A上显示二维条形码，作为标记41。同样，在该示例中，可以从标记的观察状态估计眼内内视镜121的旋转角度。
再次参考图3，通过用手术显微镜112拍摄被实施手术的眼睛151来获得显微图像201。可以分析投影在显微图像201上的标记171(Mx)，使得可以执行用于估计眼内内视镜121的姿势的姿势估计处理211。接下来，执行叠加处理212，以将已经估计的姿势叠加在眼内内视镜121的图像上。
在呈现单元114上显示由眼内内视镜121拍摄的内视镜图像221和表示眼内内视镜121的估计的姿势的图形图像222、223和224。稍后参考图11至14描述表示姿势的图形图像222、223和224的细节，作为姿势信息。在此处，在被实施手术的眼睛151的截面形状的图形中，显示表示眼内内视镜121的姿势的图形图像222和223以及表示重力方向的箭头的图形图像224。
(3)手术***的功能块
图5是示出本技术的手术***的功能配置的方框图。如图5所示，手术***100的手术显微镜112具有驱动单元301和拍摄单元302。拍摄单元302包括相机和照明单元，由驱动单元301相对于被实施手术的眼睛151移动到任意位置，并从该位置进行拍摄。
眼内内视镜121具有包括照相机和照明单元的拍摄单元311。眼内内视镜121的内部状态可以由拍摄单元311拍摄。
图像处理装置113具有获取单元321、标记检测单元322、姿势估计单元323、特征量数据库324、获取单元325和叠加单元326。
获取单元321获取通过手术显微镜112的拍摄单元302拍摄而获得的显微图像的图像信号。标记检测单元322从由获取单元321获取的图像信号中检测标记171。姿势估计单元323从由标记检测单元322检测到的标记171的拍摄状态估计眼内内视镜121的姿势。特征量数据库324预先保持姿势估计单元323从标记171的拍摄状态估计眼内内视镜121的姿势所需的图像信息。姿势估计单元323输出与已经估计的姿势对应的图像。
显示标记171的眼内内视镜121的三维位置信息(特征点)存储在特征量数据库324中。在二维图像(即显微图像)中存在已知的三维位置的多个特征点的情况下，通过求解透视N点问题(PNPP)，可以获得相对于特征点的相机(手术显微镜112的拍摄单元302)的相对三维位置和姿势。因此，相反地，可以利用手术显微镜112的成像单元302的位置作为参考来获得特征点的三维位置和姿势，并且可以从特征点的三维位置和姿势获得眼内内视镜121的位置和姿势。换言之，在特征量数据库324中预先存储解决PNPP所需的包括参数(诸如成像单元302的视角和变形量等)的信息。
获取单元325获取由眼内内视镜121的拍摄单元311拍摄的内视镜图像。叠加单元326叠加来自姿势估计单元323的表示姿势的图像和由获取单元325获取的眼内内视镜121的内视镜图像，并将叠加的图像输出到呈现单元114，以进行呈现。
(4)图像处理
现在，将参考图6描述图5的手术***100的操作。图6是用于说明本技术的图像处理的流程图。
在步骤S11中，获取单元321获取显微图像。将所获取的显微图像的图像信号提供给标记检测单元322。即，通过驱动单元301预先设置在预定位置的成像单元302拍摄被实施手术的眼睛151，使得可以看到整个被实施手术的眼睛151。如图3所示，当眼内内视镜121的***单元121A***到被实施手术的眼睛151时，标记171出现在所获取的显微图像中。
在步骤S12中，标记检测单元322检测眼内内视镜121。换言之，从由手术显微镜112的拍摄单元302拍摄的所获取的显微图像中检测眼内内视镜121。注意，可以通过使用过去的检测结果执行检测处理，来提高检测精度。在步骤S13中，标记检测单元322确定检测是否成功。在尚未检测到标记171的情况下，处理返回到步骤S11。即，重复从获取的显微图像检测标记171的处理。
在标记171的检测成功的情况下，标记检测单元322将检测结果提供给姿势估计单元323。在步骤S14中，姿势估计单元323估计眼内内视镜121的姿势。
换言之，如参考图4所述，通过用手术显微镜112拍摄眼内内视镜121而获得的显微图像中的标记171的状态根据眼内内视镜121的姿势而变化。对应于任意旋转角度的标记171的图像存储在特征量数据库324中，并且可以通过从存储的标记171的图像中检索与观察的标记171的图像对应的图像来估计眼内内视镜121的旋转角度。
注意，除了旋转角度(旋转量)之外，眼内内视镜121的姿势还由位置和朝向指定。可以通过求解PNPP来估计位置和朝向。
在步骤S15中，姿势估计单元323确定估计是否成功。在未估计到眼内内视镜121的姿势的情况下，处理返回到步骤S11，并且重复步骤S11和后续步骤中的处理。
在可以估计眼内内视镜121的姿势的情况下，姿势估计单元323在步骤S16中生成姿势信息。换言之，生成与估计的姿势对应的姿势信息。稍后将参考图11至14描述该姿势信息的细节。
在步骤S17中，叠加单元326执行叠加处理。换言之，叠加单元326将与由姿势估计单元323估计的姿势对应的图像叠加在由获取单元325获取的眼内内视镜121的成像单元311拍摄的内视镜图像上，并将叠加的图像提供给呈现单元114。在步骤S18中，呈现单元114呈现信息。换言之，在呈现单元114上呈现由眼内内视镜121拍摄的内视镜图像和与由姿势估计单元323估计的姿势对应的图像。
外科医生132可以基于所呈现的信息确认内视镜121的姿势。因此，外科医生132可以根据需要操作眼内内视镜121，以确认期望的部分，并且操作手术工具122，从而安全地进行手术。
<2、第二实施方式>
在第一实施方式中，在眼内内视镜121的***单元121A上显示标记171，并且观察标记171，从而估计眼内内视镜121的姿势。在第二实施方式中，根据来自眼内内视镜121的外部的特征量来估计姿势，而不添加标记171。在下文中，将参考图7描述第二实施方式。
图7是用于说明根据本技术的实施方式的眼睛手术的示图。图7示出了眼内内视镜121的***单元121A从套管针(trocar)404***到被实施手术的眼睛151的状态。粗手柄401经由截锥形接合部402附接到与眼内内视镜121的细的***单元121A相对的一侧。手柄401设置有用于防止滑动的边缘，并且电缆403连接到其上。
根据第二实施方式的手术***100的配置基本上与第一实施方式的配置相同。然而，改变视角，使得可以拍摄更宽的范围，例如，与第一实施方式的情况相比，通过将手术显微镜112设置在远离被实施手术的眼睛151的位置处。或者，可以使用广角镜头。然后，拍摄除了***单元121A之外的位于被实施手术的眼睛151外部的构件(下文中称为外部构件)，例如，手柄401、接合部402、电缆403、套管针404等，并且从拍摄的图像中检测并学习外部构件的特征量。当然，可以提供与手术显微镜112分离的成像单元，以便检测外部构件的特征量。因此，在第二实施方式的情况下，特征量数据库324存储从外部构件的特征量估计眼内内视镜121的净化(purification)所需的特征量。
由于第二实施方式的操作类似于第一实施方式的操作，因此省略其描述。在第二实施方式的情况下，由于不需要在眼内内视镜121上显示标记171，因此可以增加使用的眼内内视镜121的种类的数量。
<3、第三实施方式>
图8是用于说明根据本技术的实施方式的眼睛手术的示图。接下来，将参考图8描述第三实施方式。
(1)姿势估计原理
图8示出了被实施手术者131的被实施手术的眼睛151的截面配置，类似于图3中的情况。被实施手术的眼睛151的上部覆盖有角膜161。晶体162进一步存在于角膜161下方的前房164的后面，并且虹膜163存在于其左侧和右侧。此外，视网膜165存在于球形的被实施手术的眼睛151的后面。
将眼内内视镜121的***单元121A***到被实施手术的眼睛151，并拍摄内部状态。另外，手术工具122的***单元122A也***到被实施手术的眼睛151中。在第一实施方式中，在眼内内视镜121的***单元121A上显示标记171。然而，在第三实施方式中，在手术工具122的***单元122A上显示用于确认手术工具122的姿势的标记181。可以利用由手术显微镜112拍摄的显微图像和由眼内内视镜121拍摄的内视镜图像来确认该标记181。
标记181类似于已经参考图4描述的标记171，并且由于描述是多余的，因此将省略其描述。
通过用手术显微镜112拍摄被实施手术的眼睛151来获得显微图像501。可以分析投影在显微图像501上的标记181，使得可以执行用于估计手术工具122相对于手术显微镜112的姿势的姿势估计处理502。
类似地，通过用眼内内视镜121拍摄被实施手术的眼睛151来获得内视镜图像504。可以分析投影在内视镜图像504上的标记181，使得可以执行用于估计手术工具122相对于眼内内视镜121的姿势的姿势估计处理505。
此外，通过对手术工具122相对于手术显微镜112的姿势和手术工具122相对于眼内内视镜121的姿势执行姿势转换处理503，可以获得眼内内视镜121相对于手术显微镜112的相对姿势。
在呈现单元114上显示由眼内内视镜121拍摄的内视镜图像504和表示眼内内视镜121的已经估计的姿势的图形图像507和508。稍后描述表示姿势的图形图像507和508的细节，作为姿势信息。在此处，以被实施手术的眼睛151的截面形状的图形显示表示眼内内视镜121的姿势的图形图像507和508。
(2)手术***7的功能块
图9是示出本技术的手术***的功能配置的方框图。如图9所示，手术显微镜112具有驱动单元301和拍摄单元302，并且眼内内视镜121具有拍摄单元311，类似于图5的第一实施方式的情况。此外，图像处理装置113具有处理来自成像单元302的信号的获取单元321、标记检测单元322、姿势估计单元323和特征量数据库324，也类似于第一实施方式的情况。此外，图像处理装置113具有获取眼内内视镜121的成像单元311的输出的获取单元325以及将获取单元325的输出叠加在姿势信息上的叠加单元326，类似于第一实施方式的情况。
在根据图9所示的第三实施方式的图像处理装置113中，不仅提供了获取单元321、标记检测单元322和姿势估计单元323作为用于处理来自手术显微镜112的成像单元302的信号的***，还提供了用于处理来自眼内内视镜121的信号的***。换言之，提供获取单元325、标记检测单元601和姿势估计单元602作为用于处理来自眼内内视镜121的成像单元311的信号的***。
获取单元325获取通过眼内内视镜121的拍摄单元311拍摄而获得的内视镜图像的图像信号。标记检测单元601从由获取单元325获取的内视镜图像的图像信号中检测标记181。姿势估计单元602根据由标记检测单元601检测到的标记181的拍摄状态来估计手术工具122的姿势。
特征量数据库324不仅存储在手术工具122的***单元122A上显示的标记181相对于手术显微镜112的姿势的特征量，而且还存储标记181相对于眼内内视镜121的姿势的特征量。然后，与姿势估计单元323检测手术工具122相对于手术显微镜112的姿势的情况类似，姿势估计单元602检测手术工具122相对于眼内内视镜121的姿势。
此外，图像处理装置113设置有执行姿势转换处理503的操作单元603。通过由姿势估计单元323估计的手术工具122相对于手术显微镜112的姿势和由姿势估计单元602估计的手术工具122相对于眼内内视镜121的姿势，操作单元603操作眼内内视镜121相对于手术显微镜112的姿势。
叠加单元326叠加表示从操作单元603提供的眼内内视镜121的姿势的图像和由获取单元325获取的眼内内视镜121的内视镜图像，并将叠加的图像输出到呈现单元114以进行呈现。
(3)图像处理
接下来，将参考图10描述图9的手术***100的操作。图10是用于说明本技术的图像处理的流程图。
在步骤S51中，获取单元321获取显微图像。将所获取的显微图像的图像信号提供给标记检测单元322。即，通过驱动单元301预先设置在预定位置的成像单元302拍摄被实施手术的眼睛151。如图8所示，当手术工具122的***单元122A***到被实施手术的眼睛151时，标记181出现在所获取的显微图像中。
在步骤S52中，标记检测单元322检测手术工具122。换言之，从由手术显微镜112的拍摄单元302拍摄的获取的显微图像中检测手术工具122。在步骤S53中，标记检测单元322确定检测是否成功。在未检测到标记181的情况下，处理返回到步骤S51。即，重复从所获取的图像检测标记181的处理。
在标记181的检测成功的情况下，标记检测单元322将检测结果提供给姿势估计单元323。在步骤S54中，姿势估计单元323估计从手术显微镜112看到的手术工具122的姿势。
换言之，如参考图4所述，通过用手术显微镜112拍摄手术工具122而获得的显微图像中的标记181的状态根据手术工具122的姿势而变化。对应于任意旋转角度的标记181的图像存储在特征量数据库324中，并且可以通过从存储的标记181的图像检索与观察的标记181的图像对应的图像，来估计从手术显微镜112观察的手术工具122的旋转角度。
可以通过求解PNPP来估计位置和朝向。换言之，执行与图6中的步骤S14相同的处理。
在步骤S55中，姿势估计单元323确定估计是否成功。在未估计到手术工具122的姿势的情况下，处理返回到步骤S51，并且重复步骤S51和后续步骤中的处理。
在可以估计手术工具122的姿势的情况下，处理进入步骤S56。
在步骤S56中，获取单元325获取内视镜图像。将所获取的内视镜图像的图像信号提供给标记检测单元601。即，通过外科医生的操作，设置在预定位置的眼内内视镜121的成像单元311拍摄被实施手术的眼睛151的预定部分。如图8所示，当手术工具122的***单元122A***到被实施手术的眼睛151时，标记181出现在所获取的内视镜图像中。
在步骤S57中，标记检测单元601检测手术工具122。换言之，从由眼内内视镜121的拍摄单元311拍摄的所获取的内视镜图像中检测手术工具122。在步骤S58中，标记检测单元601确定检测是否成功。在未检测到标记181的情况下，处理返回到步骤S56。即，重复从所获取的内视镜图像检测标记181的处理。
在标记181的检测成功的情况下，标记检测单元601将检测结果提供给姿势估计单元602。在步骤S59中，姿势估计单元602估计从眼内内视镜121看到的手术工具122的姿势。
换言之，如参考图4所述，通过用眼内内视镜121拍摄手术工具122而获得的图像中的标记181的状态根据手术工具122的姿势而变化。对应于任意旋转角度的标记181的图像存储在特征量数据库324中，并且可以通过从存储的标记181的图像检索与观察的标记181的图像对应的图像，来估计从眼内内视镜121观察的手术工具122的旋转角度。
可以通过求解PNPP来估计位置和朝向。换言之，执行与图6中的步骤S14和图10中的步骤S54相同的处理。
在步骤S60中，姿势估计单元602确定估计是否成功。在未估计到手术工具122的姿势的情况下，处理返回到步骤S56，并且重复步骤S56和后续步骤中的处理。
注意，可以以相反的顺序执行步骤S51至S55中的手术显微镜112的显微图像的处理和步骤S56至S60中的眼内内视镜121的内视镜图像的处理。实际上，同时进行这些处理。
在步骤S60中可以估计到从眼内内视镜121看到的手术工具122的姿势的情况下，即，从手术显微镜112看到的手术工具122的姿势和从眼内内视镜121看到的手术工具122的姿势，接下来执行步骤S61的处理。在步骤S61中，操作单元603操作从手术显微镜112看到的眼内内视镜121的姿势。换言之，将从手术显微镜112看到的手术工具122的姿势和从眼内内视镜121看到的手术工具122的姿势转换为从手术显微镜112看到的眼内内视镜121的姿势。
在步骤S62中，操作单元603生成姿势信息。换言之，生成与操作姿势对应的姿势信息。稍后将参考图11至14描述该姿势信息的细节。
在步骤S63中，叠加单元326执行叠加处理。换言之，叠加单元326将与由操作单元603操作的姿势对应的图像叠加在由获取单元325获取的眼内内视镜121的成像单元311拍摄的内视镜图像上，并将叠加图像提供给呈现单元114。在步骤S64中，呈现单元114呈现信息。换言之，在呈现单元114上呈现由眼内内视镜121拍摄的内视镜图像和与由操作单元603操作的姿势对应的图像。
外科医生132可以基于所呈现的信息确认内视镜121的姿势。因此，外科医生132可以通过对眼内内视镜121适当地施加必要的操作来安全地进行手术。
注意，由于血管导致视网膜165自身具有特征图案，因此该图案可以用作特征点，而不是手术工具122。
<4、姿势信息>
接下来，将参考图11至14描述姿势信息。外科医生132可以通过查看姿势信息来检查眼内内视镜121的姿势并适当地操作眼内内视镜121。图11至14是示出本技术的姿势信息的示例的示图。
在图11的示例中，呈现指示特定方向的图形来作为姿势信息。在图11的A中，显示通过利用眼内内视镜121拍摄而获得的内视镜图像611。在内视镜图像611中示出了手术工具122。在内视镜图像611的***端部附近，显示箭头的图形701作为姿势信息。该箭头的图形701表示眼内内视镜121的重力方向，即，在该示例中，如果眼内内视镜121未旋转，则箭头的图形701指向下方。因此，外科医生132可以识别出眼内内视镜121从图11的A沿顺时针方向稍微旋转。
在图11的B的示例中，在已知三维方向的图形702中显示诸如指示重力方向的方位磁体等指标。利用该显示，不仅可以识别在与呈现单元114的显示表面平行的平面中的旋转角度(侧倾角)，而且可以识别在与呈现单元114的显示表面垂直的平面中的旋转角度(俯仰角度)。
注意，除了重力方向之外，特定方向可以是外科医生132指定的方向、天花板的方向、手术显微镜112的方向等。
在仅已知旋转角度的情况下，外科医生132可以在预定的时间指示特定方向所处的角度，使得该偏差用作呈现的参考。此外，在已知手术显微镜112和眼内内视镜121的相对位置和姿势的情况下，可以从手术显微镜112的位置来计算特定方向作为参考。
此外，可以呈现从手术显微镜112的显微图像检测到的手术工具122的方向，或者可以将诸如被实施手术的眼睛151的中心凹(fovea)等参考部分设置为特定方向。在这种情况下，可以使用如图11的B所示的三维姿势信息。
在图12中，示出了与特定方向的偏差量。在图12的A中，在内视镜图像611的***端部上显示0°到360°侧倾角的刻度。然后，在与眼内内视镜121的旋转角度对应的角度位置处显示直线711。外科医生132可以从由直线711指示的刻度上的角度中识别眼内内视镜121的侧倾角。
在图12的B中，示出了直线711，以便可以看到基于水平方向的侧倾角。然而，不显示侧倾角标度(表示角度的数字)。由于水平方向是参考方向，因此可以直观地识别侧倾角。
在内视镜图像611的左右端部附近，在上下方向上显示表示到视网膜的距离的刻度722。在与眼内内视镜121的远端121B和视网膜165之间的距离对应的位置处显示箭头的图形721。因此，外科医生132可以读取由箭头指示的图形721指示的刻度值，以知道眼内内视镜121的位置(换言之，从尖端121B到视网膜165的位置)，使得不易损坏视网膜165。
此外，在内视镜图像611下方显示基于被实施手术者131的头部131A的角度的刻度732。箭头的图形731表示从眼内内视镜121的头部131A的参考位置(例如，穿过头部131A的顶部的中心线)的角度。
也可以在眼球模型信息中呈现眼内内视镜121的位置和朝向。图13和14示出了这种情况的示例。可以基于预先用于光学相干断层扫描(OCT)拍摄等的实际三维图像来创建眼球模型，或者可以使用一般眼球模型。
在图13的示例中，通过眼球模型的示意性剖视图显示信息。即，图形801表示眼球模型的垂直方向上的截面，并且在图形801中显示对应于眼内内视镜121的位置和朝向的图形802。图形811表示在眼球模型的水平方向上的截面，并且在图形811中显示与眼内内视镜121的位置和朝向对应的图形812。外科医生132可以从这些图形801和802中识别眼内内视镜121的位置和朝向。
图14示出了基于眼球模型的姿势信息的三维显示的示例。在该示例中，在三维眼球模型901上显示对应于眼内内视镜121的位置和朝向的图形902。同样，在该示例中，外科医生132可以识别眼内内视镜121的位置和朝向。
如上所述，根据本技术，可以看到内视镜图像的朝向和眼内内视镜121的位置和姿势。结果，提高了可操作性，并且可以进行安全操作。即使是初学者也可以在短时间内轻松使用并学习操作。此外，缩短了手术时间。
不需要设置特定的传感器，提高了眼内内视镜121的***单元121A(纤维部分)的抗变形性。另外，不会阻碍缩小直径。
尽管上面已经描述了本技术的实施方式，但是本技术不限于这些实施方式，并且可以进行各种修改。
<5、其他>
还可以如下配置本技术。
(1)一种图像处理装置，包括：
获取单元，获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像；
估计单元，基于由所述获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势；以及
输出单元，输出与已估计的姿势相关联的姿势信息。
(2)根据以上(1)所述的图像处理装置，其中，
所述手术构件是眼内内视镜。
(3)根据以上(1)或(2)所述的图像处理装置，其中，
所述输出单元将所述姿势信息叠加在由所述眼内内视镜输出的内视镜图像上并且输出所叠加的图像。
(4)根据以上(1)、(2)或(3)所述的图像处理装置，其中，
所述姿势包括位置、朝向和旋转角度中的至少一个。
(5)根据以上(1)至(4)中任一项所述的图像处理装置，其中，
所述姿势信息包括表示位置、朝向或刻度上的旋转角度的图形。
(6)根据以上(1)至(5)中任一项所述的图像处理装置，其中，
所述姿势信息包括眼球模型的截面图或三维视图。
(7)根据以上(1)至(6)中任一项所述的图像处理装置，其中，
在所述手术构件上显示标记，并且
所述估计单元基于由所述获取单元获取的显微图像的标记来估计所述手术构件在所述手术对象中的相对姿势。
(8)根据以上(1)至(7)中任一项所述的图像处理装置，其中，
所述获取单元获取从作为所述手术对象的被实施手术的眼睛的外部拍摄的所述眼内内视镜的图像，并且
所述估计单元基于所述眼内内视镜的未***到所述被实施手术的眼睛的部分的特征量来估计所述眼内内视镜在所述被实施手术的眼睛中的相对姿势。
(9)根据以上(1)至(8)中任一项所述的图像处理装置，其中，
所述手术构件是显示标记的手术工具，
所述获取单元获取显示所述标记的所述手术工具的显微图像和眼内内视镜的内视镜图像，
所述估计单元估计显示所述标记的所述手术工具与所述手术显微镜之间的相对姿势，并且还估计显示所述标记的所述手术工具与所述眼内内视镜之间的相对姿势，并且
所述图像处理装置还包括操作单元，所述操作单元根据所述手术工具和所述手术显微镜之间的相对姿势以及所述手术工具和所述眼内内视镜之间的相对姿势来操作所述手术显微镜和所述眼内内视镜之间的相对姿势。
(10)一种图像处理方法，包括：
获取通过用手术显微镜拍摄***到手术对象并具有在***单元中显示标记的手术构件而获得的显微图像的步骤；
基于由获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势的步骤；以及
输出与已估计的姿势相关联的姿势信息的步骤。
(11)一种手术***，包括：
手术显微镜，拍摄手术对象；
获取单元，获取通过用所述手术显微镜拍摄***到所述手术对象的手术构件而获得的显微图像；
估计单元，基于由所述获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势；以及
输出单元，输出与已估计的姿势相关联的姿势信息。(12)一种手术构件，其***到被实施手术者的被实施手术的眼睛并用于所述被实施手术的眼睛的手术，其中，
在***到所述被实施手术的眼睛的***单元中显示通过手术显微镜能够观察的标记。
附图标记列表
100 手术***
111 手术台
112 手术显微镜
113 图像处理装置
114 呈现单元
121 眼内内视镜
122 手术工具
131 被实施手术者
131A 头部。

Claims (12)

1.一种图像处理装置，包括：
获取单元，获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像；
估计单元，基于由所述获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势；以及
输出单元，输出与已估计的姿势相关联的姿势信息。
2.根据权利要求1所述的图像处理装置，其中，
所述手术构件是眼内内视镜。
3.根据权利要求2所述的图像处理装置，其中，
所述输出单元将所述姿势信息叠加在由所述眼内内视镜输出的内视镜图像上并且输出所叠加的图像。
4.根据权利要求3所述的图像处理装置，其中，
所述姿势包括位置、朝向和旋转角度中的至少一个。
5.根据权利要求4所述的图像处理装置，其中，
所述姿势信息包括表示位置、朝向或刻度上的旋转角度的图形。
6.根据权利要求5所述的图像处理装置，其中，
所述姿势信息包括眼球模型的截面图或三维视图。
7.根据权利要求1所述的图像处理装置，其中，
在所述手术构件上显示标记，并且
所述估计单元基于由所述获取单元获取的显微图像的标记来估计所述手术构件在所述手术对象中的相对姿势。
8.根据权利要求2所述的图像处理装置，其中，
所述获取单元获取从作为所述手术对象的被实施手术的眼睛的外部拍摄的所述眼内内视镜的图像，并且
所述估计单元基于所述眼内内视镜的未***到所述被实施手术的眼睛的部分的特征量来估计所述眼内内视镜在所述被实施手术的眼睛中的相对姿势。
9.根据权利要求1所述的图像处理装置，其中，
所述手术构件是显示标记的手术工具，
所述获取单元获取显示所述标记的所述手术工具的显微图像和眼内内视镜的内视镜图像，
所述估计单元估计显示所述标记的所述手术工具与所述手术显微镜之间的相对姿势，并且还估计显示所述标记的所述手术工具与所述眼内内视镜之间的相对姿势，并且
所述图像处理装置还包括操作单元，所述操作单元根据所述手术工具和所述手术显微镜之间的相对姿势以及所述手术工具和所述眼内内视镜之间的相对姿势来操作所述手术显微镜和所述眼内内视镜之间的相对姿势。
10.一种图像处理方法，包括：
获取通过用手术显微镜拍摄***到手术对象的手术构件而获得的显微图像的步骤；
基于由获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势的步骤；以及
输出与已估计的姿势相关联的姿势信息的步骤。
11.一种手术***，包括：
手术显微镜，拍摄手术对象；
获取单元，获取通过用所述手术显微镜拍摄***到所述手术对象的手术构件而获得的显微图像；
估计单元，基于由所述获取单元获取的显微图像来估计所述手术构件在所述手术对象中的相对姿势；以及
输出单元，输出与已估计的姿势相关联的姿势信息。
12.一种手术构件，其***到被实施手术者的被实施手术的眼睛并用于所述被实施手术的眼睛的手术，其中，
在***到所述被实施手术的眼睛的***单元中显示通过手术显微镜能够观察的标记。
CN201780009856.7A 2016-03-30 2017-03-16 图像处理装置和方法、手术***和手术构件 Expired - Fee Related CN108601670B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-067416 2016-03-30
JP2016067416 2016-03-30
PCT/JP2017/010579 WO2017169823A1 (ja) 2016-03-30 2017-03-16 画像処理装置および方法、手術システム並びに手術用部材

Publications (2)

Publication Number Publication Date
CN108601670A true CN108601670A (zh) 2018-09-28
CN108601670B CN108601670B (zh) 2021-03-23

Family

ID=59964420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009856.7A Expired - Fee Related CN108601670B (zh) 2016-03-30 2017-03-16 图像处理装置和方法、手术***和手术构件

Country Status (5)

Country Link
US (1) US11135020B2 (zh)
EP (1) EP3437593B1 (zh)
JP (1) JPWO2017169823A1 (zh)
CN (1) CN108601670B (zh)
WO (1) WO2017169823A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514553B2 (en) 2018-05-30 2022-11-29 Sony Corporation Image processing device, image processing method, and intraocular image processing system
CN115697178A (zh) * 2020-10-27 2023-02-03 瑞德医疗机器股份有限公司 手术支援装置

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US20190125320A1 (en) 2017-10-30 2019-05-02 Ethicon Llc Control system arrangements for a modular surgical instrument
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11141160B2 (en) 2017-10-30 2021-10-12 Cilag Gmbh International Clip applier comprising a motor controller
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11464532B2 (en) 2018-03-08 2022-10-11 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11197668B2 (en) 2018-03-28 2021-12-14 Cilag Gmbh International Surgical stapling assembly comprising a lockout and an exterior access orifice to permit artificial unlocking of the lockout
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
WO2022091211A1 (ja) * 2020-10-27 2022-05-05 リバーフィールド株式会社 手術支援装置
JP7026988B1 (ja) * 2020-10-27 2022-03-01 リバーフィールド株式会社 手術支援装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005304633A (ja) * 2004-04-19 2005-11-04 Kunihiro Musashi 眼内観察用内視鏡
US20100168763A1 (en) * 2008-12-31 2010-07-01 Intuitive Surgical, Inc. Configuration marker design and detection for instrument tracking
US20150173644A1 (en) * 2013-12-19 2015-06-25 Alcon Research, Ltd. Marker-Based Tool Tracking
CN104869922A (zh) * 2012-12-17 2015-08-26 爱尔康研究有限公司 用于与眼部外科手术操作台一起使用的可佩戴用户接口
CN104936548A (zh) * 2013-01-28 2015-09-23 奥林巴斯株式会社 医疗用机械手和医疗用机械手的控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6656110B1 (en) * 1997-04-16 2003-12-02 Karl Storz Gmbh & Co. Kg Endoscopic system
JPH10328126A (ja) * 1997-05-30 1998-12-15 Asahi Optical Co Ltd 眼科用内視鏡
JP2014155592A (ja) 2013-02-15 2014-08-28 Canon Inc 内視鏡システム
JP6141115B2 (ja) 2013-06-20 2017-06-07 オリンパス株式会社 親子式内視鏡システムにおける子内視鏡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005304633A (ja) * 2004-04-19 2005-11-04 Kunihiro Musashi 眼内観察用内視鏡
US20100168763A1 (en) * 2008-12-31 2010-07-01 Intuitive Surgical, Inc. Configuration marker design and detection for instrument tracking
CN104869922A (zh) * 2012-12-17 2015-08-26 爱尔康研究有限公司 用于与眼部外科手术操作台一起使用的可佩戴用户接口
CN104936548A (zh) * 2013-01-28 2015-09-23 奥林巴斯株式会社 医疗用机械手和医疗用机械手的控制方法
US20150173644A1 (en) * 2013-12-19 2015-06-25 Alcon Research, Ltd. Marker-Based Tool Tracking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514553B2 (en) 2018-05-30 2022-11-29 Sony Corporation Image processing device, image processing method, and intraocular image processing system
CN115697178A (zh) * 2020-10-27 2023-02-03 瑞德医疗机器股份有限公司 手术支援装置
CN115697178B (zh) * 2020-10-27 2024-05-10 瑞德医疗机器股份有限公司 手术支援装置

Also Published As

Publication number Publication date
EP3437593A1 (en) 2019-02-06
US20190038364A1 (en) 2019-02-07
US11135020B2 (en) 2021-10-05
JPWO2017169823A1 (ja) 2019-02-07
CN108601670B (zh) 2021-03-23
WO2017169823A1 (ja) 2017-10-05
EP3437593B1 (en) 2022-05-04
EP3437593A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN108601670A (zh) 图像处理装置和方法、手术***和手术构件
JP6709796B2 (ja) 手術室及び手術部位認識
CN106456148B (zh) 使用眼球凝视跟踪的医疗装置、***和方法
KR102512876B1 (ko) 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
CN103211563B (zh) 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与***
JP5511516B2 (ja) 眼科装置
WO2016190113A1 (ja) 手術システム、並びに画像処理装置および方法
Noonan et al. Gaze contingent articulated robot control for robot assisted minimally invasive surgery
US20220280338A1 (en) Positioning device
JP2004041778A (ja) 体腔内観察システム
Tong et al. A retrofit eye gaze tracker for the da Vinci and its integration in task execution using the da Vinci Research Kit
JP7408504B2 (ja) 少なくとも１つのトロカールポイントの相対位置を提供するための眼科外科手術システム及びコンピュータ実装方法
WO2009027088A9 (en) Augmented visualization in two-dimensional images
JP5570673B2 (ja) 眼科装置
WO2015158756A1 (en) Method and device for estimating an optimal pivot point
EP3533381A1 (en) Control device for endoscope system and control method for endoscope system
von Pichler et al. Stereoscopic visualization in endoscopic surgery: problems, benefits, and potentials
Palma et al. Comparative evaluation of monocular augmented-reality display for surgical microscopes
Clancy et al. Gaze-contingent autofocus system for robotic-assisted minimally invasive surgery
US11083369B2 (en) Eye surgery system and method for preparing interventions within the scope of eye operations
JP2002045372A (ja) 手術ナビゲーション装置
EP4179954A1 (en) Surgery assisting device
JP2023510168A (ja) 腹腔鏡外科手術システム校正器とその使用方法
JP2022510018A (ja) 眼科手術用医療装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323

CF01 Termination of patent right due to non-payment of annual fee