CN106456267B - 器械在视野中的定量三维可视化 - Google Patents

器械在视野中的定量三维可视化 Download PDF

Info

Publication number
CN106456267B
CN106456267B CN201580024441.8A CN201580024441A CN106456267B CN 106456267 B CN106456267 B CN 106456267B CN 201580024441 A CN201580024441 A CN 201580024441A CN 106456267 B CN106456267 B CN 106456267B
Authority
CN
China
Prior art keywords
instrument
endoscope
view
target
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580024441.8A
Other languages
English (en)
Other versions
CN106456267A (zh
Inventor
D·潘埃斯库
D·H·琼斯
C·艾伦比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202010137786.7A priority Critical patent/CN111184577A/zh
Publication of CN106456267A publication Critical patent/CN106456267A/zh
Application granted granted Critical
Publication of CN106456267B publication Critical patent/CN106456267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/06—Needles ; Sutures; Needle-suture combinations; Holders or packages for needles or suture materials
    • A61B17/062—Needle manipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

提供一种***，其包括Q3D内窥镜和处理器，Q3D内窥镜被设置成对视野进行成像，处理器产生场景的Q3D模型并且识别目标器械和结构。处理器经配置显示来自器械的虚拟视野的场景，以确定围绕目标的禁飞区，从而确定所述器械的预测路径或者提供所述器械的3D追踪。

Description

器械在视野中的定量三维可视化
相关申请
本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“器械在视野中的定量三维可视化(QUANTITATIVE THREE-DIMENSIONAL VISUALIZATION OF INSTRUMENTS IN A FIELD OFVIEW)”的美国临时专利申请No.62/096,509的优先权的利益，所述专利申请的全部内容以引用方式并入本文。
技术领域
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查***，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、 y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D***，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D***已经使用结构光来确定关于场景的3D信息。
飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC (CMOS-compatible three-dimensional image sensor IC)”的美国专利No. 6,323,942中有所公开，该专利公开了三维成像***，该***包括使用CMOS 制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与***发出的脉冲的飞行时间 (TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。
延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法 (Apparatusand method for endoscopic 3D data collection)”的美国专利No. 8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。
使用结构光以确定对象在可视化图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz 等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”，Medical Image Analysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。
已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的***和方法(Systems and Methods for Determining Depth from multiple Views of a S cenethat Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。
图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188 中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。
图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到 S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的***电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。
图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜 806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814 (通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。
关于上述已知的成像器传感器排列架构的附加信息在美国申请No.U.S 8,514,491 B2(提交于2010年11月22日)和美国专利申请公开No.U.S 2013/0070060 A1(提交于2012年9月19日)中有所提供。
发明内容
在一方面，***确定通过内窥镜的Q3D传感器成像的场景的Q3D模型。确定Q3D模型内的目标器械的3D坐标。确定内窥镜姿态的几何变换以使其与所识别的目标器械的姿态对齐。基于该几何变换，对解剖结构的Q3D模型进行变换，以便根据目标器械的姿态为观察者提供虚拟视图。
在另一方面，Q3D***确定邻近Q3D模型内的至少一个目标的“禁飞区 (no flyzone，NFZ)”。至少部分地基于第一目标与第二目标之间的最近距离是否小于阈值距离，作出关于“禁飞区”是否被侵犯(violate)的确定。响应于确定第一目标与第二目标之间的最近距离小于阈值距离，提供输出信号。所述目标可以是器械、结构或解剖器官。
在另一方面，Q3D***识别成像场景内的器械。至少部分地基于来自所识别的器械所遵循的先前路径的外推或者至少部分地基于所识别的器械的延伸，来确定所识别的器械的预测路径。
在另一方面，Q3D***识别场景内的目标器械。在场景的可视化3D表示中产生标记，所述标记指示所识别的目标器械在场景的可视化3D表示内的 Q3D位置。
附图说明
当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。
图1为示出已知成像器传感器的细节的示意图。
图2为示出图1的成像器传感器的已知传感器布置的简化平面图的示意图。
图3为像素在图2的传感器阵列的传感器内的已知微透镜像素堆叠的示意图。
图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。
图5为根据一些实施例的远程操作手术***的示意方框图，该***使用一个或多个机械臂来执行微创手术程序。
图6为根据一些实施例的图5的***的患者侧***的示意透视图。
图7A为根据一些实施例的第一内窥镜的示意图，第一内窥镜包括第一图像捕捉***。
图7B为根据一些实施例的第二内窥镜的示意图，第二内窥镜包括第二图像捕捉***。
图8为示出根据一些实施例的与包括图7A的第一图像捕捉***的第一内窥镜相关联的控制块，并且示出操作中的***的示意方框图。
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。
图10为示出根据一些实施例的通常对应于模块图9以***地选择目标的过程的某些细节的示意流程图。
图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。
图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。
图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI) 的示意图。
图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。
图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右移位以与ROI内的指定基准传感器中的投影图像对齐。
图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。
图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。
图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。
图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。
图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。
图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。
图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。
图25为示出根据一些实施例的Q3D内窥镜的透视图的示意图，Q3D内窥镜与图像传感器阵列相关联，并且具有包括手术器械的一部分和一个或更多个解剖结构的视野。
图26为表示将来自内窥镜观察视角的Q3D场景转换成来自内窥镜观察视角内的目标器械的视角的Q3D场景。
图27A至图27C为表示根据一些实施例的虚拟取向变换(图27A)、虚拟位置变换(图27B)和所得的虚拟对齐(图27C)的示意图。
图28A至图28B为根据一些实施例的来自内窥镜顶端的视角(图28A) 和来自目标手术器械的视角(图28B)的手术场景的示例Q3D视图。
图29为示出根据一些实施例的处理器的细节的示意图，处理器将Q3D 模型的3D透视图显示3D显示器上。
图30A至图30B为根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜的示例性透视图和内窥镜视野(FOVe)内的器械的透视图，从而显示围绕器械中的一个的相应禁飞区。
图31为表示根据一些实施例的限定禁飞区并且确定是否已经侵犯禁飞区的过程的示意流程图。
图32为示出根据一些实施例的具有内窥镜视野(FOVe)的Q3D内窥镜和在观察轨迹上的多个不同位置处观察到的手术器械的一部分以及设置在 FOVe内的手术场景中的解剖结构的示意图。
图33为表示根据一些实施例的追踪Q3D场景中的观察路径上的目标器械，并且确定预测路径和预测接触位置的过程的示意流程图。
图34示出根据一些实施例的场景的示例3D可视化表示和利用可视化标记进行标记的在解剖结构上的预测接触位置，在所述场景中，示出第三位置中的目标器械。
图35为表示根据一些实施例的多个不同观察路径中的示例手术场景和对应的预测路径，以及接触位置加上期望接触位置的示意图。
图36为示出根据一些实施例的手术场景的3D视图的示意图，手术场景包括缝合器和预测路径，预测路径表示缝合线和刀槽的延伸。
图37为示出根据一些实施例的具有内窥镜视野(FOVe)的Q3D内窥镜和在多个不同位置处示出的手术器械的一部分，以及设置在FOVe内的手术场景中的解剖结构的示意图。
图38A至图38C为表示根据一些实施例的目标器械的位置从在第一时间点时的位置(图38A)到第二时间点时的位置(图38B)到第三时间点时的位置(图38C)的变化的示意图。
图39为表示根据一些实施例的追踪Q3D中的目标器械的过程的示意流程图。
图40为示出与根据一些实施例的场景中的示例3D可视化表示的示意图，在所述场景中，示出与可视化标记相关联的处于第二位置中的目标器械。
具体实施方式
给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查***，该***具有多个图像传感器，每个传感器包括与其他传感器的像素阵列分离的像素阵列，以便确定图像传感器视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所限定的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机***可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机***的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。
简要概述
根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分***人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。
图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察***可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400 和目标410之间的场景内。
远程操作医疗***
远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗***中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机***安装在内窥镜上并且包括成像器传感器阵列，所述相机***提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。
图5为根据一些实施例的远程操作手术***100的示意方框图，***100 使用一个或多个机械臂158来执行微创手术程序。***100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备 101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C 可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。
用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164 来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作的内窥镜手术器械101A至101C的移动，从而使用患者侧***152 (也称为“患者侧推车”)来影响器械的移动。
患者侧***152包括一个或多个远程操作的机械臂158。通常，患者侧***152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂(set-up arm)156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和 158B分别可以支撑可操纵组织的器械101A和器械101B。
图6为根据一些实施例的患者侧***152的示意透视图。患者侧***152 包括通过基座172支撑的推车柱170。一个或多个远程操作的机械操纵器手术臂/连杆158分别附接到一个或多个组合臂156，组合臂156是患者侧***152 的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子***和制动子***的部件远离污染物的保护罩180。
除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。
机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪***辅助精确的远程操作控制以及器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。
关于远程操作医疗***的附加信息在美国专利No.5,631,973(提交于 1994年5月5日)、No.5,696,837(提交于1995年4月20日)、No.5,814,038 (提交于1997年3月27日)以及US 7,155,315 B2(提交于2005年12月12 日)以及在美国专利申请公开No.US 2012/0020547(提交于2011年9月30 日)中有所提供。
内窥镜成像器***
图7A为根据一些实施例的带有第一图像捕捉***101C的第一内窥镜的示意图。图像捕捉***101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成***人体体腔中。包括多个图像传感器(未示出) 的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出) 互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。
图7B为根据一些实施例的带有第二图像捕捉***101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉***101C的第一内窥镜相同的第二图像捕捉***101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器阵列210移置到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。
图8为示出根据一些实施例的与带有图7A的第一图像捕捉***101C的第一内窥镜101相关联的控制块，并且示出操作中的***的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器 104，视频处理器104经由总线105与控制器106进行通信。视频处理器104 可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD 处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。
根据一些实施例，包括一个或多于一个处理器的处理器***经配置执行处理器功能。在一些实施例中，处理器***包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器***，在处理器***中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。
在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在显示器110上，显示器110可以为内窥镜显示器或体积的(例如，全息的)3D显示器。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。
数据总线107和数据总线108交换信息并且控制视频处理器104、控制器 106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120 可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。
输入***112接收3D可视化表示并且将其提供给处理器106。输入*** 112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成 3D模型的***(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D可视化表示之间的预期对齐。更具体地，但不限于，输入***112可以包括处理器，处理器经配置在***152和成像***(未示出)(诸如MRI、CT或超声波成像***)之间建立以太网通信连接。可以使用其他成像***。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，***152和成像***可以结合在一个更大的***中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或***或如图25所显示的流程提供进一步的操纵。
添加到场景图像的Q3D信息的示例
再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312 包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧观察元件410L和右侧观察元件401R中的任何器械400和目标410。观察元件中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色 LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与 Q3D***一起使用。替代地，Q3D成像***可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。
具有两个观察元件401R、401L的观察***可以提供优良的3D观察透视图。Q3D成像***使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查***结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410 之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。.
可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察***的说明在美国专利申请公开No.US 2012/0020547(提交于2011年 9月30日)的第0043至0053段和对应附图中有所提供，其以引用方式明确地并入本文。
处理定量三维物理信息
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉***101C的内窥镜进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中***地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404 处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人***152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D可视化表示和Q3D 模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。
应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。
图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，但不限于，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐的三元数组[(NX11，Ny11)、 (Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11，S12和S13]上的投影，则数量
Figure BPA0000231092110000141
和
Figure BPA0000231092110000142
(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(NX11，Ny11)、(Nx12，Ny12)、(Nx13， Ny13)来自相同目标的投影，则
Figure BPA0000231092110000143
和
Figure BPA0000231092110000144
应该是相等的。
Figure BPA0000231092110000145
Figure BPA0000231092110000146
如果
Figure BPA0000231092110000147
和
Figure BPA0000231092110000148
不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，
Figure BPA0000231092110000149
和
Figure BPA00002310921100001410
之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值
Figure BPA00002310921100001411
和
Figure BPA00002310921100001412
应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。
应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z) 坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。
表格1
像素标识符 颜色值 照度值 位置(x，y，z)
确定Q3D信息的示例
投影匹配的示例
根据一些实施例，图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S11至S33的阵列，传感器S11至S33的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。如上所述，阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lensstack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US 8,514,491(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。
根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的 x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以距离δ分开。传感器布置间距δ在整个此格网上可以对称或不对称。
在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至 S33占据底行。每个传感器包括N行像素和N列像素(未示出)。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器，如虚线所指示。为了进行示意性的说明，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。进一步地，应该理解，在一些实施例中，入射在传感器上的光源于对象，诸如在能量源激发的荧光期间，并且反射光的描述包括这种情形。
根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。
根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域(ROI)的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时可视化影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记(参见例如，美国专利No.US 7,907,166 B2(提交于2005年12月30日))。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域。
根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标对象的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。应该认识到，由于传感器S12、S11的视野(FOV)观察轴各自偏移到传感器S13的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S11在传感器S13和传感器S12中向左偏移。
图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。
具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他变换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。
根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA) 可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI 内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中 ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。
候选像素选择和精确化的示例
根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z) 目标点位置。
应该认识到，一系列的目标点可以通过***地遍历ROI(例如，以特定的步长大小从右向左并且以特定的步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和 S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。
换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、 S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的 S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。
继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、 (Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的
Figure BPA0000231092110000181
和
Figure BPA0000231092110000182
作为模块402.5的一部分。作为模块402.6的一部分，计算范数
Figure BPA0000231092110000183
并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。
参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。
如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。
为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。
参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y 和z物理坐标。
目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y 轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2， ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器 S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图 17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如但不限于，此类坐标系的原点可以放置在传感器S11的几何中心处。
参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在三个传感器中均落在距原点相同的x像素距离处。
参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器 S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z) 物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z 处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。
如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。
确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例
根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：
Figure BPA0000231092110000201
Figure BPA0000231092110000202
Figure BPA0000231092110000203
其中：
N为成像传感器的像素维度；
nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；
ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；以及
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；
θ为视野的角度。
而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：
Figure BPA0000231092110000211
Figure BPA0000231092110000212
Figure BPA0000231092110000213
其中：
nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；以及
ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。
因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6) 来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5) 来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4) 来确定。
更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x， y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T 的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y 值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以限定不同的可接受公差水平。
考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6 的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x 轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x， y，z)作为模块403和模块404的一部分被计算，如下文所述。
确定目标的物理z位置的示例
如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动限定。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202 的远端2081mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0***公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。
|x(3)-x(6)|＜εx (7)
如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值z1。根据一些实施例，自动限定新估计值。例如，z1＝z0+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知***(即，未实时操作)。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。
出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、 S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403 造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。
借助Q3D信息引导内窥镜手术
图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008 配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010 配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。
决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、可视化队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。
图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D 距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B 示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端 400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键) 从而输入器械顶端400L、400R的图像的选择。
再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。
图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。
来自器械顶端的虚拟Q3D透视图
图25为示出Q3D内窥镜2502的透视图的示意图，Q3D内窥镜2502与图像传感器阵列210相关联，并且具有内窥镜视野(FOVe)。图25还示出根据一些实施例的手术器械2506的一部分和设置在视野内的手术场景2508中的一个或更多个解剖结构2508-1、2508-2的透视图。光源2510照亮手术场景 2508。如参考图7A至图7B和图8至图10所解释，图像传感器阵列210被定位成捕捉从内窥镜2502的顶端2512扩展的FOVe内的手术器械2506和解剖结构2508-1、2508-2的图像投影。因此，计算手术场景2508的Q3D模型。如参考图8所解释的，内窥镜2502经由插管穿透人体壁组织或通过自然孔进入人体，并且然后其在患者的体腔内延伸，以便提供可视化入口并且捕捉手术场景2508的图像，手术场景2508包括例如目标、手术器械2406和患者体腔内部的解剖结构2508-1、2508-2。
图25示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D 内窥镜2502的视野(FOVe)。如图5至图6所示，器械101A至101B和Q3D 内窥镜101C可以在手术介入期间通过不同的插管进行部署。手术介入可以包括远程操作医疗***的使用，或者其可以为手动的微创介入，或者其可以为开放手术介入或其组合。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOVe)通过观察器312对外科医生可见。图6参考使用机器人技术的远程操作手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C和器械101A至101B的布置。
出于说明的目的，所示目标手术器械2506具有呈针驱动器形式的端部执行器，诸如用于DA VINCI
Figure BPA0000231092110000261
手术***的ENDO
Figure BPA0000231092110000262
Mega针驱动器器械。然而，在手术介入期间，可以使用替代的端部执行器实施不同的手术器械功能，诸如例如剪刀、抓紧器、解剖刀、烧灼电极、缝合器或施夹器。出于说明的目的，患者体腔内的示例手术场景2508包括具有表示第一解剖组织结构的球形形状的第一解剖目标2508-1，和具有表示第二解剖组织结构的棱锥形状的第二解剖目标2508-2。
根据一些实施例，手术场景2508的虚拟Q3D透视图从沿目标手术器械 2506的纵向轴线2514的观察角度产生，目标手术器械2506设置在与内窥镜 2502相关联的传感器阵列的内窥镜FOVe内。做出关于内窥镜2502的取向和定位的变换的确定，以使内窥镜2502与目标手术器械2506的轴线2514对齐。这些取向和定位变换用作场景2508的Q3D渲染的以下变换的基础，即从内窥镜2502的FOVe内的Q3D视图变换到沿手术器械2506的轴线2514的器械视野(FOVi)内的Q3D视图。来自FOVi的手术场景2508的视图可使用图4 的3D观察器312可视化。因此，Q3D信息用于创建静止的或移动的图像，如同图像捕捉设备位于手术器械2506的顶端处，并且具有以类似于视野与专用内窥镜器械对齐的方式(例如，从纵轴线偏移0°，从纵轴线偏移30°等)与手术器械2506的纵轴线对齐的FOVi。替代地，FOVi可以放置在手术器械2506 上的另一位置处，诸如处于或邻接钳口之间的支点。描述该方面的另一方式是考虑内窥镜2502和手术器械2506彼此一致，使得从手术器械2506的视角生成内窥镜图像。
图26为表示根据一些实施例的将来自内窥镜观察视角的Q3D场景转换成来自内窥镜观察视角内的目标器械的视角的Q3D场景。为执行根据一些实施例的某些几何变换，假设Q3D内窥镜顶端2512位于坐标x，y，z的3D***的原点处，如图25所示。模块2602配置来自图8的计算机151(或控制器 106；在下面的描述中对计算机151的应用适用于控制器)，以创建场景2508 的Q3D模型2650。如上参考图9至图19所解释，计算机151经配置确定在内窥镜FOVe中确定的点的(x，y，z)坐标。这样一来，***创建场景2508 的Q3D模型2650。Q3D模型2650存储在非暂时计算机可读存储介质2652 中。如图25所示，器械2506的远侧部分被捕捉在与内窥镜2502相关联的传感器210的FOVe内。
模块2604配置来自图8的计算机，以确定内窥镜2502的顶端2512和场景2508之间的距离d1。距离d1表示从顶端2512到场景2508的最近点的长度。在图25提供的示例中，d1为从Q3D内窥镜顶端2512到目标2508-1上的最近点的距离。类似地，模块2604配置计算机151以确定目标手术器械2506的顶端2516和手术场景2508之间的距离d2。距离d2表示从顶端2516到场景 2508的最近点的长度。在图25提供的示例中，d2为从器械顶端2516到目标2508-1上的最近点的距离。距离d1和距离d2可以通过***基于Q3D模型的细节来确定。距离d1和距离d2可以使用参考图9和图20所述的算法来计算。针对图9描述的算法确定FOVe中所有点的坐标。然后，针对图20描述的算法可以用于确定任意两个对象之间的距离，诸如2512和2508-1之间，或者诸如2516和2508-1之间的距离。如下面更充分地解释，当描述3D透视图的渲染时，可以使用这些距离参数。
接下来，基于场景2508的Q3D模型中的信息执行一系列的几何变换，以虚拟地“移动”Q3D内窥镜2502，使得其可以拍到器械2506的3D姿态。如在本文中所使用的，术语“姿态”指的是对象或对象的一部分在至少一个平移自由度中的位置，并且指的是该对象或该对象的一部分在至少一个旋转自由度中的取向(在笛卡尔空间中高达六个总自由度(即，颠簸、起伏、摇动、滚动、偏转、俯仰))。虽然该描述根据笛卡尔坐标，但实际上可使用其他坐标系(极坐标系、圆柱形坐标系、球形坐标系等)。
模块2606配置计算机151或控制器106，以从Q3D模型2650确定位于器械2506的可见部分上的至少两个点的(x，y，z)坐标。优选地，为增强精确度，可以确定更多个点。例如，假设这些点是图25所示的P1和P2。如上所讨论的，假设内窥镜2502位于坐标的3D***的z-轴线2518上，其中其顶端在原点处。因此，内窥镜2502的轴线2518可以描述成如通过以下公式所限定的3D直线：
x＝0；y＝0 (8)
模块2608配置计算机***151以确定器械2506的轴线2514，轴线2514 包括通过关于点P1(x1，y1，z1)和P2(x2，y2，z2)的以下公式所限定的3D 直线：
Figure BPA0000231092110000281
其中公式(9)限定器械2506的轴线2514上的任意点(x，y，z)。
模块2610配置计算机***151以计算将内窥镜2502虚拟地“移动”到器械2506的姿态的变换。所述“移动”包括一系列虚拟旋转和虚拟平移，其将内窥镜2502的z-轴线2518与目标器械2506的轴线2514虚拟地对齐。
图27A至图27C为表示根据一些实施例的虚拟取向变换(图27A)、虚拟位置变换(图27B)和所得的虚拟对齐(图27C)的示意图。对本领域的技术人员而言此类变换是已知的，并且它们的实施细节可以变化，包括此变换的顺序、数目或大小。而且，本领域的普通技术人员将理解，除笛卡尔坐标以外可以使用不同的3D坐标系。例如，可以采用极坐标系、参数坐标系或球形坐标系而不改变结果。
参考图27A，例如，线段l1表示内窥镜2502的姿态，并且线段l2表示目标器械2506的姿态。更具体地，线段l1表示内窥镜轴线2518的位置和取向，并且线段l2表示目标器械轴线2514的定位和定向。模块2610配置计算机151 以通过采用旋转角α所限定的旋转矩阵Mx使线段l1围绕x-轴线虚拟地旋转。模块2610配置计算机151，以随后通过采用旋转角β所限定的旋转矩阵My使线段l1围绕y-轴线虚拟地旋转。最后，如果需要，则模块2610配置计算机151，以通过采用旋转角γ所限定的旋转矩阵Mz使线段l1围绕z-轴线虚拟地旋转。旋转矩阵的使用对本领域的技术人员而言是众所周知的，并且不需要在本文在详细描述。
如图27B所示，根据一些实施例，这些虚拟旋转的目的和结果是使得变换的线段l′1现在平行于线段l2，器械2506的轴线2514。所得的总体旋转矩阵 M等于：
M＝Mx·My·Mz (10)
或以三角函数格式：
Figure BPA0000231092110000291
模块2610进一步配置计算机151以确定虚拟位置平移Tv，从而将线段l′1移动到与线段l2关联的重叠部分，该部分与线段l2平行。图27B示出通过矢量
Figure BPA0000231092110000292
限定的几何位置平移，如图27B所示。矢量
Figure BPA0000231092110000293
通过线段l′1和线段l2的顶端限定，并且其被取向成从线段l′1指向线段l2。
如图27C所示，所得的平行线段l″1被虚拟地移动到其重叠l2的部分。几何平移对于本领域的技术人员而言是众所周知的，并且不需要在本文中详细描述。
根据一些实施例，来自器械2506的顶端2516的观察视角的场景2508的 Q3D模型的虚拟视图，可以通过根据上述操作Ty、Mz、My和Mx变换Q3D 模型产生，但以相反次序进行。模块2612配置计算机151，以首先通过应用矢量
Figure BPA0000231092110000294
的位置平移来变换Q3D模型。模块2612配置计算机151以分别执行相应角-γ、-β和-α的取向旋转Mz、My和Mx的顺序。
模块2614配置计算机151以使用变换的Q3D模型显示来自目标器械2506 的虚拟透视图的手术场景。基于距离d2，使用已知的透视绘制算法创建虚拟透视图。图28A至图28B为根据一些实施例的来自内窥镜顶端2512的视角(图 28A)和来自目标手术器械2516的视角(图28B)的手术场景2508的示例 Q3D视图。应该认识到，如上参考图4所述，图28A至图28B的手术场景在手术程序期间通过观察器312对于外科医生可见。而且，根据一些实施例，外科医生可以选择性地改变虚拟透视图。从图28A的内窥镜视角，目标器械2506与第一(球形的)解剖结构2508-1以及第二(三角形的)解剖结构2508-2 一起可见。从图28B的目标器械视角，第一(球形的)解剖结构2508-1和第二(三角形的)解剖结构2508-2可见，而不是从不同于图28A的视角的视角。图28B所示的透视图可以使用来自图26的算法2600生成。
图29为示出根据一些实施例的产生Q3D模型的3D渲染的过程的细节的示意图。一旦已经计算出变换的Q3D模型，其就可以显示在***的3D显示器110上。许多3D视频算法和硬件实施可以用于该目的。计算机模块2902 配置图8的***，以考虑到62mm至65mm的平均人类瞳孔间距将Q3D模型分成右眼视图2904R和左眼视图2904L，其中所述***包括视频处理器104、控制器106和显示驱动器109。为实现该步骤，应用体视学和人类IPD的已知细节。根据一些实施例，模块2506配置3D显示驱动器109的3D视频控制器106，以按已知的帧率在向左眼提供视频帧2508L和向右眼提供帧2508R 之间交替地切换，以便给予观察者3D场景的印象。图29所描述的方法采用 3D观察眼镜，诸如呈现于诸如参考图4至图6所描述的远程操作手术***上的那些。然而，可以使用其他3D视频显示机制。授予Lipton的美国专利No.4,562,463(提交于1981年5月15日)和授予Naglele等人的美国专利No. 6,008,839提供了附加的实施细节，这些专利的全部内容以引用方式并入本文。
禁飞区(NFZ)
图30A至图30B为示出与具有内窥镜视野(FOVe)的图像传感器阵列 210相关联的内窥镜2502的透视图的示意图。并且示出根据一些实施例的与禁飞区3022相关联的第一手术器械3024、第二手术器械3026和设置在FOVe内的手术场景3008中的解剖结构3007的部分。光源2510照亮手术场景3008。如参考图7A至图7B以及图8至图10所解释的，图像传感器阵列210被定位成捕捉FOVe内的手术器械2506和解剖结构3007的图像投影，图像投影照亮内窥镜2502的顶端部分2512。虽然所示图像传感器阵列210邻近内窥镜顶端 2512设置，应该认识到，替代地，例如图像传感器阵列可以从顶端2512移置，如参考图7B所解释的。如上参考图8所解释的，内窥镜2502被定位成穿透人体壁组织或进入自然孔并且在患者的体腔内延伸，以便提供到手术场景 3008的可视化入口，手术场景3008包括例如目标、第一手术器械3024和第二手术器械3026以及患者体腔内部的解剖结构3007。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。
图30A至图30B示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜2502的视野(FOVe)。如图5至图6所示，器械101A至器械101B以及Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。应该认识到，如上参考图4所述，在手术程序期间，内窥镜视野(FOVe) 通过观察器312对于外科医生可见。NFZ区域可以各种方式出现在场景中，诸如例如通过示出距离dNFZ的数字注释或作为投影表面或围绕器械3204的“气泡”。手术器械介入可以包括远程操作医疗***的使用，或者其可以是手动微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作医疗***手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C 和器械101A至101B的布置。为了清楚地呈现，讨论了包括图像传感器阵列的Q3D内窥镜。然而，本发明的范围包括其他类型的Q3D内窥镜，诸如基于飞行时间的成像传感器的内窥镜。美国专利No.8,262,559(“559专利”)描述了此Q3D内窥镜，并且该专利申请以引用方式并入本文。从第8栏、第45 行到第10栏、第27行的559专利说明书以及相应的附图以引用形式并入本文。
通过虚线3022所表示的示例性禁飞区(NFZ)围绕第一器械(器械A) 3024被限定。本文使用的术语“禁飞区”指的是围绕结构的空间区域。在一些实施例中，NFZ为旨在由针对其限定NFZ的对象单独占据的区域。为确保患者的安全或程序的功效，不期望其他器械诸如器械3026(器械B)，或邻近的组织位于NFZ区域的界限内。例如，如果器械3024为单极弯剪(MCS)，则可限定NFZ区域使得能量不可以意外地从器械3024递送到器械3026或目的不在于治疗递送的相邻组织结构。有时，根据MCS周围的含湿量，当将能量递送到目标组织时，可产生劣弧或火花。因此，可以选择NFZ界限3022 以限定围绕MCS器械3024的1mm至2mm或更大的间隙。因此，在能量递送期间可产生的任意弧或火花将不会无意地到达器械3026或其他邻近组织。根据操作者的关于程序和关于器械的知识，NFZ范围可以通过***(例如，基于在使用中的器械3024的类型)或通过操作者来自动地选择。器械可以间接地(例如，借助计算机辅助)或手动地致动。当针对该其限定NFC的对象改变位置时，NFZ改变位置。
图30A至图30B中的示例NFZ 3022被限定为距第一器械3024距离dNFZ内的空间。在图30A中的场景中，第一器械(器械A)3024和第二器械(器械B)3026之间的距离为大于dNFZ的d1A/B，并且该情况指示第二器械3026 在第一器械3024的禁飞区的外部。然而，在图30B中的场景中，第一器械(器械A)3024和第二器械(器械B)3026之间的距离为小于dNFZ的d2A/B，并且该情况指示第二器械3026在第一器械3024的禁飞区内。
图31为表示根据一些实施例的限定禁飞区并且确定是否已经侵犯禁飞区的过程3100的示意流程图。参考图30A至图30B的手术场景3008来对过程 3100进行描述。
模块3102配置计算机151以识别Q3D场景中的针对其待创建NFZ的目标，并且基于距离(dNFZ)围绕一个或多个可以包括器械和/或解剖结构的目标来限定相应的NFZ区域。换言之，NFZ可以被限定为距目标距离dNFZ内的区域。换句话说，NFZ可以通过在距目标表面距离dNFZ处围绕目标的虚拟气泡来限定。例如，图30A至图30B中的虚线3022指示围绕器械A3024的NFZ。在一些实施例中，用户可以手动地指示手术场景内的将要具有NFZ的对象，并且用户可以手动地录入dNFZ信息。参考图22A至图22B，例如，用户可以使用视频标记工具诸如远程图显装置来识别将要具有NFZ的结构。替代地，如果***接收这种信息，则***可以基于器械3024或结构3007的特性，或者使用程序通用的或专用的NFZ设置来限定NFZ。应该认识，虽然图30A至图30B中的示例示出用于器械的NFZ的创建，但替代地，可以针对解剖结构3007创建NFZ。并且，虽然图30A至图30B中的示例示出单个NFZ的创建，但是例如可以针对不同器械创建多个NFZ-不同的NFZ，或者针对一个器械创建一个NFZ并且针对解剖结构创建另一个NFZ。
模块3104配置计算机151以针对第一器械3024和第二器械3026的多个对应位置中的每个变化创建不同的Q3D模型，Q3D-1、Q3D-2和Q3D-3。Q3D 模型存储在非暂时性存储设备3150中。
模块3106配置计算机***151以识别多个不同Q3D模型中的每个中的目标器械(例如第一器械2524)和每个其他器械(例如器械3026)，其中，针对第一器械限定NFZ区域，NFC区域基于围绕目标器械限定的(dNFZ)距离进行限定。在一些实施例中，将器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，将目标器械的形状存储在非暂时性存储设备中。器械的存储形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接，以便将其组合从而形成3D形状模型。可以采用最佳匹配算法以检测最佳匹配目标器械的存储形状的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D模型所提取的最佳匹配候选进行比较。
模块3108配置计算机***151，以针对Q3D模型中的每个确定已经针对其限定dNFZ的器械(例如，器械A)和另一器械(例如，器械B)之间的距离(dA/B)是否小于dNFZ距离。换言之，假设针对器械A限定dNFZ，则作出关于是否dNFZ＞＝dA/B的确定。
替代地，例如，如果NFZ(未示出)应用于解剖结构3007，则模块3108 确定器械A和器械B中的一个或两者是否侵犯禁飞区(NFZ)。例如，假设解剖结构3007是针对其限定dNFZ的脆弱的血管。在这种情况下，相应的NFZ 界限可以用于阻止任意器械靠得太近并且刺穿血管。作为进一步的替换，例如，如果解剖结构3007具有较低的临床危险程度(例如，脂肪、骨等)，那么可以防止一些但不是所有器械类型进入NFZ(例如，尖锐器械、能量递送器械等)。因此，对于第一类型的器械和第二类型的另一器械，以一种或更多种不同的方式诸如操作者指定、机器视觉或器械数据的直接感测来识别到手术***的器械类型，允许第一类型的器械(例如，钝性分离器械)进入NFZ 但不允许第二类型的器械(例如，烧灼剪切器械)进入NFZ。可以通过直接比较针对不同器械和/或解剖结构规定的dNFZ距离和它们之间的实际dA/B距离来执行NFZ范围是否被侵犯的确定。
再次参考图30A至图30B的示例场景，关于针对图30A的示例场景创建的Q3D模型的确定可指示不存在针对第一器械3024限定的示例NFZ 3022的侵犯。但是，关于图30B的示例场景的确定可指示第二器械3026已经越过 NFZ 3022。
模块3110配置计算机151以响应于确定NFZ已被侵犯提供警报。警报可以包括声音、可视化提示(诸如，闪光信号灯)或者锁定或阻断器械移动或增强器械移动的刚度，以避免碰撞(例如，通过使用触觉壁)。
投影跑道
图32为示出与具有内窥镜视野(FOVe)的图像传感器阵列210相关联的内窥镜2502的示意图。应该认识到，如上参考图4所述，在手术期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见。并且示出根据一些实施例的在观察轨迹上的多个不同位置处观察到的手术器械3206的一部分，以及设置在FOVe内的手术场景2508中的解剖结构。如下面更充分地解释，当器械3206在多个器械位置3206-p1、3206-p2和3206-p3之间移动时观察相同的器械3206，以便探知其轨迹并且从该移动中推测投影的轨迹跑道。
光源210照亮手术场景2508。如参考图7A至图7B和图8至图10所解释，图像传感器阵列210被定位成捕捉FOVe内的手术器械3206和解剖结构 3207的图像投影，图像投影照亮与内窥镜2502的顶端部分2512相关联的图像传感器阵列210。虽然所示图像传感器阵列210邻近内窥镜顶端2512设置，但是应该认识到，图像传感器阵列可以替代地例如从顶端2515移置，如参考图7B所解释。如上参考图8所解释，内窥镜2502被定位成穿透人体壁组织或自然孔口并且在患者体腔内延伸，以便提供到手术场景2508的可视化入口，手术场景2508包括例如目标、手术器械3206和患者体腔内部的解剖结构 3207。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。
图32示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D 内窥镜2601的视野FOVe。如图5至图6所示，器械101A至器械101B和Q3D 内窥镜101C可以在手术介入期间通过不同的插管进行部署。手术介入可以包括远程操作医疗***的使用，或者其可以是手动的微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作的手术介入示出患者侧推车的机械手术臂158A-158D上的内窥镜101C和器械101A-101B的布置。
出于说明的目的，所示目标手术器械3206具有呈针驱动器形式的端部执行器，诸如用于DA VINCI
Figure BPA0000231092110000341
手术***的Mega针驱动器
Figure BPA0000231092110000342
器械。在手术介入期间，可以使用替代的端部执行器，诸如缝合器、血管闭合器、剪刀、抓紧器、解剖刀、烧灼电极或施夹器，在手术介入期间实施不同的手术器械功能。在示例场景3208中，相同的目标器械3206沿观察的轨迹改变位置，观察的轨迹还被称为从位置3206-p1到位置3206-p2到位置3206-p3 的路径。位置3206-p1、位置3206-p2和位置3206-p3之间的虚线3216表示当器械移动越来越靠近解剖结构3207时，器械所遵循的路径。例如，在医疗介入期间，外科医生可以使目标器械遵循观察的路径3216，观察的路径3216从例如位置3206-p1到位置3206-p2到位置3206-p3改变目标器械的位置。应该认识到，一些外科医生难以精确地将手术器械和将要使用器械接触的解剖结构对齐。例如，外科医生可需要将线性缝合器与组织结构诸如肠对齐，所述组织结构将要使用设备缝合在一起。例如，在触发缝合器之前，将缝合器和肠组织适当对齐是关键的。外科医生有时难以预想一旦将器械***到其将要被使用的区域中将如何使器械对齐。例如，当缝合器端部执行器***被切除的肠中以执行吻合术时，外科医生可难以预想缝合器端部执行器的定位和取向。根据一些实施例，在外科医生的视野内提供指示器械路径的预测路径的高度可见的虚拟投影。外科医生可以使用预测路径来提前察觉如何相对于解剖结构对齐器械，并且如何最佳操纵器械以将其放置到期望位置和取向中。例如，外科医生可以提前察觉缝合器是否适当对齐以创建用于吻合术的缝合线。
通过虚线3218指示的预测路径还被称为“跑道”，其从观察路径3216的端部延伸。预测路径可以一直延伸到解剖对象表面上的预测接触位置3220(标记为“X”)处，预测器械3206在该位置处首先接触解剖对象。预测路径3218 和预测接触位置3220基于观察路径3216来确定。更具体地，当操作者使器械移动得更靠近解剖对象3207时，图像传感器阵列210用于观察，即产生目标器械3206在一系列多个位置中的每个例如3206-p1、3206-p2和3206-p3处的Q3D模型。基于在一系列时间点确定的一系列位置确定观察路径3216，并且基于观察路径来确定预测路径。例如，预测路径可以为观察路径的线性外推(extrapolation)。替代地，预测路径可以是估计目标器械的某些部分的轨迹的曲线。例如，如果目标器械是单极弯剪或HARMONIC
Figure BPA0000231092110000351
弯曲剪切器械，则曲线可以预测弯曲叶片的轨迹。基于预测路径3218来确定预测接触位置 3220。例如，预测路径3218与表示目标解剖结构3207的Q3D模型的表面之间的几何交叉限定预测接触位置3220。
图33为表示根据一些实施例的追踪Q3D场景中的观察路径上的目标器械，并且确定预测路径和预测接触位置的过程2600的示意流程图。过程2600 参考手术场景3208进行描述。
模块3302配置计算机151以针对目标器械3206的多个对应位置改变中的每个创建不同的Q3D模型。位置和对应的模型可以是两个或更多个。例如，如沿从3206-p1到3206-p2到3206-p3的观察轨迹所示，创建了对应的不同的 Q3D模型Q3D-1、Q3D-2和Q3D-3。Q3D模型存储在非暂时性存储设备3350 中。替代地，当预测路径仅是目标器械的某些特征的延伸时，创建单个Q3D 模型并且将其保存在非暂时性存储设备中。
模块3304配置计算机***151以识别多个不同Q3D模型中的每个中的目标器械。在一些实施例中，将目标器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，目标器械的形状存储在非暂时性存储设备中。器械的存储形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接以形成3D形状模型。可以采用最佳匹配算法以检测最佳匹配目标器械的存储形状的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D 模型所提取的最佳匹配候选进行比较。
模块3306配置计算机151以确定目标器械的预测路径。
模块3308配置计算机151以产生场景的3D可视化表示，所述可视化表示包括解剖结构3206上的预测接触位置3220的可视化指示。预测路径用作目标器械的当前路径或当前位置的可视化几何延伸。在例如使目标器械实际地与解剖结构进行物理接触之前，外科医生可以试用数个不同的目标器械路径和/或部署取向。根据一些实施例，外科医生改变目标器械位置导致模块3302 创建场景的对应于不同位置或取向的不同Q3D模型。进而，模块3306和模块3308探知并且显示目标器械的针对不同Q3D场景或一系列Q3D场景的不同预测路径或延伸。外科医生可以使用可视化地显示的路径信息，以确定最有可能导致目标器械与解剖结构在期望位置处交叉的目标器械的路径或定位。因此，外科医生将能够优化目标器械的路径和/或取向，以便实现期望的临床目标。
更具体地，在一些实施例中，预测路径基于目标器械的观察路径的外推来确定。可以在多个Q3D场景的路线上对观察路径进行观察。参考图32，例如，模块3306配置计算机151以基于目标器械3206的观察路径3216来确定目标器械的预测路径3218。根据一些实施例，观察路径基于器械位置的目标器械位置的改变来确定，例如，从位置3206-p1，随后是3206-p2，随后是 3206-p3，从一个Q3D模型到下一个Q3D模型，例如从Q3D-1到Q3D-2并且从Q3D-2到Q3D-3。例如，确定位于目标器械上的至少一个点或区域。例如，在针驱动器器械的情况下，该点可以表示器械的顶端。顺序地确定该点或区域在模型Q3D-1、模型Q3D-2和模型Q3D-3中的位置。轨迹基于最佳拟合曲线来构造。例如，可以采用最小二乘方误差生成穿过目标器械的连续位置的最佳拟合线性轨迹。然后，对该轨迹进行外推以确定器械的预测路径3218。因此，预测路径3218基于观察路径3216来确定。具体地，预测路径3218通过来自观察路径3216的外推来确定。
替代地，在一些实施例中，预测路径基于模块3307来确定，模块3307 确定静止目标器械的感兴趣特征的几何延伸。因此，预测路径基于静止目标器械的取向的Q3D观察与基于其观察取向的目标轮廓到场景中的外推结合来确定，而不是观察目标器械在多个Q3D场景的路线上的位置改变。在图36 中，例如，目标器械为缝合器，并且预测路径表示缝合线的延伸或缝合器刀槽的延伸。通过观察Q3D延伸的3D表示或这些特征的估计“跑道”，外科医生可以获得最终将缝合器和/或刀口放置在何处的精确得多的和定量的理解。例如，当执行各种手术程序时，3D表示可以辅助外科医生关于解剖体恰当地对齐并且推进缝合器器械，诸如与肠对齐以执行吻合术。另外，如果需要，这些Q3D器械跑道的定量方面允许外科医生测量预定路径的特征(例如，估计刀剖切线和邻近组织之间的间隙)。进一步地，假设预测路径3218与解剖对象3207交叉，可以作出关于交叉位置3220的确定。如上所述，位置3220 可以被计算为表示预测路径3218的曲线和表示目标解剖结构3207的Q3D模型表面之间的几何交叉。例如，如上参考图22A至图22B所解释，Q3D接触位置3220的可视化图像表示可以包括显示的可视化标记，所述标记与场景 2508的可视化3D视频表示中所示的目标相关联。
参考图34，其示出根据一些实施例的场景3208的示例3D可视化表示和用可视化标记“CL”进行标记的在解剖结构3207上的预测接触位置，在所述场景3208中，假设目标器械3206处于图32中所示的第三位置3206-p3中。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOVe) 通过观察器312对于外科医生可见。标记“CL”基于图32的预测路径3218 提供。因此，可以先基于器械的多个观察的Q3D位置产生器械3206与解剖结构的3207的预测接触位置3220的可视化表示，操作者可以更容易地引导器械3206在期望接触位置处与解剖结构进行接触。
虽然本文详细地讨论了接触位置3220，但是源于预测路径3218的其他特征同样重要。如上已经提及的，显示估计的缝合器缝合线(即，施加手术钉所沿的线)和/或剖切线(即，由驱动缝合线之间的缝合器刀所产生的组织分离)是非常重要的。对于单极弯剪或HARMONIC
Figure BPA0000231092110000371
弯曲剪切器，显示从预测路径3218到相邻组织的距离是非常重要的。这些器械或其他器械将能量递送到组织用于治疗目的。为了最小化非故意的组织损伤，帮助操作者理解目的不是治疗递送的组织离预测路径有多远是重要的。
图35为表示根据一些实施例的示例手术场景2508的示意图，其中操作者已经尝试多个不同的观察路径3516-1到3516-3，并且过程3300已经产生对应的预测路径3518-1到3518-3和接触位置CL1到CL3，加上期望接触位置“Y”。手术场景2508包括内窥镜2502的一部分和解剖结构3507。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见。参考本文的其他附图所解释的许多细节从图35 中省略，以便简化说明。
***操作者，诸如外科医生可以使用试错技术来确定使目标器械3506遵循的最佳路径，以确保器械3506在期望的接触位置“Y”处接触解剖结构3507。这样一来，操作者可以按照顺序沿多个不同的观察路径来移动器械。图33的过程3300针对每个观察路径在解剖结构的可视化图像上产生预测接触位置标记。操作者可以使用接触位置标记信息来决定使用哪条路径与期望接触位置“Y”接触。
更具体地，例如，实线箭头3516-1、虚线箭头3518-1和接触位置标记CL1 分别表示器械的第一观察路径、器械的第一预测路径和目标器械3506的第一预测接触位置。类似地，实线箭头3516-2、虚线箭头3518-2和接触位置标记 CL2分别表示器械3206的第二观察路径、器械3506的第二预测路径和器械 3506的第二预测接触位置。同样地，实线箭头3516-3、虚线箭头3518-3和接触位置标记CL3分别表示器械3506的第三观察路径、器械3506的第三预测路径和器械3506的第三预测接触位置。应该注意，由操作者尝试的观察路径 3516-1、观察路径3516-2和观察路径3516-3导致器械3506在期望位置“Y”中接触解剖结构3507。因此，根据一些实施例，操作者还可以尝试另一预测路径(未示出)。
当感兴趣的特征例如器械的形状或器械的一部分几何地(虚拟地)延伸时可以类似地采用试错技术以确定预测路径3518-1、预测路径3518-2和预测路径3518-3，例如，如在图35中所示的3D中所显示。
应该认识到，可以使用不同的路径以相对于组织结构将工具定位在不同位置处，使得能量诸如激光脉冲可以在例如不同位置处和从距组织不同距离处应用到组织。
图36示出其中也被称为Q3D跑道的预测路径图像3618表示基于器械的当前位置和取向的器械特征的可见几何虚拟延伸的示例。示例目标器械为缝合器器械3620，所示缝合器器械3620处于紧接在解剖组织上并且触发缝合器之前的位置和取向中。外科医生可以花费时间在周围操纵缝合器，以便理解在部署期间缝合器将抵达何处。虚线图像示出包括六条缝合线的示例缝合器的缝合线特征的延伸。如果考虑到示例缝合器3620的当前位置和取向而将其形状延伸一些距离，则虚拟延伸图像3618包括指示由示例缝合器3620占据的物理空间的图像。考虑到Q3D内窥镜可以用于产生包括缝合器和目标组织的3D尺寸和取向的模型，可以确定延伸越过缝合器的实际当前位置并且朝向目标组织(例如，图36中的结肠直肠结构)的缝合线的预测路径。应该认识到，在手术程序期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见，如上参考图4所述。因此，外科医生可以在缝合器实际触摸到目标组织之前，模拟数个缝合器部署取向。这样，外科医生可以更加精确地理解当在组织上夹紧以用于缝合和切除时，缝合器钉仓和砧将抵达目标组织上的何处。因此，外科医生将能够优化缝合线和缝合刀轨迹的取向，以实现期望的治疗目标。
Q3D空间中的器械追踪
图37为示出与具有内窥镜视野(FOVe)的图像传感器阵列210相关联的内窥镜2502的示意图。图37还示出根据一些实施例的相同手术器械的一部分，和设置在FOVe内的手术场景3708中的解剖结构3707，其中相同手术器械的一部分在多个不同位置3706-p1、3706-p2和3706-p3处示出。应该认识到，在手术程序期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见，如上参考图4所述。光源2510照亮手术场景3708。如参考图7A至图7B 和图8至图10所解释的，图像传感器阵列210被定位成捕捉FOVe内的手术器械3706和解剖结构3707的图像投影，图像投影照亮与内窥镜2502的顶端部分2512相关联的传感器阵列210。虽然所示图像传感器阵列210邻近内窥镜顶端2512设置，但应该认识到，替代地，图像传感器阵列可以例如从顶端 2512移置，如参考图7B所解释。如上参考图8所解释，内窥镜2502被定位成穿透人体壁组织(例如，经由插管)或进入自然孔口并且在患者的体腔内延伸，以便提供到手术场景3008的可视化入口，手术场景3008包括例如目标、手术器械3706和患者体腔内部的解剖结构3707。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。
图37示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D 内窥镜2502的视野(FOVe)。如图5至图6所示，器械101A至器械101B和 Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。如上所提及，替代地，内窥镜和一个或更多个器械还可以穿过单个开口(单个切口或自然孔口)，以到达手术场景。因此，插管的使用不是强制性的。手术介入可以包括远程操作医疗***的使用，或者其可以是手动的微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C和器械101A至101B的布置。
出于说明的目的，所示目标手术器械3706具有呈针驱动器形式的端部执行器，诸如用于DA VINCI
Figure BPA0000231092110000401
手术***的Mega针驱动器。然而，在手术介入期间，可以使用替代的端部执行器实施不同的手术器械功能，诸如剪刀、抓紧器、解剖刀、烧灼电极或施夹器。在示例场景3708中，如通过虚线箭头所指示，相同的目标器械3706从其位置3706-p1到其位置3706-p2然后到其位置3706-p3改变位置。例如，在医疗介入期间，外科医生可以使目标器械从位置3706-p1移动到位置3706-p2并且然后到位置3706-p3。
图38A至图38C为表示根据一些实施例的目标器械的位置从在第一时间点时的位置3706-p1(图38A)到第二时间点时的位置3706-p2(图38B)到第三时间点时的位置3706-p3(图38C)的变化的示意图。参考图4，根据一些实施例，外科医生可以通过包括观察器312的立体显示设备164来观察患者身体内部的手术部位的图像的视频帧。在第一时间点时，外科医生观察图 38A所示的场景。在第二时间点时，外科医生观察图38B所示的场景。在第三时间点时，外科医生观察图38C所示的场景。有时在手术的过程中，器械 3706可以由于例如血液而变得模糊，并且外科医生可随时难以从解剖对象 3707的周围组织结构区别目标器械3706。
图39为表示根据一些实施例的通过使用Q3D***来追踪目标器械的过程2700的示意流程图。将参考手术场景3708来对过程3900进行描述。
模块3902配置计算机151以针对目标器械3706从3706-p1到3706-p2到 3706-p3的多个对应位置变化中的每个创建不同的Q3D模型Q3D-1、Q3D-2 和Q3D-3。替代地，第一Q3D模型可以用有关改变器械3706的位置的增量信息来进行更新。Q3D模型或相应的增量更新存储在非暂时性存储设备3950 中。
模块3904配置计算机***151以识别多个不同Q3D模型中的每个中的目标器械。在一些实施例中，将目标器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，将目标器械的形状存储在非暂时性存储设备3950中。存储的器械形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接，以形成3D形状模型。可以采用最佳匹配算法以检测与目标器械的存储形状最佳匹配的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D模型所提取的最佳匹配候选进行比较。
模块3906配置计算机***151以产生Q3D模型中的每个的可视化表示，所述可视化表示各自包括目标器械3706的可视化指示。如上参考图22A至图 22B所解释，例如，Q3D模型的可视化图像表示可以包括显示的可视化标记，所述可视化标记与场景3708的可视化3D视频表示中所示的目标相关联。
参考图40，其示出根据一些实施例的场景3708的示例可视化表示，其中处于第二位置3706-p2中的所示目标器械3706与可视化标记“M2”相关联。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOVe) 通过观察器312对于外科医生可见。目标器械3706的可视化图像由于体液 4002诸如例如血液而从视图部分地模糊。然而，基于Q3D-2提供的标记“M2”指示目标器械3706在位置3706-p2处的位置。因此，可以产生多个Q3D可视化表示以示出在不同时间处的目标器械位置，这允许操作者追踪场景3708内目标器械，即使例如器械由于体液而从视图中变得模糊。
替代地，可以采用呈以已知图案凸起或凹陷的轮廓特征形式的可视化标记。例如，器械可以压印有Q3D内窥镜可识别的图案。图案可以被压印，以便提供图案压印于其上的器械的取向的指示。通过捕捉指示轮廓图案的信息，可以生成Q3D模型，Q3D模型指示器械的位置和取向，即使器械由于流体诸如血液而在视觉上被模糊。
根据本发明实施例的前述描述和附图仅说明了本发明的原理。因此，应该理解，在不背离所附权利要求所限定的本发明的精神和范围的情况下，本领域的技术人员可以对实施例进行各种修改。具体地，以上描述的***和方法存在于包括Q3D内窥镜的实施方式中，Q3D内窥镜包括图像传感器阵列。然而，本发明的范围包括其他类型的Q3D内窥镜，诸如基于飞行时间成像传感器的Q3D内窥镜。本领域的技术人员将知道如何用其他Q3D内窥镜替代Q3D内窥镜2502。

Claims (5)

1.一种用于将来自目标器械的视点的解剖结构的三维图像可视化的***，其包括：
包括成像传感器阵列的定量三维内窥镜即Q3D内窥镜，所述成像传感器阵列包括多个成像传感器，其中每个成像传感器包括对应的透镜堆叠和布置在该透镜堆叠的焦平面中的二维像素排列，其中所述成像传感器阵列的所述成像传感器中的至少三个被设置成具有重叠的共面视野，并且其中每个成像传感器的所述对应的透镜堆叠创建单独的光学通道，该光学通道在所述对应的透镜堆叠的所述焦平面中分解所述Q3D内窥镜的视野内的场景的图像；和
至少一个处理器，其经配置：
基于所述Q3D内窥镜的顶端部分与所述场景中的点之间的距离，确定包括通过所述Q3D内窥镜的所述成像传感器阵列成像的所述场景中的所述点的坐标的Q3D模型；
识别所述场景内的至少一个目标器械；
识别所述场景内的至少一个组织结构；
确定从所述内窥镜的所述顶端的所述视野到所述至少一个目标器械的虚拟视野的所述场景的虚拟Q3D视图的几何变换；以及
至少部分地基于所述几何变换，产生根据所述至少一个目标器械的所述虚拟视野所表示的所述Q3D模型内的所述至少一个组织结构的三维视图即3D视图。
2.根据权利要求1所述的***，其中所述***包括显示所述3D视图的3D显示器。
3.根据权利要求1所述的***，其中所述***包括观察器，以显示至少部分地基于所述3D视图的定量测量。
4.根据权利要求1所述的***，其中所述***包括控制输入设备，用户从一组器械中选择所述至少一个器械。
5.一种用于将来自目标器械的视点的解剖结构的三维图像可视化的***，其包括：
定量三维内窥镜即Q3D内窥镜，其被设置成对所述Q3D内窥镜的视野内的场景进行成像；和
至少一个处理器，其经配置：
确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；
识别所述场景内的至少一个目标器械；
识别所述场景内的至少一个组织结构；
确定从所述内窥镜的所述视野到所述至少一个目标器械的虚拟视野的几何变换；
至少部分地基于所述几何变换，产生根据所述至少一个目标器械的所述虚拟视野所表示的所述Q3D模型内的所述至少一个组织结构的三维视图即3D视图；
其中确定从所述内窥镜的所述视野到所述至少一个器械的所述虚拟视野的几何变换包括：
确定所述Q3D内窥镜的几何取向；
确定至少一个器械的几何取向；
确定一个或更多个几何变换，以便将所述Q3D内窥镜移动到与所述至少一个器械虚拟重叠的位置，并且以便将所述Q3D内窥镜与所述至少一个器械的所述确定的取向对齐；以及
根据一个或更多个几何平移变换所述场景的所述Q3D模型，所述一个或更多个几何平移为被确定为移动并对齐所述Q3D内窥镜的所述一个或更多个几何变换的逆变换。
CN201580024441.8A 2014-03-28 2015-03-28 器械在视野中的定量三维可视化 Active CN106456267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137786.7A CN111184577A (zh) 2014-03-28 2015-03-28 器械在视野中的定量三维可视化

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971749P 2014-03-28 2014-03-28
US61/971,749 2014-03-28
US201462096509P 2014-12-23 2014-12-23
US62/096,509 2014-12-23
PCT/US2015/023211 WO2015149041A1 (en) 2014-03-28 2015-03-28 Quantitative three-dimensional visualization of instruments in a field of view

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010137786.7A Division CN111184577A (zh) 2014-03-28 2015-03-28 器械在视野中的定量三维可视化

Publications (2)

Publication Number Publication Date
CN106456267A CN106456267A (zh) 2017-02-22
CN106456267B true CN106456267B (zh) 2020-04-03

Family

ID=54196483

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580024441.8A Active CN106456267B (zh) 2014-03-28 2015-03-28 器械在视野中的定量三维可视化
CN202010137786.7A Pending CN111184577A (zh) 2014-03-28 2015-03-28 器械在视野中的定量三维可视化

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010137786.7A Pending CN111184577A (zh) 2014-03-28 2015-03-28 器械在视野中的定量三维可视化

Country Status (6)

Country Link
US (2) US11266465B2 (zh)
EP (1) EP3125808B1 (zh)
JP (1) JP6854237B2 (zh)
KR (1) KR102387096B1 (zh)
CN (2) CN106456267B (zh)
WO (1) WO2015149041A1 (zh)

Families Citing this family (433)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070084897A1 (en) 2003-05-20 2007-04-19 Shelton Frederick E Iv Articulating surgical stapling instrument incorporating a two-piece e-beam firing mechanism
US9060770B2 (en) 2003-05-20 2015-06-23 Ethicon Endo-Surgery, Inc. Robotically-driven surgical instrument with E-beam driver
US11998198B2 (en) 2004-07-28 2024-06-04 Cilag Gmbh International Surgical stapling instrument incorporating a two-piece E-beam firing mechanism
US8215531B2 (en) 2004-07-28 2012-07-10 Ethicon Endo-Surgery, Inc. Surgical stapling instrument having a medical substance dispenser
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
US11896225B2 (en) 2004-07-28 2024-02-13 Cilag Gmbh International Staple cartridge comprising a pan
US7669746B2 (en) 2005-08-31 2010-03-02 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US7934630B2 (en) 2005-08-31 2011-05-03 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US11484312B2 (en) 2005-08-31 2022-11-01 Cilag Gmbh International Staple cartridge comprising a staple driver arrangement
US9237891B2 (en) 2005-08-31 2016-01-19 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical stapling devices that produce formed staples having different lengths
US10159482B2 (en) 2005-08-31 2018-12-25 Ethicon Llc Fastener cartridge assembly comprising a fixed anvil and different staple heights
US11246590B2 (en) 2005-08-31 2022-02-15 Cilag Gmbh International Staple cartridge including staple drivers having different unfired heights
US20070106317A1 (en) 2005-11-09 2007-05-10 Shelton Frederick E Iv Hydraulically and electrically actuated articulation joints for surgical instruments
US20110295295A1 (en) 2006-01-31 2011-12-01 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical instrument having recording capabilities
US11793518B2 (en) 2006-01-31 2023-10-24 Cilag Gmbh International Powered surgical instruments with firing system lockout arrangements
US11224427B2 (en) 2006-01-31 2022-01-18 Cilag Gmbh International Surgical stapling system including a console and retraction assembly
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
US20110024477A1 (en) 2009-02-06 2011-02-03 Hall Steven G Driven Surgical Stapler Improvements
US8820603B2 (en) 2006-01-31 2014-09-02 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US8708213B2 (en) 2006-01-31 2014-04-29 Ethicon Endo-Surgery, Inc. Surgical instrument having a feedback system
US20120292367A1 (en) 2006-01-31 2012-11-22 Ethicon Endo-Surgery, Inc. Robotically-controlled end effector
US11278279B2 (en) 2006-01-31 2022-03-22 Cilag Gmbh International Surgical instrument assembly
US7753904B2 (en) 2006-01-31 2010-07-13 Ethicon Endo-Surgery, Inc. Endoscopic surgical instrument with a handle that can articulate with respect to the shaft
US8186555B2 (en) 2006-01-31 2012-05-29 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with mechanical closure system
US8992422B2 (en) 2006-03-23 2015-03-31 Ethicon Endo-Surgery, Inc. Robotically-controlled endoscopic accessory channel
US8322455B2 (en) 2006-06-27 2012-12-04 Ethicon Endo-Surgery, Inc. Manually driven surgical cutting and fastening instrument
US8220690B2 (en) 2006-09-29 2012-07-17 Ethicon Endo-Surgery, Inc. Connected surgical staples and stapling instruments for deploying the same
US10568652B2 (en) 2006-09-29 2020-02-25 Ethicon Llc Surgical staples having attached drivers of different heights and stapling instruments for deploying the same
US11980366B2 (en) 2006-10-03 2024-05-14 Cilag Gmbh International Surgical instrument
US11291441B2 (en) 2007-01-10 2022-04-05 Cilag Gmbh International Surgical instrument with wireless communication between control unit and remote sensor
US8652120B2 (en) 2007-01-10 2014-02-18 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between control unit and sensor transponders
US8684253B2 (en) 2007-01-10 2014-04-01 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor
US11039836B2 (en) 2007-01-11 2021-06-22 Cilag Gmbh International Staple cartridge for use with a surgical stapling instrument
US20080169333A1 (en) 2007-01-11 2008-07-17 Shelton Frederick E Surgical stapler end effector with tapered distal end
US8727197B2 (en) 2007-03-15 2014-05-20 Ethicon Endo-Surgery, Inc. Staple cartridge cavity configuration with cooperative surgical staple
US11857181B2 (en) 2007-06-04 2024-01-02 Cilag Gmbh International Robotically-controlled shaft based rotary drive systems for surgical instruments
US8931682B2 (en) 2007-06-04 2015-01-13 Ethicon Endo-Surgery, Inc. Robotically-controlled shaft based rotary drive systems for surgical instruments
US7753245B2 (en) 2007-06-22 2010-07-13 Ethicon Endo-Surgery, Inc. Surgical stapling instruments
US11849941B2 (en) 2007-06-29 2023-12-26 Cilag Gmbh International Staple cartridge having staple cavities extending at a transverse angle relative to a longitudinal cartridge axis
JP5410110B2 (ja) 2008-02-14 2014-02-05 エシコン・エンド−サージェリィ・インコーポレイテッド Ｒｆ電極を有する外科用切断・固定器具
US8573465B2 (en) 2008-02-14 2013-11-05 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical end effector system with rotary actuated closure systems
US8636736B2 (en) 2008-02-14 2014-01-28 Ethicon Endo-Surgery, Inc. Motorized surgical cutting and fastening instrument
US9179912B2 (en) 2008-02-14 2015-11-10 Ethicon Endo-Surgery, Inc. Robotically-controlled motorized surgical cutting and fastening instrument
US11986183B2 (en) 2008-02-14 2024-05-21 Cilag Gmbh International Surgical cutting and fastening instrument comprising a plurality of sensors to measure an electrical parameter
US7866527B2 (en) 2008-02-14 2011-01-11 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with interlockable firing system
US7819298B2 (en) 2008-02-14 2010-10-26 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with control features operable with one hand
US8758391B2 (en) 2008-02-14 2014-06-24 Ethicon Endo-Surgery, Inc. Interchangeable tools for surgical instruments
US10390823B2 (en) 2008-02-15 2019-08-27 Ethicon Llc End effector comprising an adjunct
US11648005B2 (en) 2008-09-23 2023-05-16 Cilag Gmbh International Robotically-controlled motorized surgical instrument with an end effector
US9386983B2 (en) 2008-09-23 2016-07-12 Ethicon Endo-Surgery, Llc Robotically-controlled motorized surgical instrument
US8210411B2 (en) 2008-09-23 2012-07-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument
US9005230B2 (en) 2008-09-23 2015-04-14 Ethicon Endo-Surgery, Inc. Motorized surgical instrument
US8608045B2 (en) 2008-10-10 2013-12-17 Ethicon Endo-Sugery, Inc. Powered surgical cutting and stapling apparatus with manually retractable firing system
US8517239B2 (en) 2009-02-05 2013-08-27 Ethicon Endo-Surgery, Inc. Surgical stapling instrument comprising a magnetic element driver
AU2010210795A1 (en) 2009-02-06 2011-08-25 Ethicon Endo-Surgery, Inc. Driven surgical stapler improvements
US8220688B2 (en) 2009-12-24 2012-07-17 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument with electric actuator directional control assembly
US8851354B2 (en) 2009-12-24 2014-10-07 Ethicon Endo-Surgery, Inc. Surgical cutting instrument that analyzes tissue thickness
US8783543B2 (en) 2010-07-30 2014-07-22 Ethicon Endo-Surgery, Inc. Tissue acquisition arrangements and methods for surgical stapling devices
US11812965B2 (en) 2010-09-30 2023-11-14 Cilag Gmbh International Layer of material for a surgical end effector
US11298125B2 (en) 2010-09-30 2022-04-12 Cilag Gmbh International Tissue stapler having a thickness compensator
US11925354B2 (en) 2010-09-30 2024-03-12 Cilag Gmbh International Staple cartridge comprising staples positioned within a compressible portion thereof
US9592050B2 (en) 2010-09-30 2017-03-14 Ethicon Endo-Surgery, Llc End effector comprising a distal tissue abutment member
US9351730B2 (en) 2011-04-29 2016-05-31 Ethicon Endo-Surgery, Llc Tissue thickness compensator comprising channels
US10945731B2 (en) 2010-09-30 2021-03-16 Ethicon Llc Tissue thickness compensator comprising controlled release and expansion
US9629814B2 (en) 2010-09-30 2017-04-25 Ethicon Endo-Surgery, Llc Tissue thickness compensator configured to redistribute compressive forces
US9320523B2 (en) 2012-03-28 2016-04-26 Ethicon Endo-Surgery, Llc Tissue thickness compensator comprising tissue ingrowth features
US8657176B2 (en) 2010-09-30 2014-02-25 Ethicon Endo-Surgery, Inc. Tissue thickness compensator for a surgical stapler
US8695866B2 (en) 2010-10-01 2014-04-15 Ethicon Endo-Surgery, Inc. Surgical instrument having a power control circuit
RU2606493C2 (ru) 2011-04-29 2017-01-10 Этикон Эндо-Серджери, Инк. Кассета со скобками, содержащая скобки, расположенные внутри ее сжимаемой части
US11207064B2 (en) 2011-05-27 2021-12-28 Cilag Gmbh International Automated end effector component reloading system for use with a robotic system
US9044230B2 (en) 2012-02-13 2015-06-02 Ethicon Endo-Surgery, Inc. Surgical cutting and fastening instrument with apparatus for determining cartridge and firing motion status
MX353040B (es) 2012-03-28 2017-12-18 Ethicon Endo Surgery Inc Unidad retenedora que incluye un compensador de grosor de tejido.
CN104334098B (zh) 2012-03-28 2017-03-22 伊西康内外科公司 包括限定低压强环境的胶囊剂的组织厚度补偿件
CN104321024B (zh) 2012-03-28 2017-05-24 伊西康内外科公司 包括多个层的组织厚度补偿件
US9101358B2 (en) 2012-06-15 2015-08-11 Ethicon Endo-Surgery, Inc. Articulatable surgical instrument comprising a firing drive
BR112014032776B1 (pt) 2012-06-28 2021-09-08 Ethicon Endo-Surgery, Inc Sistema de instrumento cirúrgico e kit cirúrgico para uso com um sistema de instrumento cirúrgico
US9204879B2 (en) 2012-06-28 2015-12-08 Ethicon Endo-Surgery, Inc. Flexible drive member
US20140001234A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Coupling arrangements for attaching surgical end effectors to drive systems therefor
US9282974B2 (en) 2012-06-28 2016-03-15 Ethicon Endo-Surgery, Llc Empty clip cartridge lockout
BR112014032740A2 (pt) 2012-06-28 2020-02-27 Ethicon Endo Surgery Inc bloqueio de cartucho de clipes vazio
US20140001231A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Firing system lockout arrangements for surgical instruments
US11278284B2 (en) 2012-06-28 2022-03-22 Cilag Gmbh International Rotary drive arrangements for surgical instruments
US9289256B2 (en) 2012-06-28 2016-03-22 Ethicon Endo-Surgery, Llc Surgical end effectors having angled tissue-contacting surfaces
RU2672520C2 (ru) 2013-03-01 2018-11-15 Этикон Эндо-Серджери, Инк. Шарнирно поворачиваемые хирургические инструменты с проводящими путями для передачи сигналов
JP6345707B2 (ja) 2013-03-01 2018-06-20 エシコン・エンド−サージェリィ・インコーポレイテッドＥｔｈｉｃｏｎ Ｅｎｄｏ−Ｓｕｒｇｅｒｙ，Ｉｎｃ． ソフトストップを備えた外科用器具
US9629629B2 (en) 2013-03-14 2017-04-25 Ethicon Endo-Surgey, LLC Control systems for surgical instruments
US9351726B2 (en) 2013-03-14 2016-05-31 Ethicon Endo-Surgery, Llc Articulation control system for articulatable surgical instruments
US9867612B2 (en) 2013-04-16 2018-01-16 Ethicon Llc Powered surgical stapler
BR112015026109B1 (pt) 2013-04-16 2022-02-22 Ethicon Endo-Surgery, Inc Instrumento cirúrgico
US10624634B2 (en) 2013-08-23 2020-04-21 Ethicon Llc Firing trigger lockout arrangements for surgical instruments
RU2678363C2 (ru) 2013-08-23 2019-01-28 ЭТИКОН ЭНДО-СЕРДЖЕРИ, ЭлЭлСи Устройства втягивания пускового элемента для хирургических инструментов с электропитанием
US9962161B2 (en) 2014-02-12 2018-05-08 Ethicon Llc Deliverable surgical instrument
WO2015124159A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
JP6542252B2 (ja) 2014-03-17 2019-07-10 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 遠隔操作医療システムにおける器具のオフスクリーン表示のためのシステム及び方法
BR112016021943B1 (pt) 2014-03-26 2022-06-14 Ethicon Endo-Surgery, Llc Instrumento cirúrgico para uso por um operador em um procedimento cirúrgico
US10013049B2 (en) 2014-03-26 2018-07-03 Ethicon Llc Power management through sleep options of segmented circuit and wake up control
US10004497B2 (en) 2014-03-26 2018-06-26 Ethicon Llc Interface systems for use with surgical instruments
CN106535812B (zh) 2014-03-28 2020-01-21 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术***
WO2015149040A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
WO2015149043A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging and printing of surgical implants
KR102373714B1 (ko) 2014-03-28 2022-03-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
US20150297223A1 (en) 2014-04-16 2015-10-22 Ethicon Endo-Surgery, Inc. Fastener cartridges including extensions having different configurations
CN106456158B (zh) 2014-04-16 2019-02-05 伊西康内外科有限责任公司 包括非一致紧固件的紧固件仓
CN106456159B (zh) 2014-04-16 2019-03-08 伊西康内外科有限责任公司 紧固件仓组件和钉保持器盖布置结构
US9833241B2 (en) 2014-04-16 2017-12-05 Ethicon Llc Surgical fastener cartridges with driver stabilizing arrangements
BR112016023698B1 (pt) 2014-04-16 2022-07-26 Ethicon Endo-Surgery, Llc Cartucho de prendedores para uso com um instrumento cirúrgico
US10327764B2 (en) 2014-09-26 2019-06-25 Ethicon Llc Method for creating a flexible staple line
US10016199B2 (en) 2014-09-05 2018-07-10 Ethicon Llc Polarity of hall magnet to identify cartridge type
US11311294B2 (en) 2014-09-05 2022-04-26 Cilag Gmbh International Powered medical device including measurement of closure state of jaws
BR112017004361B1 (pt) 2014-09-05 2023-04-11 Ethicon Llc Sistema eletrônico para um instrumento cirúrgico
US10105142B2 (en) 2014-09-18 2018-10-23 Ethicon Llc Surgical stapler with plurality of cutting elements
JP6648119B2 (ja) 2014-09-26 2020-02-14 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 外科ステープル留めバットレス及び付属物材料
US11523821B2 (en) 2014-09-26 2022-12-13 Cilag Gmbh International Method for creating a flexible staple line
US10076325B2 (en) 2014-10-13 2018-09-18 Ethicon Llc Surgical stapling apparatus comprising a tissue stop
US9924944B2 (en) 2014-10-16 2018-03-27 Ethicon Llc Staple cartridge comprising an adjunct material
US11141153B2 (en) 2014-10-29 2021-10-12 Cilag Gmbh International Staple cartridges comprising driver arrangements
US10517594B2 (en) 2014-10-29 2019-12-31 Ethicon Llc Cartridge assemblies for surgical staplers
US9844376B2 (en) 2014-11-06 2017-12-19 Ethicon Llc Staple cartridge comprising a releasable adjunct material
DE112015005073B4 (de) * 2014-11-06 2020-08-06 Sony Corporation Abbildungssystem, enthaltend eine Linse mit longitudinaler chromatischer Aberration, Endoskop und Abbildungsverfahren
US10736636B2 (en) 2014-12-10 2020-08-11 Ethicon Llc Articulatable surgical instrument system
US9987000B2 (en) 2014-12-18 2018-06-05 Ethicon Llc Surgical instrument assembly comprising a flexible articulation system
US9844375B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Drive arrangements for articulatable surgical instruments
US9844374B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Surgical instrument systems comprising an articulatable end effector and means for adjusting the firing stroke of a firing member
US9943309B2 (en) 2014-12-18 2018-04-17 Ethicon Llc Surgical instruments with articulatable end effectors and movable firing beam support arrangements
US10085748B2 (en) 2014-12-18 2018-10-02 Ethicon Llc Locking arrangements for detachable shaft assemblies with articulatable surgical end effectors
BR112017012996B1 (pt) 2014-12-18 2022-11-08 Ethicon Llc Instrumento cirúrgico com uma bigorna que é seletivamente móvel sobre um eixo geométrico imóvel distinto em relação a um cartucho de grampos
US11154301B2 (en) 2015-02-27 2021-10-26 Cilag Gmbh International Modular stapling assembly
US10617412B2 (en) 2015-03-06 2020-04-14 Ethicon Llc System for detecting the mis-insertion of a staple cartridge into a surgical stapler
US10245033B2 (en) 2015-03-06 2019-04-02 Ethicon Llc Surgical instrument comprising a lockable battery housing
US10548504B2 (en) 2015-03-06 2020-02-04 Ethicon Llc Overlaid multi sensor radio frequency (RF) electrode system to measure tissue compression
US10687806B2 (en) 2015-03-06 2020-06-23 Ethicon Llc Adaptive tissue compression techniques to adjust closure rates for multiple tissue types
US9993248B2 (en) 2015-03-06 2018-06-12 Ethicon Endo-Surgery, Llc Smart sensors with local signal processing
JP2020121162A (ja) 2015-03-06 2020-08-13 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 測定の安定性要素、クリープ要素、及び粘弾性要素を決定するためのセンサデータの時間依存性評価
US9901342B2 (en) 2015-03-06 2018-02-27 Ethicon Endo-Surgery, Llc Signal and power communication system positioned on a rotatable shaft
US9924961B2 (en) 2015-03-06 2018-03-27 Ethicon Endo-Surgery, Llc Interactive feedback system for powered surgical instruments
US9808246B2 (en) 2015-03-06 2017-11-07 Ethicon Endo-Surgery, Llc Method of operating a powered surgical instrument
US10441279B2 (en) 2015-03-06 2019-10-15 Ethicon Llc Multiple level thresholds to modify operation of powered surgical instruments
DE102015103426B4 (de) * 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
US10433844B2 (en) 2015-03-31 2019-10-08 Ethicon Llc Surgical instrument with selectively disengageable threaded drive systems
WO2017012624A1 (en) 2015-07-21 2017-01-26 3Dintegrated Aps Cannula assembly kit, trocar assembly kit, sleeve assembly, minimally invasive surgery system and method therefor
US11020144B2 (en) * 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US10617418B2 (en) 2015-08-17 2020-04-14 Ethicon Llc Implantable layers for a surgical instrument
US10238386B2 (en) 2015-09-23 2019-03-26 Ethicon Llc Surgical stapler having motor control based on an electrical parameter related to a motor current
US10105139B2 (en) 2015-09-23 2018-10-23 Ethicon Llc Surgical stapler having downstream current-based motor control
US10299878B2 (en) 2015-09-25 2019-05-28 Ethicon Llc Implantable adjunct systems for determining adjunct skew
US11890015B2 (en) 2015-09-30 2024-02-06 Cilag Gmbh International Compressible adjunct with crossing spacer fibers
US10561420B2 (en) 2015-09-30 2020-02-18 Ethicon Llc Tubular absorbable constructs
US10980539B2 (en) 2015-09-30 2021-04-20 Ethicon Llc Implantable adjunct comprising bonded layers
US20170086829A1 (en) 2015-09-30 2017-03-30 Ethicon Endo-Surgery, Llc Compressible adjunct with intermediate supporting structures
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US10265068B2 (en) 2015-12-30 2019-04-23 Ethicon Llc Surgical instruments with separable motors and motor control circuits
US10292704B2 (en) 2015-12-30 2019-05-21 Ethicon Llc Mechanisms for compensating for battery pack failure in powered surgical instruments
US10368865B2 (en) 2015-12-30 2019-08-06 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
BR112018016098B1 (pt) 2016-02-09 2023-02-23 Ethicon Llc Instrumento cirúrgico
US11213293B2 (en) 2016-02-09 2022-01-04 Cilag Gmbh International Articulatable surgical instruments with single articulation link arrangements
US10245029B2 (en) 2016-02-09 2019-04-02 Ethicon Llc Surgical instrument with articulating and axially translatable end effector
US11224426B2 (en) 2016-02-12 2022-01-18 Cilag Gmbh International Mechanisms for compensating for drivetrain failure in powered surgical instruments
US10448948B2 (en) 2016-02-12 2019-10-22 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
WO2017160792A1 (en) * 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
US10617413B2 (en) 2016-04-01 2020-04-14 Ethicon Llc Closure system arrangements for surgical cutting and stapling devices with separate and distinct firing shafts
US10335145B2 (en) 2016-04-15 2019-07-02 Ethicon Llc Modular surgical instrument with configurable operating mode
US11179150B2 (en) 2016-04-15 2021-11-23 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10426467B2 (en) 2016-04-15 2019-10-01 Ethicon Llc Surgical instrument with detection sensors
US10492783B2 (en) 2016-04-15 2019-12-03 Ethicon, Llc Surgical instrument with improved stop/start control during a firing motion
US10828028B2 (en) 2016-04-15 2020-11-10 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10456137B2 (en) 2016-04-15 2019-10-29 Ethicon Llc Staple formation detection mechanisms
US10357247B2 (en) 2016-04-15 2019-07-23 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US10478181B2 (en) 2016-04-18 2019-11-19 Ethicon Llc Cartridge lockout arrangements for rotary powered surgical cutting and stapling instruments
US11317917B2 (en) 2016-04-18 2022-05-03 Cilag Gmbh International Surgical stapling system comprising a lockable firing assembly
US20170296173A1 (en) 2016-04-18 2017-10-19 Ethicon Endo-Surgery, Llc Method for operating a surgical instrument
AU2017269937B2 (en) 2016-05-23 2022-06-16 Mako Surgical Corp. Systems and methods for identifying and tracking physical objects during a robotic surgical procedure
US10607408B2 (en) * 2016-06-04 2020-03-31 Shape Labs Inc. Method for rendering 2D and 3D data within a 3D virtual environment
BR112018076566A2 (pt) * 2016-06-20 2019-07-16 Avra Medical Robotics Inc sistema robótico para tratar a pele de um paciente, método para tratar uma região de pele de um paciente, e, unidade de navegação
US9846940B1 (en) 2016-08-15 2017-12-19 Canon U.S.A., Inc. Spectrally encoded endoscopic image process
JP2018075218A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 医療用支持アーム及び医療用システム
JP7010956B2 (ja) 2016-12-21 2022-01-26 エシコン エルエルシー 組織をステープル留めする方法
US10667809B2 (en) 2016-12-21 2020-06-02 Ethicon Llc Staple cartridge and staple cartridge channel comprising windows defined therein
US10736629B2 (en) 2016-12-21 2020-08-11 Ethicon Llc Surgical tool assemblies with clutching arrangements for shifting between closure systems with closure stroke reduction features and articulation and firing systems
US20180168579A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Surgical end effector with two separate cooperating opening features for opening and closing end effector jaws
US10758229B2 (en) 2016-12-21 2020-09-01 Ethicon Llc Surgical instrument comprising improved jaw control
CN110099619B (zh) 2016-12-21 2022-07-15 爱惜康有限责任公司 用于外科端部执行器和可替换工具组件的闭锁装置
US10779823B2 (en) 2016-12-21 2020-09-22 Ethicon Llc Firing member pin angle
US10682138B2 (en) 2016-12-21 2020-06-16 Ethicon Llc Bilaterally asymmetric staple forming pocket pairs
US11191539B2 (en) 2016-12-21 2021-12-07 Cilag Gmbh International Shaft assembly comprising a manually-operable retraction system for use with a motorized surgical instrument system
MX2019007295A (es) 2016-12-21 2019-10-15 Ethicon Llc Sistema de instrumento quirúrgico que comprende un bloqueo del efector de extremo y un bloqueo de la unidad de disparo.
US20180168615A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Method of deforming staples from two different types of staple cartridges with the same surgical stapling instrument
US11134942B2 (en) 2016-12-21 2021-10-05 Cilag Gmbh International Surgical stapling instruments and staple-forming anvils
US10835246B2 (en) 2016-12-21 2020-11-17 Ethicon Llc Staple cartridges and arrangements of staples and staple cavities therein
US10758230B2 (en) 2016-12-21 2020-09-01 Ethicon Llc Surgical instrument with primary and safety processors
MX2019007311A (es) 2016-12-21 2019-11-18 Ethicon Llc Sistemas de engrapado quirurgico.
US10617414B2 (en) 2016-12-21 2020-04-14 Ethicon Llc Closure member arrangements for surgical instruments
US10610224B2 (en) 2016-12-21 2020-04-07 Ethicon Llc Lockout arrangements for surgical end effectors and replaceable tool assemblies
US11419606B2 (en) 2016-12-21 2022-08-23 Cilag Gmbh International Shaft assembly comprising a clutch configured to adapt the output of a rotary firing member to two different systems
US11090048B2 (en) 2016-12-21 2021-08-17 Cilag Gmbh International Method for resetting a fuse of a surgical instrument shaft
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控***
WO2018225132A1 (ja) 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
USD879808S1 (en) 2017-06-20 2020-03-31 Ethicon Llc Display panel with graphical user interface
USD879809S1 (en) 2017-06-20 2020-03-31 Ethicon Llc Display panel with changeable graphical user interface
US11071554B2 (en) 2017-06-20 2021-07-27 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on magnitude of velocity error measurements
US11090046B2 (en) 2017-06-20 2021-08-17 Cilag Gmbh International Systems and methods for controlling displacement member motion of a surgical stapling and cutting instrument
US11382638B2 (en) 2017-06-20 2022-07-12 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified displacement distance
US10881396B2 (en) 2017-06-20 2021-01-05 Ethicon Llc Surgical instrument with variable duration trigger arrangement
USD890784S1 (en) 2017-06-20 2020-07-21 Ethicon Llc Display panel with changeable graphical user interface
US11653914B2 (en) 2017-06-20 2023-05-23 Cilag Gmbh International Systems and methods for controlling motor velocity of a surgical stapling and cutting instrument according to articulation angle of end effector
US10307170B2 (en) 2017-06-20 2019-06-04 Ethicon Llc Method for closed loop control of motor velocity of a surgical stapling and cutting instrument
US10881399B2 (en) 2017-06-20 2021-01-05 Ethicon Llc Techniques for adaptive control of motor velocity of a surgical stapling and cutting instrument
US10779820B2 (en) 2017-06-20 2020-09-22 Ethicon Llc Systems and methods for controlling motor speed according to user input for a surgical instrument
US10646220B2 (en) 2017-06-20 2020-05-12 Ethicon Llc Systems and methods for controlling displacement member velocity for a surgical instrument
US10813639B2 (en) 2017-06-20 2020-10-27 Ethicon Llc Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on system conditions
US11517325B2 (en) 2017-06-20 2022-12-06 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured displacement distance traveled over a specified time interval
US10624633B2 (en) 2017-06-20 2020-04-21 Ethicon Llc Systems and methods for controlling motor velocity of a surgical stapling and cutting instrument
US10888321B2 (en) 2017-06-20 2021-01-12 Ethicon Llc Systems and methods for controlling velocity of a displacement member of a surgical stapling and cutting instrument
US10980537B2 (en) 2017-06-20 2021-04-20 Ethicon Llc Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified number of shaft rotations
US10772629B2 (en) 2017-06-27 2020-09-15 Ethicon Llc Surgical anvil arrangements
US10993716B2 (en) 2017-06-27 2021-05-04 Ethicon Llc Surgical anvil arrangements
US11266405B2 (en) 2017-06-27 2022-03-08 Cilag Gmbh International Surgical anvil manufacturing methods
US10856869B2 (en) 2017-06-27 2020-12-08 Ethicon Llc Surgical anvil arrangements
US11090049B2 (en) 2017-06-27 2021-08-17 Cilag Gmbh International Staple forming pocket arrangements
US11324503B2 (en) 2017-06-27 2022-05-10 Cilag Gmbh International Surgical firing member arrangements
USD869655S1 (en) 2017-06-28 2019-12-10 Ethicon Llc Surgical fastener cartridge
US10695057B2 (en) 2017-06-28 2020-06-30 Ethicon Llc Surgical instrument lockout arrangement
CN117503384A (zh) 2017-06-28 2024-02-06 直观外科手术操作公司 用于将内窥镜图像数据集映射到三维体积上的***
US11246592B2 (en) 2017-06-28 2022-02-15 Cilag Gmbh International Surgical instrument comprising an articulation system lockable to a frame
US10903685B2 (en) 2017-06-28 2021-01-26 Ethicon Llc Surgical shaft assemblies with slip ring assemblies forming capacitive channels
US11564686B2 (en) 2017-06-28 2023-01-31 Cilag Gmbh International Surgical shaft assemblies with flexible interfaces
US11259805B2 (en) 2017-06-28 2022-03-01 Cilag Gmbh International Surgical instrument comprising firing member supports
EP3420947B1 (en) 2017-06-28 2022-05-25 Cilag GmbH International Surgical instrument comprising selectively actuatable rotatable couplers
USD906355S1 (en) 2017-06-28 2020-12-29 Ethicon Llc Display screen or portion thereof with a graphical user interface for a surgical instrument
US10716614B2 (en) 2017-06-28 2020-07-21 Ethicon Llc Surgical shaft assemblies with slip ring assemblies with increased contact pressure
US11000279B2 (en) 2017-06-28 2021-05-11 Ethicon Llc Surgical instrument comprising an articulation system ratio
US10765427B2 (en) 2017-06-28 2020-09-08 Ethicon Llc Method for articulating a surgical instrument
US10932772B2 (en) 2017-06-29 2021-03-02 Ethicon Llc Methods for closed loop velocity control for robotic surgical instrument
US10898183B2 (en) 2017-06-29 2021-01-26 Ethicon Llc Robotic surgical instrument with closed loop feedback techniques for advancement of closure member during firing
US11007022B2 (en) 2017-06-29 2021-05-18 Ethicon Llc Closed loop velocity control techniques based on sensed tissue parameters for robotic surgical instrument
US11589933B2 (en) * 2017-06-29 2023-02-28 Ix Innovation Llc Guiding a robotic surgical system to perform a surgical procedure
US11304695B2 (en) 2017-08-03 2022-04-19 Cilag Gmbh International Surgical system shaft interconnection
US11974742B2 (en) 2017-08-03 2024-05-07 Cilag Gmbh International Surgical system comprising an articulation bailout
US11471155B2 (en) 2017-08-03 2022-10-18 Cilag Gmbh International Surgical system bailout
US11944300B2 (en) 2017-08-03 2024-04-02 Cilag Gmbh International Method for operating a surgical system bailout
US10506991B2 (en) * 2017-08-31 2019-12-17 Biosense Webster (Israel) Ltd. Displaying position and optical axis of an endoscope in an anatomical image
USD917500S1 (en) 2017-09-29 2021-04-27 Ethicon Llc Display screen or portion thereof with graphical user interface
US11399829B2 (en) 2017-09-29 2022-08-02 Cilag Gmbh International Systems and methods of initiating a power shutdown mode for a surgical instrument
US10743872B2 (en) 2017-09-29 2020-08-18 Ethicon Llc System and methods for controlling a display of a surgical instrument
USD907648S1 (en) 2017-09-29 2021-01-12 Ethicon Llc Display screen or portion thereof with animated graphical user interface
US10729501B2 (en) 2017-09-29 2020-08-04 Ethicon Llc Systems and methods for language selection of a surgical instrument
US10765429B2 (en) 2017-09-29 2020-09-08 Ethicon Llc Systems and methods for providing alerts according to the operational state of a surgical instrument
USD907647S1 (en) 2017-09-29 2021-01-12 Ethicon Llc Display screen or portion thereof with animated graphical user interface
US11134944B2 (en) 2017-10-30 2021-10-05 Cilag Gmbh International Surgical stapler knife motion controls
US11090075B2 (en) 2017-10-30 2021-08-17 Cilag Gmbh International Articulation features for surgical end effector
US10779903B2 (en) 2017-10-31 2020-09-22 Ethicon Llc Positive shaft rotation lock activated by jaw closure
US10842490B2 (en) 2017-10-31 2020-11-24 Ethicon Llc Cartridge body design with force reduction based on firing completion
WO2019091875A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality triggering of devices
CN109893135A (zh) * 2017-12-08 2019-06-18 天启慧眼(北京)信息技术有限公司 插管的定位方法、装置和***
US10966718B2 (en) 2017-12-15 2021-04-06 Ethicon Llc Dynamic clamping assemblies with improved wear characteristics for use in connection with electromechanical surgical instruments
US11197670B2 (en) 2017-12-15 2021-12-14 Cilag Gmbh International Surgical end effectors with pivotal jaws configured to touch at their respective distal ends when fully closed
US10828033B2 (en) 2017-12-15 2020-11-10 Ethicon Llc Handheld electromechanical surgical instruments with improved motor control arrangements for positioning components of an adapter coupled thereto
US11071543B2 (en) 2017-12-15 2021-07-27 Cilag Gmbh International Surgical end effectors with clamping assemblies configured to increase jaw aperture ranges
US10743875B2 (en) 2017-12-15 2020-08-18 Ethicon Llc Surgical end effectors with jaw stiffener arrangements configured to permit monitoring of firing member
US11006955B2 (en) 2017-12-15 2021-05-18 Ethicon Llc End effectors with positive jaw opening features for use with adapters for electromechanical surgical instruments
US10687813B2 (en) 2017-12-15 2020-06-23 Ethicon Llc Adapters with firing stroke sensing arrangements for use in connection with electromechanical surgical instruments
US10779825B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Adapters with end effector position sensing and control arrangements for use in connection with electromechanical surgical instruments
US10779826B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Methods of operating surgical end effectors
US10869666B2 (en) 2017-12-15 2020-12-22 Ethicon Llc Adapters with control systems for controlling multiple motors of an electromechanical surgical instrument
US10743874B2 (en) 2017-12-15 2020-08-18 Ethicon Llc Sealed adapters for use with electromechanical surgical instruments
US11033267B2 (en) 2017-12-15 2021-06-15 Ethicon Llc Systems and methods of controlling a clamping member firing rate of a surgical instrument
US11045270B2 (en) 2017-12-19 2021-06-29 Cilag Gmbh International Robotic attachment comprising exterior drive actuator
US10835330B2 (en) 2017-12-19 2020-11-17 Ethicon Llc Method for determining the position of a rotatable jaw of a surgical instrument attachment assembly
US10716565B2 (en) 2017-12-19 2020-07-21 Ethicon Llc Surgical instruments with dual articulation drivers
USD910847S1 (en) 2017-12-19 2021-02-16 Ethicon Llc Surgical instrument assembly
US11020112B2 (en) 2017-12-19 2021-06-01 Ethicon Llc Surgical tools configured for interchangeable use with different controller interfaces
US10729509B2 (en) 2017-12-19 2020-08-04 Ethicon Llc Surgical instrument comprising closure and firing locking mechanism
US10743868B2 (en) 2017-12-21 2020-08-18 Ethicon Llc Surgical instrument comprising a pivotable distal head
US11129680B2 (en) 2017-12-21 2021-09-28 Cilag Gmbh International Surgical instrument comprising a projector
US11311290B2 (en) 2017-12-21 2022-04-26 Cilag Gmbh International Surgical instrument comprising an end effector dampener
US11076853B2 (en) 2017-12-21 2021-08-03 Cilag Gmbh International Systems and methods of displaying a knife position during transection for a surgical instrument
BR112020012245B1 (pt) * 2017-12-21 2023-10-10 Ethicon Llc Grampeador cirúrgico que compreende uma exibição de trajetória de disparo
JP7346422B2 (ja) * 2017-12-21 2023-09-19 エシコン エルエルシー 画像層を備えるディスプレイを有する外科用器具
JP7346416B2 (ja) * 2017-12-21 2023-09-19 エシコン エルエルシー 発射経路を決定するように構成された外科用器具
US11116420B2 (en) * 2017-12-26 2021-09-14 Biosense Webster (Israel) Ltd. Monitoring distance to selected anatomical structures during a procedure
US11058497B2 (en) * 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11026751B2 (en) * 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
WO2019163890A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
EP3781976A1 (en) 2018-04-18 2021-02-24 Gentex Corporation Confined field of view illumination in surgical microscopy
US11559298B2 (en) 2018-07-16 2023-01-24 Cilag Gmbh International Surgical visualization of multiple targets
US11291440B2 (en) 2018-08-20 2022-04-05 Cilag Gmbh International Method for operating a powered articulatable surgical instrument
US11324501B2 (en) 2018-08-20 2022-05-10 Cilag Gmbh International Surgical stapling devices with improved closure members
US11207065B2 (en) 2018-08-20 2021-12-28 Cilag Gmbh International Method for fabricating surgical stapler anvils
US11039834B2 (en) 2018-08-20 2021-06-22 Cilag Gmbh International Surgical stapler anvils with staple directing protrusions and tissue stability features
US10779821B2 (en) 2018-08-20 2020-09-22 Ethicon Llc Surgical stapler anvils with tissue stop features configured to avoid tissue pinch
US10842492B2 (en) 2018-08-20 2020-11-24 Ethicon Llc Powered articulatable surgical instruments with clutching and locking arrangements for linking an articulation drive system to a firing drive system
US11083458B2 (en) 2018-08-20 2021-08-10 Cilag Gmbh International Powered surgical instruments with clutching arrangements to convert linear drive motions to rotary drive motions
US11253256B2 (en) 2018-08-20 2022-02-22 Cilag Gmbh International Articulatable motor powered surgical instruments with dedicated articulation motor arrangements
US10856870B2 (en) 2018-08-20 2020-12-08 Ethicon Llc Switching arrangements for motor powered articulatable surgical instruments
US11045192B2 (en) 2018-08-20 2021-06-29 Cilag Gmbh International Fabricating techniques for surgical stapler anvils
USD914878S1 (en) 2018-08-20 2021-03-30 Ethicon Llc Surgical instrument anvil
US10912559B2 (en) 2018-08-20 2021-02-09 Ethicon Llc Reinforced deformable anvil tip for surgical stapler anvil
US11617493B2 (en) * 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
CN113490465A (zh) * 2019-02-28 2021-10-08 皇家飞利浦有限公司 用于机器学习模型的训练数据收集
US11147553B2 (en) 2019-03-25 2021-10-19 Cilag Gmbh International Firing drive arrangements for surgical systems
US11147551B2 (en) 2019-03-25 2021-10-19 Cilag Gmbh International Firing drive arrangements for surgical systems
US11172929B2 (en) 2019-03-25 2021-11-16 Cilag Gmbh International Articulation drive arrangements for surgical systems
US11696761B2 (en) 2019-03-25 2023-07-11 Cilag Gmbh International Firing drive arrangements for surgical systems
US11903581B2 (en) 2019-04-30 2024-02-20 Cilag Gmbh International Methods for stapling tissue using a surgical instrument
US11452528B2 (en) 2019-04-30 2022-09-27 Cilag Gmbh International Articulation actuators for a surgical instrument
US11426251B2 (en) 2019-04-30 2022-08-30 Cilag Gmbh International Articulation directional lights on a surgical instrument
US11471157B2 (en) 2019-04-30 2022-10-18 Cilag Gmbh International Articulation control mapping for a surgical instrument
US11648009B2 (en) 2019-04-30 2023-05-16 Cilag Gmbh International Rotatable jaw tip for a surgical instrument
US11432816B2 (en) 2019-04-30 2022-09-06 Cilag Gmbh International Articulation pin for a surgical instrument
US11253254B2 (en) 2019-04-30 2022-02-22 Cilag Gmbh International Shaft rotation actuator on a surgical instrument
JP7354608B2 (ja) * 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置
US11497492B2 (en) 2019-06-28 2022-11-15 Cilag Gmbh International Surgical instrument including an articulation lock
US11241235B2 (en) 2019-06-28 2022-02-08 Cilag Gmbh International Method of using multiple RFID chips with a surgical assembly
US11291451B2 (en) 2019-06-28 2022-04-05 Cilag Gmbh International Surgical instrument with battery compatibility verification functionality
US11051807B2 (en) 2019-06-28 2021-07-06 Cilag Gmbh International Packaging assembly including a particulate trap
US11523822B2 (en) 2019-06-28 2022-12-13 Cilag Gmbh International Battery pack including a circuit interrupter
US12004740B2 (en) 2019-06-28 2024-06-11 Cilag Gmbh International Surgical stapling system having an information decryption protocol
US11553971B2 (en) 2019-06-28 2023-01-17 Cilag Gmbh International Surgical RFID assemblies for display and communication
US11464601B2 (en) 2019-06-28 2022-10-11 Cilag Gmbh International Surgical instrument comprising an RFID system for tracking a movable component
US11246678B2 (en) 2019-06-28 2022-02-15 Cilag Gmbh International Surgical stapling system having a frangible RFID tag
US11627959B2 (en) 2019-06-28 2023-04-18 Cilag Gmbh International Surgical instruments including manual and powered system lockouts
US11771419B2 (en) 2019-06-28 2023-10-03 Cilag Gmbh International Packaging for a replaceable component of a surgical stapling system
US11259803B2 (en) 2019-06-28 2022-03-01 Cilag Gmbh International Surgical stapling system having an information encryption protocol
US11376098B2 (en) 2019-06-28 2022-07-05 Cilag Gmbh International Surgical instrument system comprising an RFID system
US11399837B2 (en) 2019-06-28 2022-08-02 Cilag Gmbh International Mechanisms for motor control adjustments of a motorized surgical instrument
US11426167B2 (en) 2019-06-28 2022-08-30 Cilag Gmbh International Mechanisms for proper anvil attachment surgical stapling head assembly
US11298132B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Inlernational Staple cartridge including a honeycomb extension
US11219455B2 (en) 2019-06-28 2022-01-11 Cilag Gmbh International Surgical instrument including a lockout key
US11478241B2 (en) 2019-06-28 2022-10-25 Cilag Gmbh International Staple cartridge including projections
US11224497B2 (en) 2019-06-28 2022-01-18 Cilag Gmbh International Surgical systems with multiple RFID tags
US11684434B2 (en) 2019-06-28 2023-06-27 Cilag Gmbh International Surgical RFID assemblies for instrument operational setting control
US11298127B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Interational Surgical stapling system having a lockout mechanism for an incompatible cartridge
US11638587B2 (en) 2019-06-28 2023-05-02 Cilag Gmbh International RFID identification systems for surgical instruments
US11660163B2 (en) 2019-06-28 2023-05-30 Cilag Gmbh International Surgical system with RFID tags for updating motor assembly parameters
US11911032B2 (en) 2019-12-19 2024-02-27 Cilag Gmbh International Staple cartridge comprising a seating cam
US11701111B2 (en) 2019-12-19 2023-07-18 Cilag Gmbh International Method for operating a surgical stapling instrument
US11529137B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Staple cartridge comprising driver retention members
US11607219B2 (en) 2019-12-19 2023-03-21 Cilag Gmbh International Staple cartridge comprising a detachable tissue cutting knife
US11234698B2 (en) 2019-12-19 2022-02-01 Cilag Gmbh International Stapling system comprising a clamp lockout and a firing lockout
US11504122B2 (en) 2019-12-19 2022-11-22 Cilag Gmbh International Surgical instrument comprising a nested firing member
US11446029B2 (en) 2019-12-19 2022-09-20 Cilag Gmbh International Staple cartridge comprising projections extending from a curved deck surface
US11304696B2 (en) 2019-12-19 2022-04-19 Cilag Gmbh International Surgical instrument comprising a powered articulation system
US11464512B2 (en) 2019-12-19 2022-10-11 Cilag Gmbh International Staple cartridge comprising a curved deck surface
US11529139B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Motor driven surgical instrument
US11576672B2 (en) 2019-12-19 2023-02-14 Cilag Gmbh International Surgical instrument comprising a closure system including a closure member and an opening member driven by a drive screw
US11291447B2 (en) 2019-12-19 2022-04-05 Cilag Gmbh International Stapling instrument comprising independent jaw closing and staple firing systems
US11931033B2 (en) 2019-12-19 2024-03-19 Cilag Gmbh International Staple cartridge comprising a latch lockout
US11559304B2 (en) 2019-12-19 2023-01-24 Cilag Gmbh International Surgical instrument comprising a rapid closure mechanism
US11844520B2 (en) 2019-12-19 2023-12-19 Cilag Gmbh International Staple cartridge comprising driver retention members
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11648060B2 (en) * 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11844497B2 (en) * 2020-02-28 2023-12-19 Covidien Lp Systems and methods for object measurement in minimally invasive robotic surgery
USD976401S1 (en) 2020-06-02 2023-01-24 Cilag Gmbh International Staple cartridge
USD975278S1 (en) 2020-06-02 2023-01-10 Cilag Gmbh International Staple cartridge
USD967421S1 (en) 2020-06-02 2022-10-18 Cilag Gmbh International Staple cartridge
USD975851S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD966512S1 (en) 2020-06-02 2022-10-11 Cilag Gmbh International Staple cartridge
USD975850S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD974560S1 (en) 2020-06-02 2023-01-03 Cilag Gmbh International Staple cartridge
US11826013B2 (en) 2020-07-28 2023-11-28 Cilag Gmbh International Surgical instruments with firing member closure features
US11617577B2 (en) 2020-10-29 2023-04-04 Cilag Gmbh International Surgical instrument comprising a sensor configured to sense whether an articulation drive of the surgical instrument is actuatable
US11717289B2 (en) 2020-10-29 2023-08-08 Cilag Gmbh International Surgical instrument comprising an indicator which indicates that an articulation drive is actuatable
US11779330B2 (en) 2020-10-29 2023-10-10 Cilag Gmbh International Surgical instrument comprising a jaw alignment system
US11534259B2 (en) 2020-10-29 2022-12-27 Cilag Gmbh International Surgical instrument comprising an articulation indicator
US11517390B2 (en) 2020-10-29 2022-12-06 Cilag Gmbh International Surgical instrument comprising a limited travel switch
US11452526B2 (en) 2020-10-29 2022-09-27 Cilag Gmbh International Surgical instrument comprising a staged voltage regulation start-up system
US11896217B2 (en) 2020-10-29 2024-02-13 Cilag Gmbh International Surgical instrument comprising an articulation lock
USD1013170S1 (en) 2020-10-29 2024-01-30 Cilag Gmbh International Surgical instrument assembly
US11931025B2 (en) 2020-10-29 2024-03-19 Cilag Gmbh International Surgical instrument comprising a releasable closure drive lock
US11844518B2 (en) 2020-10-29 2023-12-19 Cilag Gmbh International Method for operating a surgical instrument
USD980425S1 (en) 2020-10-29 2023-03-07 Cilag Gmbh International Surgical instrument assembly
US11627960B2 (en) 2020-12-02 2023-04-18 Cilag Gmbh International Powered surgical instruments with smart reload with separately attachable exteriorly mounted wiring connections
US11737751B2 (en) 2020-12-02 2023-08-29 Cilag Gmbh International Devices and methods of managing energy dissipated within sterile barriers of surgical instrument housings
US11849943B2 (en) 2020-12-02 2023-12-26 Cilag Gmbh International Surgical instrument with cartridge release mechanisms
US11678882B2 (en) 2020-12-02 2023-06-20 Cilag Gmbh International Surgical instruments with interactive features to remedy incidental sled movements
US11653920B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Powered surgical instruments with communication interfaces through sterile barrier
US11944296B2 (en) 2020-12-02 2024-04-02 Cilag Gmbh International Powered surgical instruments with external connectors
US11890010B2 (en) 2020-12-02 2024-02-06 Cllag GmbH International Dual-sided reinforced reload for surgical instruments
US11653915B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Surgical instruments with sled location detection and adjustment features
US11744581B2 (en) 2020-12-02 2023-09-05 Cilag Gmbh International Powered surgical instruments with multi-phase tissue treatment
US11980362B2 (en) 2021-02-26 2024-05-14 Cilag Gmbh International Surgical instrument system comprising a power transfer coil
US11950779B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Method of powering and communicating with a staple cartridge
US11950777B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Staple cartridge comprising an information access control system
US11925349B2 (en) 2021-02-26 2024-03-12 Cilag Gmbh International Adjustment to transfer parameters to improve available power
US11812964B2 (en) 2021-02-26 2023-11-14 Cilag Gmbh International Staple cartridge comprising a power management circuit
US11749877B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Stapling instrument comprising a signal antenna
US11723657B2 (en) 2021-02-26 2023-08-15 Cilag Gmbh International Adjustable communication based on available bandwidth and power capacity
US11696757B2 (en) 2021-02-26 2023-07-11 Cilag Gmbh International Monitoring of internal systems to detect and track cartridge motion status
US11730473B2 (en) 2021-02-26 2023-08-22 Cilag Gmbh International Monitoring of manufacturing life-cycle
US11793514B2 (en) 2021-02-26 2023-10-24 Cilag Gmbh International Staple cartridge comprising sensor array which may be embedded in cartridge body
US11751869B2 (en) 2021-02-26 2023-09-12 Cilag Gmbh International Monitoring of multiple sensors over time to detect moving characteristics of tissue
US11744583B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Distal communication array to tune frequency of RF systems
US11701113B2 (en) 2021-02-26 2023-07-18 Cilag Gmbh International Stapling instrument comprising a separate power antenna and a data transfer antenna
US11723658B2 (en) 2021-03-22 2023-08-15 Cilag Gmbh International Staple cartridge comprising a firing lockout
US11826042B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Surgical instrument comprising a firing drive including a selectable leverage mechanism
US11826012B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Stapling instrument comprising a pulsed motor-driven firing rack
US11759202B2 (en) 2021-03-22 2023-09-19 Cilag Gmbh International Staple cartridge comprising an implantable layer
US11806011B2 (en) 2021-03-22 2023-11-07 Cilag Gmbh International Stapling instrument comprising tissue compression systems
US11717291B2 (en) 2021-03-22 2023-08-08 Cilag Gmbh International Staple cartridge comprising staples configured to apply different tissue compression
US11737749B2 (en) 2021-03-22 2023-08-29 Cilag Gmbh International Surgical stapling instrument comprising a retraction system
US11744603B2 (en) 2021-03-24 2023-09-05 Cilag Gmbh International Multi-axis pivot joints for surgical instruments and methods for manufacturing same
US11793516B2 (en) 2021-03-24 2023-10-24 Cilag Gmbh International Surgical staple cartridge comprising longitudinal support beam
US11832816B2 (en) 2021-03-24 2023-12-05 Cilag Gmbh International Surgical stapling assembly comprising nonplanar staples and planar staples
US11903582B2 (en) 2021-03-24 2024-02-20 Cilag Gmbh International Leveraging surfaces for cartridge installation
US11849945B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Rotary-driven surgical stapling assembly comprising eccentrically driven firing member
US11944336B2 (en) 2021-03-24 2024-04-02 Cilag Gmbh International Joint arrangements for multi-planar alignment and support of operational drive shafts in articulatable surgical instruments
US11896218B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Method of using a powered stapling device
US11849944B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Drivers for fastener cartridge assemblies having rotary drive screws
US11786239B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Surgical instrument articulation joint arrangements comprising multiple moving linkage features
US11857183B2 (en) 2021-03-24 2024-01-02 Cilag Gmbh International Stapling assembly components having metal substrates and plastic bodies
US11896219B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Mating features between drivers and underside of a cartridge deck
US11786243B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Firing members having flexible portions for adapting to a load during a surgical firing stroke
CN113081268A (zh) * 2021-03-31 2021-07-09 上海电气集团股份有限公司 基于AR和IoT的手术引导***
US11723662B2 (en) 2021-05-28 2023-08-15 Cilag Gmbh International Stapling instrument comprising an articulation control display
US20230022785A1 (en) * 2021-07-20 2023-01-26 In'Tech Medical SAS Systems, methods, and devices for tracking surgical instruments and devices
US20230045275A1 (en) * 2021-08-05 2023-02-09 GE Precision Healthcare LLC Methods and system for guided device insertion during medical imaging
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230107857A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
US11980363B2 (en) 2021-10-18 2024-05-14 Cilag Gmbh International Row-to-row staple array variations
US11957337B2 (en) 2021-10-18 2024-04-16 Cilag Gmbh International Surgical stapling assembly with offset ramped drive surfaces
US11877745B2 (en) 2021-10-18 2024-01-23 Cilag Gmbh International Surgical stapling assembly having longitudinally-repeating staple leg clusters
US11937816B2 (en) 2021-10-28 2024-03-26 Cilag Gmbh International Electrical lead arrangements for surgical instruments
CN114099005B (zh) * 2021-11-24 2023-09-15 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
CN116563525B (zh) * 2023-07-10 2023-10-20 浙江华诺康科技有限公司 内窥镜运行轨迹指示方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065052A (zh) * 2004-12-27 2007-10-31 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法
CN102781303A (zh) * 2010-02-01 2012-11-14 塞拉芬·尼盖茨·伊图瓦 球形胶囊视频内窥镜检查
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的***和方法

Family Cites Families (199)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795830B2 (ja) 1984-08-31 1995-10-11 株式会社東芝 固体撮像装置
JPH04176429A (ja) 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
JP3217386B2 (ja) 1991-04-24 2001-10-09 オリンパス光学工業株式会社 診断システム
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
AT399647B (de) 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
JPH06160087A (ja) 1992-11-20 1994-06-07 Matsushita Electric Ind Co Ltd 画像を用いた距離測定方法及びその装置
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
US5394455A (en) 1993-04-30 1995-02-28 The Regents Of The University Of California Digitally aided microfluoroscopy and fluorospot system and method of using the same
JPH07240945A (ja) 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
DE4434539C2 (de) 1994-09-27 1998-06-04 Luis Dr Med Schuster Verfahren zur Herstellung einer Endoprothese als Gelenkersatz bei Kniegelenken
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
EP1577010A3 (en) 1995-12-05 2005-11-16 Tecan Trading AG Microsystem platform and its use
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2958458B1 (ja) 1998-08-26 1999-10-06 防衛庁技術研究本部長 多眼画像センサ
US6320979B1 (en) 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
JP2000149017A (ja) 1998-11-17 2000-05-30 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
US6490475B1 (en) * 2000-04-28 2002-12-03 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
JP2002024807A (ja) 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP4451968B2 (ja) 2000-07-11 2010-04-14 Ｈｏｙａ株式会社 ３次元画像入力装置
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
CA2427695C (en) 2001-04-26 2012-12-11 Teijin Limited Method for measuring 3d joint structure
DE10138537B4 (de) 2001-08-06 2006-07-06 Siemens Ag Taktiles Feedback zur Darstellung von Gewebeelastizität
US8175680B2 (en) 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
US20050018888A1 (en) * 2001-12-14 2005-01-27 Zonneveld Frans Wessel Method, system and computer program of visualizing the surface texture of the wall of an internal hollow organ of a subject based on a volumetric scan thereof
JP3751568B2 (ja) 2002-02-21 2006-03-01 株式会社サタケ 内視鏡における空気噴流診断装置
US9155544B2 (en) 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
JP2005087468A (ja) 2003-09-17 2005-04-07 Shoji Kawahito 距離画像計測機能を有する撮像装置及び内視鏡装置
JP4229791B2 (ja) 2003-09-19 2009-02-25 真 金子 内視鏡装置
TWM253942U (en) 2003-09-30 2004-12-21 Hon Hai Prec Ind Co Ltd Electrical connector contact
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US7289106B2 (en) 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
US20050254720A1 (en) 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
EP1804670B1 (en) 2004-08-17 2013-02-06 Technion Research & Development Foundation Limited Ultrasonic image-guided tissue-damaging
US7424088B2 (en) 2004-09-29 2008-09-09 Kabushiki Kaisha Toshiba Image reconstruction method using Hilbert transform
JP2006109939A (ja) 2004-10-12 2006-04-27 Chinontec Kk 内視鏡装置
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2006080076A1 (ja) 2005-01-28 2006-08-03 Saga University 三次元画像検出装置
JP2006305332A (ja) 2005-03-28 2006-11-09 Hiroshima Industrial Promotion Organization 画像処理装置およびそれを用いた内視鏡
US7752920B2 (en) 2005-12-30 2010-07-13 Intuitive Surgical Operations, Inc. Modular force sensor
US7312448B2 (en) 2005-04-06 2007-12-25 Carl Zeiss Nts Gmbh Method and apparatus for quantitative three-dimensional reconstruction in scanning electron microscopy
JP4954197B2 (ja) 2005-04-27 2012-06-13 オブデュキャット、アクチボラグ パターンを被転写体に転写する手段
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
WO2007025081A2 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
EP1931237A2 (en) 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
CN103142309B (zh) 2005-10-20 2015-06-17 直观外科手术操作公司 医用机器人***中的计算机显示屏上的辅助图像显示和操纵
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
CN100450445C (zh) 2006-01-11 2009-01-14 中国科学院自动化研究所 一种实时自由臂三维超声成像***及其方法
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
IL181470A (en) 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP1854425A1 (de) * 2006-05-11 2007-11-14 BrainLAB AG Medizintechnische Positionsbestimmung mit redundanten Positionserfassungseinrichtungen und Prioritätsgewichtung für die Positionserfassungseinrichtungen
WO2007139949A2 (en) 2006-05-25 2007-12-06 Spinemedica Corporation Patient-specific spinal implants and related systems and methods
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
GB0613576D0 (en) 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
ATE472141T1 (de) 2006-08-21 2010-07-15 Sti Medical Systems Llc Computergestützte analyse mit hilfe von videodaten aus endoskopen
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8496575B2 (en) 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
CA2654342A1 (en) 2006-11-17 2008-05-29 Mark A. Salada Haptic interface device and method for using such
WO2008071014A1 (en) 2006-12-15 2008-06-19 Ao Technology Ag Method and device for computer assisted distal locking of intramedullary nails
US20100149183A1 (en) 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
DE202007018027U1 (de) 2007-01-31 2008-04-17 Richard Wolf Gmbh Endoskopsystem
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
CN100594840C (zh) 2007-05-18 2010-03-24 深圳先进技术研究院 一种跟踪体内微型装置的方法
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
JP2010532681A (ja) 2007-06-29 2010-10-14 スリーエム イノベイティブ プロパティズ カンパニー 歯科用モデルのための、ビデオ補助境界マーキング
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
FR2920085B1 (fr) 2007-08-24 2012-06-15 Univ Grenoble 1 Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US20090133260A1 (en) 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
US20100111389A1 (en) 2007-12-06 2010-05-06 Siemens Medical Solutions Usa, Inc. System and method for planning and guiding percutaneous procedures
US20090157059A1 (en) 2007-12-14 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Surgical instrument navigation system
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
JP2009204991A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US20090221908A1 (en) * 2008-03-01 2009-09-03 Neil David Glossop System and Method for Alignment of Instrumentation in Image-Guided Intervention
DE102008018636B4 (de) 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8636653B2 (en) 2008-06-09 2014-01-28 Capso Vision, Inc. In vivo camera with multiple sources to illuminate tissue at different distances
US8086026B2 (en) * 2008-06-27 2011-12-27 Waldean Schulz Method and system for the determination of object positions in a volume
EP2145575A1 (en) 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
BRPI0803388A2 (pt) 2008-08-14 2010-06-15 Petroleo Brasileiro Sa sistema estereoscópico endoscópico
JP5435916B2 (ja) 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
JP4702569B2 (ja) 2008-09-30 2011-06-15 マツダ株式会社 車両用画像処理装置
WO2010046802A1 (en) * 2008-10-20 2010-04-29 Koninklijke Philips Electronics, N.V. Image-based localization method and system
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US9978288B2 (en) 2009-02-13 2018-05-22 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
US8690776B2 (en) * 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US9017334B2 (en) 2009-02-24 2015-04-28 Microport Orthopedics Holdings Inc. Patient specific surgical guide locator and mount
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8939894B2 (en) 2009-03-31 2015-01-27 Intuitive Surgical Operations, Inc. Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera
WO2010118117A1 (en) 2009-04-07 2010-10-14 Regents Of The University Of Minnesota Sensing tissue properties
US8660331B2 (en) 2009-04-25 2014-02-25 Siemens Aktiengesellschaft Method and a system for assessing the relative pose of an implant and a bone of a creature
EP2245982A1 (en) 2009-04-30 2010-11-03 BAE Systems PLC Endoscopic method and device
US9138597B2 (en) 2009-05-14 2015-09-22 University Health Network Quantitative endoscopy
WO2010140074A1 (en) * 2009-06-01 2010-12-09 Koninklijke Philips Electronics N.V. Distance-based position tracking method and system
US9439735B2 (en) 2009-06-08 2016-09-13 MRI Interventions, Inc. MRI-guided interventional systems that can track and generate dynamic visualizations of flexible intrabody devices in near real time
EP2442718B1 (en) 2009-06-16 2018-04-25 MRI Interventions, Inc. Mri-guided devices and mri-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US10026016B2 (en) 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
ES2353099B1 (es) 2009-07-30 2012-01-02 Fundacion Para Progreso Soft Computing Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
US20110032088A1 (en) 2009-08-10 2011-02-10 Electronics And Telecommunications Research Institute Method of encoding haptic information on image, method of decoding haptic information from image and apparatus of processing haptic information for the same
DE102009043523A1 (de) 2009-09-30 2011-04-07 Siemens Aktiengesellschaft Endoskop
WO2011055245A1 (en) 2009-11-04 2011-05-12 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9436280B2 (en) 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
EP2523621B1 (en) 2010-01-13 2016-09-28 Koninklijke Philips N.V. Image integration based registration and navigation for endoscopic surgery
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2011200515A (ja) 2010-03-26 2011-10-13 Hoya Corp 触覚センサを備える電子内視鏡及び電子内視鏡システム
JP5432793B2 (ja) 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP2013523415A (ja) 2010-04-14 2013-06-17 スミス アンド ネフュー インコーポレーテッド 患者立脚型コンピュータ支援外科的処置のためのシステムおよび方法
JP5577157B2 (ja) * 2010-06-01 2014-08-20 株式会社ダイヘン ロボット制御システム
MX337815B (es) 2010-06-11 2016-03-18 Ethicon Llc Herramientas para dispensar suturas para cirugía endoscópica y asistida por robot y métodos.
CN103209656B (zh) 2010-09-10 2015-11-25 约翰霍普金斯大学 配准过的表面下解剖部的可视化
CN103108602B (zh) 2010-09-15 2015-09-30 皇家飞利浦电子股份有限公司 从血管树图像对内窥镜的机器人控制
DE102010050227A1 (de) 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
EP2693975B1 (en) 2011-04-07 2018-11-28 3Shape A/S 3d system for guiding objects
US9138148B2 (en) 2011-04-13 2015-09-22 St. Jude Medical, Inc. High speed elastographic property mapping of lumens utilizing micropalpation delivered from an OCT-equipped catheter tip
JP6083028B2 (ja) 2011-05-12 2017-02-22 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 相互接続を最適化する許容誤差がある画像センサ
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US10052157B2 (en) * 2011-08-21 2018-08-21 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US9204939B2 (en) * 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
DE202012013197U1 (de) * 2011-08-21 2015-05-21 M.S.T. Medical Surgery Technologies Ltd. Vorrichtung zum Unterstützen einer laparoskopischen Chirurgie - Regelbasierte Herangehensweise
US9883788B2 (en) 2011-09-13 2018-02-06 Visionsense Ltd. Proximal high definition endoscope
WO2013043761A1 (en) * 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2781182A4 (en) 2011-11-15 2015-08-05 Naoki Suzuki PHOTOGRAPHIC DEVICE AND PHOTOGRAPHIC SYSTEM
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
EP2793688A4 (en) 2011-12-19 2015-05-06 Univ California SYSTEM AND METHOD FOR QUANTIFYING BODILY PALPATION FOR THE IMPROVEMENT OF MEDICAL DIAGNOSIS
WO2013095830A1 (en) 2011-12-22 2013-06-27 Mimedx Group Inc. Cross-linked dehydrated placental tissue grafts and methods for making and using the same
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US20130211244A1 (en) * 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
KR20130092189A (ko) 2012-02-10 2013-08-20 삼성전자주식회사 촉각 전달 장치 및 방법
US9092996B2 (en) 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
US10758209B2 (en) 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
EP2838412B1 (en) * 2012-04-19 2020-09-09 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3d images
CN102636130B (zh) 2012-04-19 2014-07-09 中国科学院光电技术研究所 一种大动态范围测量非球面光学元件表面轮廓装置
EP2845184A1 (en) 2012-04-23 2015-03-11 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Device for rehabilitating brain mechanism of visual perception using complementary sensual stimulations
BR112014027419B1 (pt) 2012-05-03 2021-05-18 Synthes Gmbh método para produzir um guia cirúrgico específico para paciente
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
JP6053342B2 (ja) 2012-06-15 2016-12-27 キヤノン株式会社 医療用マニピュレータおよび、該医療用マニピュレータを備えた医療用画像撮影システム
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
SG11201502034WA (en) 2012-09-19 2015-05-28 Univ Nanyang Tech Flexible master - slave robotic endoscopy system
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
JP5676058B1 (ja) 2013-03-06 2015-02-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
US20150374210A1 (en) 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
CN103269430A (zh) 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法
CN103356155B (zh) 2013-06-24 2014-12-31 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查***
US20150062299A1 (en) 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
US10022914B2 (en) 2013-11-12 2018-07-17 Adobe Systems Incorporated Method and apparatus for automatically adding utility holes to printable 3-dimensional models
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
CA2936453A1 (en) 2014-01-09 2015-07-16 Axiosonic, Llc Systems and methods using ultrasound for treatment
US10130329B2 (en) * 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
KR102237597B1 (ko) 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
WO2015149040A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
KR102373714B1 (ko) 2014-03-28 2022-03-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
CN106535812B (zh) 2014-03-28 2020-01-21 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术***
JP2017513662A (ja) 2014-03-28 2017-06-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Ｑ３ｄ画像の３ｄ画像とのアライメント
WO2015149043A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging and printing of surgical implants
US11116383B2 (en) * 2014-04-02 2021-09-14 Asensus Surgical Europe S.à.R.L. Articulated structured light based-laparoscope
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US20220015841A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Robotic device and sterilization unit for surgical instrument
CA3149196C (en) * 2022-02-17 2024-03-05 Cae Healthcare Canada Inc. Method and system for generating a simulated medical image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065052A (zh) * 2004-12-27 2007-10-31 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法
CN102781303A (zh) * 2010-02-01 2012-11-14 塞拉芬·尼盖茨·伊图瓦 球形胶囊视频内窥镜检查
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的***和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-time 3D Modeling from Endoscope Image Sequences;Oscar Garcla;《ICRA 2009 Workshop-Advanced Sensing and Sensor Integration In Medical Robotics》;20090513;全文 *

Also Published As

Publication number Publication date
US20220241013A1 (en) 2022-08-04
CN111184577A (zh) 2020-05-22
KR102387096B1 (ko) 2022-04-15
JP2017515617A (ja) 2017-06-15
JP6854237B2 (ja) 2021-04-07
EP3125808B1 (en) 2023-01-04
US11266465B2 (en) 2022-03-08
EP3125808A4 (en) 2018-03-21
KR20160138142A (ko) 2016-12-02
WO2015149041A1 (en) 2015-10-01
CN106456267A (zh) 2017-02-22
US20170172662A1 (en) 2017-06-22
EP3125808A1 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106456267B (zh) 器械在视野中的定量三维可视化
JP7321916B2 (ja) 手術シーンの定量的三次元撮像
KR102373714B1 (ko) 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
EP3122232B1 (en) Alignment of q3d models with 3d images
US11357593B2 (en) Endoscopic imaging with augmented parallax
US11304771B2 (en) Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
CN114423367A (zh) 用于执行与计算机辅助外科手术***相关联的基于外部体壁数据和内部深度数据执行的操作的***和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant