CN113470184A - 内窥镜增强现实误差补偿方法及装置 - Google Patents

内窥镜增强现实误差补偿方法及装置 Download PDF

Info

Publication number
CN113470184A
CN113470184A CN202110676612.2A CN202110676612A CN113470184A CN 113470184 A CN113470184 A CN 113470184A CN 202110676612 A CN202110676612 A CN 202110676612A CN 113470184 A CN113470184 A CN 113470184A
Authority
CN
China
Prior art keywords
endoscope
camera
pose
augmented reality
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110676612.2A
Other languages
English (en)
Inventor
李文杰
范敬凡
宋红
艾丹妮
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110676612.2A priority Critical patent/CN113470184A/zh
Publication of CN113470184A publication Critical patent/CN113470184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Endoscopes (AREA)

Abstract

内窥镜增强现实误差补偿方法及装置，AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使***的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于***定位噪声和图像中角点识别噪声的敏感性强。方法包括：(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。

Description

内窥镜增强现实误差补偿方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种内窥镜增强现实误差补偿方法，以及内窥镜增强现实误差补偿装置。
背景技术
在过去的十余年时间里，手术导航已经成为微创手术中重要的辅助工具，用来保证手术过程的精确性和安全性。近年来，随着增强现实(AR)技术的发展，这项技术也被越来越多地与手术导航相结合。基于AR的手术导航为医生提供了肿瘤、神经和血管等重要组织结构的形状和位置信息，通过将特定组织器官或感兴趣区域的AR信息叠加在内窥镜或显微镜视图上，而不需要额外的显示器来显示，为医生提供更加丰富的导航信息的同时，避免了分散医生的视线和注意力。
基于AR的手术导航通常需要经过图像配准以及相机标定(包括畸变系数、内参和外参)两个步骤。这两个步骤实现了AR成像过程涉及的三个主要坐标系之间的统一，即人所在真实世界坐标系、图像所在虚拟世界坐标系以及相机坐标系。多项针对内镜AR手术导航的研究表明，他们所使用的硬件配置大致相同，包括光学或电磁外部***、位置传感器和内窥镜。通过将位置传感器固定在内窥镜上，并使用外部***实时获取内窥镜相机坐标系到真实世界坐标系的刚性变换，可以将虚拟对象与内窥镜成像平面对齐，实现AR融合叠加显示。这需要三个不变参数来实现：1)通过真实-图像配准计算虚拟世界坐标系到真实世界坐标系的刚性变换；2)通过相机标定计算相机成像模型参数，用于3D世界坐标到2D成像平面的映射；3)通过手眼标定计算相机坐标系到世界坐标系的刚性变换。这些参数在AR导航中随着内窥镜的运动而更新，并且这些参数的准确度会显著影响AR融合显示的准确度。
手术导航中的真实-图像配准经历了由基于标识点(fiducial-based)到基于表面(surface-based)的配准方法，目前已经可以提供亚毫米级的导航精度。相机标定作为计算机视觉领域中的基本任务之一，一直以来都是该领域的研究热点。通过对2D相机畸变系数、内部参数和外部参数的标定，建立起三维世界与相机二维成像平面之间的映射关系，并由此来指导计算机认知整个现实世界。在基于AR的内镜手术导航***中，相机的外参标定问题常被看作一个手眼标定问题来求解。通过手眼标定，计算出内窥镜相机相对于光学标志物的相对刚性变换，进而实现对内窥镜相机的实时跟踪和定位。手眼标定这一概念来自于机器人视觉***，其中的“手”和“眼”分别指的是机器人操作臂和与其固定的相机。根据***硬件配置的不同，内镜AR***中的手眼标定问题可以被方程AX＝XB或AX＝YB来描述。求解这两种方程的方法一直以来也是备受关注的研究领域。
尽管很明显，更高精度的配准和标定可以带来更高的AR导航精度。但由于***中噪声的存在，配准和标定结果中仍然有残余的空间变换误差存在。且每次空间变换中的残余误差都会累积，从而影响AR融合的准确性。根据我们的调查，传统的内镜AR导航***都使用上述两个独立的标定步骤的组合方法来实现AR导航，而忽略了多次空间变换中的累积误差对AR成像性能的影响。不同的是Lee等人于2020年提出一种应用于AR导航***的一步标定(one-step calibration)法。他们利用特制的标识点，实现患者-图像配准和内镜手眼标定的同步优化。虽然这在一定程度上能够提升AR融合的精度，但并没有真正解决由于误差累积导致的导航精度下降问题。同时，这种方法要求患者粘贴特制标识点进行影像扫描，无疑增加了术者在术前的工作量，对于临床环境并不友好。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种内窥镜增强现实误差补偿方法，其AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使***的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于***定位噪声和图像中角点识别噪声的敏感性强。
本发明的技术方案是：这种内窥镜增强现实误差补偿方法，其包括以下步骤：
(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；
(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
本发明通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值，然后提出一种基于2D标记的交互式内窥镜相机位姿估计方法，通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵，因此AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使***的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于***定位噪声和图像中角点识别噪声的敏感性强。
还提供了内窥镜增强现实误差补偿装置，其包括：
观测值获取模块，其配置来通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值；
相机位姿补偿模块，其配置来通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
附图说明
图1是根据本发明的内窥镜增强现实误差补偿方法的流程图。
具体实施方式
如图1所示，这种内窥镜增强现实误差补偿方法，其包括以下步骤：
(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；
(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
本发明通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值，然后提出一种基于2D标记的交互式内窥镜相机位姿估计方法，通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵，因此AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使***的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于***定位噪声和图像中角点识别噪声的敏感性强。
优选地，所述步骤(1)中，定义
Figure BDA0003118010710000041
表示A坐标系到B坐标系的转换，相关的坐标系包括光学跟踪***{O}、真实跟踪标志{PM}、虚拟对象{V}、内窥镜跟踪标志{EM}、内窥镜相机{EC}和内窥镜图像{EI}，其中虚拟对象是从CT医学影像中提取的3D感兴趣区域；
通过基于标识点的图像配准方法在图像虚拟空间和患者物理空间分别找到至少3个不共线的点对，记为PV和PPM，利用SVD分解最小化以下公式(1)，找到两个坐标系之间的最优变换关系
Figure BDA0003118010710000042
Figure BDA0003118010710000043
其中N为用于患者-图像配准的点对个数，‖·‖2表示L2范数；
相应的相机标定任务包括对相机外部参数、固有参数和畸变系数的标定，将相机成像模型简化为一个针孔模型，该模型通过相机的固有参数矩阵K来表示：
Figure BDA0003118010710000051
其中u0和v0为主点的坐标，fx和fy分别为两个坐标轴方向上的焦距；
通过在不同方位拍摄含有二维棋盘格的至少三幅图像计算出相机的固有参数和畸变系数；
将标志物{EM}固定在内窥镜管上，并设计一个带有标志物{CM}的棋盘格{CB}，标定过程中，使用内窥镜在N(N≥2)个方位捕获数据，并通过最小化以下公式(3)来计算内窥镜相机到内窥镜标志物之间的变换
Figure BDA0003118010710000052
Figure BDA0003118010710000053
其中
Figure BDA0003118010710000054
分别为手眼标定方程中待求解的矩阵X和Y。
优选地，所述步骤(2)中，假设{EC-V}和{EC-R}分别表示相机位姿的观测值和真实值，则由于***中空间变换的残余误差的存在，会导致{EC-V}和{EC-R}之间有一定偏移，表示为Terr；
内窥镜相机的观测姿态Tob表示为：
Figure BDA0003118010710000055
其中
Figure BDA0003118010710000056
通过离线的手眼标定获得，
Figure BDA0003118010710000057
通过光学***实时获取；
找到最佳的Terr使其满足公式(5)：
min‖TobTerr-Test‖2 (5)。
优选地，所述步骤(2)中，Test的求解问题转变为两个单应性变换的估计问题，分别是：棋盘格到相机坐标系的单应性变换
Figure BDA0003118010710000061
和棋盘格到光学跟踪***OTS坐标系的单应性变换
Figure BDA0003118010710000062
优选地，所述步骤(2)中，利用相机的投影模型，估计相机与2D标记之间的位姿关系问题转化为最小化以下公式(6)：
Figure BDA0003118010710000063
其中，PCB和PCAM分别表示特征点在2D标记自身坐标系和相机图像坐标系下的点坐标，下标i为角点索引，N为角点数量，N≥3，运算符Q(·)用于将棋盘格的点投影到相机像平面，相机的固有参数K和畸变系数D均通过离线标定过程计算得到；利用LM算法迭代地求得公式(6)的最优解
Figure BDA0003118010710000064
优选地，所述步骤(2)中，2D标记与OTS坐标系之间的单应性变换通过一种快速的带有噪声平面之间的单应性估计方法来完成，包括：首先，利用跟踪的探针在2D标记中选取角点用于单应性矩阵计算，选取边角的4个角点，记为PO，并在2D标记上划取来收集所在平面的点集数据；然后，RANSAC算法被用来快速估计所取得点的平面方程lP，并将PO在该平面上的投影点作为其近似的真实坐标；2D标记与OTS之间的单应性估计问题转化为最小化以下公式(7)：
Figure BDA0003118010710000065
其中，Q(·)用于将点PO投影到lP平面，利用LM算法迭代地求得公式(7)的最优解
Figure BDA0003118010710000066
得到内窥镜相机姿态的估计值为：
Figure BDA0003118010710000067
优选地，所述步骤(2)中，令公式(5)括号中的部分为0，求解使得公式(5)成立的最佳误差矩阵Terr：
Terr＝(Tob)-1Test (9)
则补偿后的相机位姿
Figure BDA0003118010710000071
表示为：
Figure BDA0003118010710000072
其中
Figure BDA0003118010710000073
为通过手眼标定过程得到的内窥镜相机{EC}到内窥镜标志物{EM}之间的固定变换。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种内窥镜增强现实误差补偿装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
观测值获取模块，其配置来通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值；
相机位姿补偿模块，其配置来通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.内窥镜增强现实误差补偿方法，其特征在于：其包括以下步骤：
(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；
(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
2.根据权利要求1所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(1)中，定义
Figure FDA0003118010700000011
表示A坐标系到B坐标系的转换，相关的坐标系包括光学跟踪***{O}、真实跟踪标志{PM}、虚拟对象{V}、内窥镜跟踪标志{EM}、内窥镜相机{EC}和内窥镜图像{EI}，其中虚拟对象是从CT医学影像中提取的3D感兴趣区域；
通过基于标识点的图像配准方法在图像虚拟空间和患者物理空间分别找到至少3个不共线的点对，记为PV和PPM，利用SVD分解最小化以下公式(1)，找到两个坐标系之间的最优变换关系
Figure FDA0003118010700000012
Figure FDA0003118010700000013
其中N为用于患者-图像配准的点对个数，‖·‖2表示L2范数；
相应的相机标定任务包括对相机外部参数、固有参数和畸变系数的标定，将相机成像模型简化为一个针孔模型，该模型通过相机的固有参数矩阵K来表示：
Figure FDA0003118010700000014
其中u0和v0为主点的坐标，fx和fy分别为两个坐标轴方向上的焦距；
通过在不同方位拍摄含有二维棋盘格的至少三幅图像计算出相机的固有参数和畸变系数；
将标志物{EM}固定在内窥镜管上，并设计一个带有标志物{CM}的棋盘格{CB}，标定过程中，使用内窥镜在N(N≥2)个方位捕获数据，并通过最小化以下公式(3)来计算内窥镜相机到内窥镜标志物之间的变换
Figure FDA0003118010700000021
Figure FDA0003118010700000022
其中
Figure FDA0003118010700000023
分别为手眼标定方程中待求解的矩阵X和Y。
3.根据权利要求2所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，假设{EC-V}和{EC-R}分别表示相机位姿的观测值和真实值，则由于***中空间变换的残余误差的存在，会导致{EC-V}和{EC-R}之间有一定偏移，表示为Terr；
内窥镜相机的观测姿态Tob表示为：
Figure FDA0003118010700000024
其中
Figure FDA0003118010700000025
通过离线的手眼标定获得，
Figure FDA0003118010700000026
通过光学***实时获取；
找到最佳的Terr使其满足公式(5)：
min‖TobTerr-Test‖2 (5)。
4.根据权利要求3所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，Test的求解问题转变为两个单应性变换的估计问题，分别是：棋盘格到相机坐标系的单应性变换
Figure FDA0003118010700000027
和棋盘格到OTS坐标系的单应性变换
Figure FDA0003118010700000028
5.根据权利要求4所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，利用相机的投影模型，估计相机与2D标记之间的位姿关系问题转化为最小化以下公式(6)：
Figure FDA0003118010700000029
其中，PCB和PCAM分别表示特征点在2D标记自身坐标系和相机图像坐标系下的点坐标，下标i为角点索引，N为角点数量，N≥3，运算符Q(·)用于将棋盘格的点投影到相机像平面，相机的固有参数K和畸变系数D均通过离线标定过程计算得到；利用LM算法迭代地求得公式(6)的最优解
Figure FDA0003118010700000031
6.根据权利要求5所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，2D标记与OTS坐标系之间的单应性变换通过一种快速的带有噪声平面之间的单应性估计方法来完成，包括：首先，利用跟踪的探针在2D标记中选取角点用于单应性矩阵计算，选取边角的4个角点，记为PO，并在2D标记上划取来收集所在平面的点集数据；然后，RANSAC算法被用来快速估计所取得点的平面方程lP，并将PO在该平面上的投影点作为其近似的真实坐标；2D标记与OTS之间的单应性估计问题转化为最小化以下公式(7)：
Figure FDA0003118010700000032
其中，Q(·)用于将点PO投影到lP平面，利用LM算法迭代地求得公式(7)的最优解
Figure FDA0003118010700000033
得到内窥镜相机姿态的估计值为：
Figure FDA0003118010700000034
7.根据权利要求6所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，令公式(5)括号中的部分为0，求解使得公式(5)成立的最佳误差矩阵Terr：
Terr＝(Tob)-1Text (9)
则补偿后的相机位姿
Figure FDA0003118010700000035
表示为：
Figure FDA0003118010700000036
其中
Figure FDA0003118010700000041
为通过手眼标定过程得到的内窥镜相机{EC}到内窥镜标志物{EM}之间的固定变换。
8.内窥镜增强现实误差补偿装置，其特征在于：其包括：
观测值获取模块，其配置来通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值；
相机位姿补偿模块，其配置来通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
CN202110676612.2A 2021-06-16 2021-06-16 内窥镜增强现实误差补偿方法及装置 Pending CN113470184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110676612.2A CN113470184A (zh) 2021-06-16 2021-06-16 内窥镜增强现实误差补偿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110676612.2A CN113470184A (zh) 2021-06-16 2021-06-16 内窥镜增强现实误差补偿方法及装置

Publications (1)

Publication Number Publication Date
CN113470184A true CN113470184A (zh) 2021-10-01

Family

ID=77870433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110676612.2A Pending CN113470184A (zh) 2021-06-16 2021-06-16 内窥镜增强现实误差补偿方法及装置

Country Status (1)

Country Link
CN (1) CN113470184A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937139A (zh) * 2022-06-01 2022-08-23 天津大学 一种基于视频流融合的内窥镜增强现实***及方法
CN115908121A (zh) * 2023-02-23 2023-04-04 深圳市精锋医疗科技股份有限公司 内窥镜配准方法及装置和标定***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准***及方法
CN109620409A (zh) * 2019-01-14 2019-04-16 艾瑞迈迪科技石家庄有限公司 一种内窥镜外部参数实时优化***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准***及方法
CN109620409A (zh) * 2019-01-14 2019-04-16 艾瑞迈迪科技石家庄有限公司 一种内窥镜外部参数实时优化***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄伟萍 等: "基于增强现实的计算机辅助微创手术导航***", 信息技术与网络安全, 10 January 2018 (2018-01-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937139A (zh) * 2022-06-01 2022-08-23 天津大学 一种基于视频流融合的内窥镜增强现实***及方法
CN115908121A (zh) * 2023-02-23 2023-04-04 深圳市精锋医疗科技股份有限公司 内窥镜配准方法及装置和标定***

Similar Documents

Publication Publication Date Title
US10593052B2 (en) Methods and systems for updating an existing landmark registration
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
KR101296215B1 (ko) 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
US20210059762A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
EP2433262B1 (en) Marker-free tracking registration and calibration for em-tracked endoscopic system
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
Doignon et al. Segmentation and guidance of multiple rigid objects for intra-operative endoscopic vision
Stoyanov et al. Dense 3D depth recovery for soft tissue deformation during robotically assisted laparoscopic surgery
US20020077543A1 (en) Method and apparatus for tracking a medical instrument based on image registration
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
US20230390021A1 (en) Registration degradation correction for surgical navigation procedures
Wengert et al. Markerless endoscopic registration and referencing
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
Schoob et al. Stereo vision-based tracking of soft tissue motion with application to online ablation control in laser microsurgery
Lapeer et al. Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking
CN116829091A (zh) 外科手术辅助***和表示方法
Coste-Manière et al. Optimal planning of robotically assisted heart surgery: First results on the transfer precision in the operating room
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
Feuerstein et al. Automatic Patient Registration for Port Placement in Minimally Invasixe Endoscopic Surgery
Piccinelli et al. Rigid 3D registration of pre-operative information for semi-autonomous surgery
CN114191078B (zh) 一种基于混合现实的内窥镜手术导航机器人***
Doignon et al. The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks
Vogt et al. Light fields for minimal invasive surgery using an endoscope positioning robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fan Jingfan

Inventor after: Li Wenjie

Inventor after: Song Hong

Inventor after: Yang Jian

Inventor after: Fu Tianyu

Inventor before: Li Wenjie

Inventor before: Fan Jingfan

Inventor before: Song Hong

Inventor before: Ai Danni

Inventor before: Yang Jian