CN115089293A - 一种脊柱内镜手术机器人标定方法 - Google Patents

一种脊柱内镜手术机器人标定方法 Download PDF

Info

Publication number
CN115089293A
CN115089293A CN202210780332.0A CN202210780332A CN115089293A CN 115089293 A CN115089293 A CN 115089293A CN 202210780332 A CN202210780332 A CN 202210780332A CN 115089293 A CN115089293 A CN 115089293A
Authority
CN
China
Prior art keywords
image
binocular camera
rigid body
tracking device
spine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210780332.0A
Other languages
English (en)
Inventor
李贻斌
李国梁
宋锐
李倩倩
杜付鑫
祁磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210780332.0A priority Critical patent/CN115089293A/zh
Publication of CN115089293A publication Critical patent/CN115089293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种脊柱内镜手术机器人标定方法，包括以下步骤：利用标定装置标定双目相机，确定双目相机的内部参数、外部参数以及畸变参数；跟踪装置与刚体连接，刚体包括患者脊柱部位、机器人末端和脊柱内镜，利用双目相机跟踪跟踪装置并获取刚***姿变化信息；将术前CT影像与脊柱内镜图像进行影像融合与配准，获取病变部位影像与实际物理病变区域的对应关系；根据双目相机所获取的刚***姿信息与影像融合配准数据，定位到术区局部病变目标完成标定。能够有效实现手眼标定和刚体跟踪，提高脊柱内镜手术机器人的自动化程度，能够有效提高手术的精确度和稳定性，减少术中风险和术后并发症的发生，可以极大减少CT透视引导对医护人员的放射性损害。

Description

一种脊柱内镜手术机器人标定方法
技术领域
本发明涉及手术机器人技术领域，具体为一种脊柱内镜手术机器人标定方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
脊柱内镜微创手术与传统的开放手术相比，具有创伤小、术后恢复快，手术效果可靠等特点，目前绝大多数由医生直接进行脊柱内镜微创手术或部分通过脊柱内镜手术机器人执行医师操作。
脊柱内镜手术机器人执行手术之前需要进行标定，以帮助机器人获得末端执行器械的坐标系基准位置，而现有技术中依赖光学仪器配合辅助设施实现标定，存在操作复杂、手术效率低、精确度低、稳定性差等问题，并且需要在术中多次进行CT扫描以获得脊柱的准确位置，对患者和医护人员产生较多的辐射量。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种脊柱内镜手术机器人标定方法，能够有效实现手眼标定和刚体跟踪，提高脊柱内镜手术机器人的自动化程度，能够有效提高手术的精确度和稳定性，减少术中风险和术后并发症的发生，可以极大减少CT透视引导对医护人员的放射性损害。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种脊柱内镜手术机器人标定方法，包括以下步骤：
步骤1：利用标定装置标定双目相机，确定双目相机的内部参数、外部参数以及畸变参数；
步骤2：跟踪装置与刚体连接，刚体包括患者脊柱部位、机器人末端、脊柱内镜、机器人与脊柱内镜连接法兰、机器人与脊柱内镜连接工装、夹具或手术器械，利用双目相机跟踪跟踪装置并获取刚***姿变化信息；
步骤3：将术前CT影像与脊柱内镜图像进行影像融合与配准，获取病变部位影像与实际物理病变区域的对应关系；
步骤4：根据双目相机所获取的刚***姿信息与步骤3中的影像融合配准数据，定位到术区局部病变目标完成标定。
步骤1中，双目相机的两个相机分别发送红外光线到标定装置，左右两个相机接收到标定装置反射的红外光线，获取二值图像，得到双目相机的内部参数、外部参数以及畸变参数。
步骤1中，标定装置为固联在一起位于同一平面且不共线的四个小球，每个小球均具有逆向反射涂层，将双目相机发出的红外光线反射回双目相机中以获取二值图像。
步骤2中，跟踪装置为固联在一起位于同一平面且不共线的四个小球，每个小球均具有逆向反射涂层且与刚体连接，将双目相机发出的红外光线反射回双目相机中以获取刚体的二值图像。
跟踪装置和标定装置中每一个小球的直径均相同或均不同。
步骤2中，根据双目相机获取的二值图像进行三维重建并标定跟踪装置，获得跟踪装置的位姿信息，根据跟踪装置的位姿信息得到刚体的位姿。
步骤2中，在跟踪刚***姿变化的过程中，在患者术区的骨组织和脊柱内镜末端连接跟踪装置，将跟踪装置分别固定在骨组织和脊柱内镜上，获取术中脊柱内镜在患者体内位置和姿态的二维图像信息。
步骤3中，根据患者术前CT影像重建患者器官和目标组织的断层图像，得到三维可视化影像模型；根据脊柱内镜图像得到三维可视化影像模型与二维图像信息的位置对应关系，实现影像融合与配准。
步骤1和2中，基于双目相机内部参数和外部参数，得到相机坐标系与像素坐标系的空间变换关系，和世界坐标系与相机坐标系的空间变换关系，获得世界坐标系与像素坐标系的空间变换关系，得到实际物理空间中刚体在图像中的位姿信息。
步骤4中，根据步骤3获得的影像融合与配准数据，得到术区局部病变目标数据，通过步骤1-2得到的世界坐标系与像素坐标系的空间变换关系矩阵，逆向求解获得术区局部病变目标位姿信息，联立已知的患者脊柱部位与跟踪装置的固联耦合关系矩阵，获得所需的患者脊柱部位跟踪装置的位姿状态。
与现有技术相比，以上一个或多个技术方案存在以下有益效果：
1、采用双目相机光学定位***进行跟踪定位，利用光学反馈实现非接触的定位方式，双目相机接收反光小球反射的光学信息，***针对反馈的光学信息解算出来位姿，简单易行，能够有效实现手眼标定和刚体跟踪，提高脊柱内镜手术机器人的自动化程度和精确度。
2、克服了传统标定过程中操作复杂及不稳定的问题，能够有效提高手术的精确度和稳定性，减少术中风险和术后并发症的发生。
3、利用术前CT影像和双目相机通过可视化的影像引导内镜跟踪定位，极大减少术中CT的扫描次数，减少术中患者和医护人员受辐射的量，能够极大减少CT透视引导对医护人员的放射性损害。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明一个或多个实施例提供的脊柱内镜手术机器人***标定流程示意图；
图2是本发明一个或多个实施例提供的双目相机跟踪刚***姿变化原理示意图；
图3是本发明一个或多个实施例提供的标定装置或跟踪装置结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术中所描述的，脊柱内镜手术机器人执行手术之前需要进行标定，以帮助机器人获得末端执行器械的坐标系基准位置，而现有技术中依赖光学仪器配合辅助设施实现标定，存在操作复杂、手术效率低、精确度低、稳定性差等问题，并且需要在术中多次进行CT扫描以获得脊柱的准确位置，对患者和医护人员产生较多的辐射量。
因此，以下实施例给出了一种脊柱内镜手术机器人标定方法，能够有效实现手眼标定和刚体跟踪，提高脊柱内镜手术机器人的自动化程度，能够有效提高手术的精确度和稳定性，减少术中风险和术后并发症的发生，可以极大减少CT透视引导对医护人员的放射性损害。
实施例一：
如图1-3所示，一种脊柱内镜手术机器人标定方法，包括以下步骤：
步骤1：使用标定装置对双目相机进行标定，以确定双目相机的内部参数、外部参数以及畸变参数等信息；
在双目相机标定的过程中，采用被动式双目相机，左右两个相机分别发送红外光线到标定装置，左右两个相机接收到标定装置反射的红外光线，并拍摄获取二值图像，经过解算即可获得双目相机的内部参数、外部参数以及畸变参数等信息。
在双目相机标定的过程中，所确定的双目相机内部参数用于把坐标由相机坐标系转换到像素坐标系下，以解算相机坐标系与像素坐标系的空间变换关系。
在双目相机标定的过程中，所确定的双目相机外部参数用于把坐标由世界坐标系转换到相机坐标系下，以解算世界坐标系与相机坐标系的空间变换关系。
在双目相机标定的过程中，所确定的双目相机畸变参数用于获取制造精度以及组装工艺的偏差所引入的图像畸变与原始图像的失真程度，以便做相应补偿，从而获取刚体高精度位姿信息。
在双目相机标定的过程中，通过联立相机坐标系与像素坐标系的空间变换关系、世界坐标系与相机坐标系的空间变换关系，即可获得世界坐标系与像素坐标系的空间变换关系，从而进一步获得实际物理空间中刚体在图像中的位姿信息。另外，通过引入畸变参数，可对该位姿信息进行补偿以提高精确度。
在双目相机标定的过程中，所使用的标定装置为固联在一起位于同一平面且不共线的四个反光小球，小球带有逆向反射涂层，能够实现可靠跟踪。
本实施例中，标定装置的结构如图3所示，包括四个固联在一起位于同一平面且不共线的四个反光小球，四个小球的相对位置关系不做限制，双目相机发射光源的方向为前向，小球为被动反光小球，表面带有逆向反射涂层，与光源发射方向相反方向为后向，即向双目相机所在的方向发射反射光从而被双目相机接收到。
步骤2：将跟踪装置固联到刚体，刚体包括患者脊柱部位、机器人末端、脊柱内镜、机器人与脊柱内镜连接法兰、机器人与脊柱内镜连接工装或夹具、手术器械等，双目相机对跟踪装置进行实时跟踪，获取刚***姿变化信息；
在跟踪刚***姿变化的过程中，根据获取的二值图像进行双目相机三维重建，然后对跟踪装置进行标定，计算出跟踪装置的位姿信息，而跟踪装置与刚体进行固联，即可根据跟踪装置的位姿实时获得刚体的位姿。
在跟踪刚***姿变化的过程中，通过步骤1所获取的双目相机内部参数、外部参数以及畸变参数，即可获得世界坐标系与像素坐标系的空间变换关系以及畸变补偿关系，经过空间变化从而获得跟踪装置在图像中的精确位姿关系，即对跟踪装置实行了标定。
在跟踪刚***姿变化的过程中，所使用的跟踪装置为固联在一起位于同一平面且不共线的四个反光小球，小球带有逆向反射涂层，能够实现可靠跟踪。
本实施例中，跟踪装置和标定装置均为带有四个反光小球的刚体，结构可以相同，也可以不同，大小和尺寸可以相同，也可以不同，只要满足位于同一平面且不共线即可。
在跟踪刚***姿变化的过程中，在患者术区的骨组织和脊柱内镜末端安装跟踪装置，将跟踪装置分别固定在骨组织和脊柱内镜上，实时获取术中脊柱内镜在患者体内位置和姿态的二维视频影像。
步骤3：将术前CT影像与脊柱内镜实时图像进行影像融合与配准，获取病变部位影像与实际物理病变区域对应关系；
在影像融合与配准过程中，根据患者术前CT影像，重建患者器官和目标组织的断层图像，得到三维可视化影像模型，同时结合内镜实时图像，建立三维影像与二维视频影像的位置对应关系，实现影像融合与配准。
本实施例中，CT图像三维重建经过三个阶段：基于高斯滤波的CT原始数据去噪、基于反距离加权插值法的中间断层图像重建、基于光线投射法的CT三维重建绘制。
基于高斯滤波的CT原始数据去噪，考虑到邻域像素点距离对权重的影响，采用距离加权函数分配权重，即
Figure BDA0003729256910000081
其中，假设原始图像v(i,j)为N×N矩阵，M表示CT图像像素坐标的集合，n表示M内坐标点的全部个数，u(i,j)表示加权值且其累加和为1，f(x,y)为滤波去噪后的图像。
基于反距离加权插值法的中间断层图像重建，用于所获得的CT图像断层中间像素点的重建，以便于获得光滑的重建曲面，提升三维重建效果和精确度。其中，邻近数据点和采样点处的不透明度可表示为：
Figure BDA0003729256910000082
且满足：
Figure BDA0003729256910000091
其中，Mi(xi,yi,zi)表示采样点M(x,y,z)所在体素立方体网格内的其他邻近数据点，f(Mi)为邻近数据点和采样点处的色彩值，μi为每个邻近点到采样点距离的权重，li为邻近点到采样点的欧氏距离，i＝1,2,...,n。
基于光线投射法的CT三维重建绘制，即对射线上所有采样点的不透明度和色彩值进行合成计算，得到相应像素点的最终色彩，可表示为：
Figure BDA0003729256910000092
其中，Si、Ti分别表示入射采样点前的色彩度与不透明度，So、To分别表示投射光线经过采样点后的色彩度与不透明度，Sn、Tn分别表示当前采样点的色彩度与不透明度。
在影像融合与配准过程中，采用基于点云数据的迭代最近点算法进行融合与配准，即不断移动术前CT影像重建的三维点云与术中扫描获取的表面点云，以点与点之间的最小二乘距离和为衡量标准，使其最终获得最好的重叠效果，从而求得上述点云数据的坐标转换关系。
设配准点云为U＝{ui∈R3,i＝1,2,...,m}和V＝{vi∈R3,i＝1,2,...,n}，U中任意一点ui与V中一点vi距离最近组成点对，则配准点云数据集中最近点的欧氏距离之和可表示为：
Figure BDA0003729256910000101
其中，R为旋转矩阵，T为平移向量。通过不断迭代，求解R和T使得D(R,T)最小。
步骤4：将双目相机所获取的刚***姿信息与影像融合配准数据综合分析，定位到术区局部病变目标。
根据步骤3所得影像融合与配准数据，可获得术区局部病变目标数据，通过步骤1所得世界坐标系与像素坐标系的空间变换关系矩阵，可逆向求解获得术区局部病变目标位姿信息，进一步联立已知的患者脊柱部位与跟踪装置的固联耦合关系矩阵，可获得期望的患者脊柱部位跟踪装置的位姿状态。
根据步骤2双目相机所得术中与刚体固联的跟踪装置位姿信息，刚体包括患者脊柱部位、机器人末端、脊柱内镜、机器人与脊柱内镜连接法兰、机器人与脊柱内镜连接工装或夹具、手术器械等，与所得期望值不断比对，基于最小二乘法原理获得最小值，即认为术中脊柱内镜手术机器人已定位到术区局部病变目标部位。
采用双目相机光学定位***进行跟踪定位，利用光学反馈实现非接触的定位方式，双目相机接收反光小球反射的光学信息，***针对反馈的光学信息解算出来位姿，简单易行，能够有效实现手眼标定和刚体跟踪，提高脊柱内镜手术机器人的自动化程度；克服了传统操作复杂及不稳定的问题，能够有效提高手术的精确度和稳定性，减少术中风险和术后并发症的发生。
利用术前CT影像和双目相机通过可视化的影像引导内镜跟踪定位，极大减少术中CT的扫描次数，减少术中患者和医护人员受辐射的量，能够极大减少CT透视引导对医护人员的放射性损害。
双目相机跟踪刚***姿变化的原理如图2所示：
步骤1：采用被动式双目相机，左右两个相机分别发送红外光线到标定装置，左右两个相机接收到标定装置反射的红外光线，并拍摄获取二值图像，经过解算即可获得双目相机的内部参数、外部参数以及畸变参数等信息；
步骤2：根据获取的二值图像进行双目相机三维重建；
步骤3：对跟踪装置进行标定；
步骤4：计算出跟踪装置的位姿信息；
步骤5：将跟踪装置与刚体进行固联；
步骤6：实时计算出跟踪装置的位姿，从而获得刚体的位姿。
其中，在患者术区的骨组织和脊柱内镜末端安装跟踪装置，通过螺栓将跟踪装置分别固定在骨组织和脊柱内镜上，实时获取术中脊柱内镜在患者体内位置和姿态的二维视频影像。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种脊柱内镜手术机器人标定方法，其特征在于：包括以下步骤：
步骤1：利用标定装置标定双目相机，确定双目相机的内部参数、外部参数以及畸变参数；
步骤2：跟踪装置与刚体连接，刚体包括患者脊柱部位、机器人末端、脊柱内镜、机器人与脊柱内镜连接法兰、机器人与脊柱内镜连接工装、夹具或手术器械，利用双目相机跟踪跟踪装置并获取刚***姿变化信息；
步骤3：将术前CT影像与脊柱内镜图像进行影像融合与配准，获取病变部位影像与实际物理病变区域的对应关系；
步骤4：根据双目相机所获取的刚***姿信息与步骤3中的影像融合配准数据，定位到术区局部病变目标完成标定。
2.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤1中，双目相机的两个相机分别发送红外光线到标定装置，左右两个相机接收到标定装置反射的红外光线，获取二值图像，得到双目相机的内部参数、外部参数以及畸变参数。
3.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤1中，标定装置为固联在一起位于同一平面且不共线的四个小球，每个小球均具有逆向反射涂层，将双目相机发出的红外光线反射回双目相机中以获取二值图像。
4.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤2中，跟踪装置为固联在一起位于同一平面且不共线的四个小球，每个小球均具有逆向反射涂层且与刚体连接，将双目相机发出的红外光线反射回双目相机中以获取刚体的二值图像。
5.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述跟踪装置和标定装置中每一个小球的直径均相同或均不同。
6.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤2中，根据双目相机获取的二值图像进行三维重建并标定跟踪装置，获得跟踪装置的位姿信息，根据跟踪装置的位姿信息得到刚体的位姿。
7.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤2中，在跟踪刚***姿变化的过程中，在患者术区的骨组织和脊柱内镜末端连接跟踪装置，将跟踪装置分别固定在骨组织和脊柱内镜上，获取术中脊柱内镜在患者体内位置和姿态的二维图像信息。
8.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤3中，根据患者术前CT影像重建患者器官和目标组织的断层图像，得到三维可视化影像模型；根据脊柱内镜图像得到三维可视化影像模型与二维图像信息的位置对应关系，实现影像融合与配准。
9.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤1和2中，基于双目相机内部参数和外部参数，得到相机坐标系与像素坐标系的空间变换关系，和世界坐标系与相机坐标系的空间变换关系，获得世界坐标系与像素坐标系的空间变换关系，得到实际物理空间中刚体在图像中的位姿信息。
10.如权利要求1所述的一种脊柱内镜手术机器人标定方法，其特征在于：所述步骤4中，根据步骤3获得的影像融合与配准数据，得到术区局部病变目标数据，通过步骤1-2得到的世界坐标系与像素坐标系的空间变换关系矩阵，逆向求解获得术区局部病变目标位姿信息，联立已知的患者脊柱部位与跟踪装置的固联耦合关系矩阵，获得所需的患者脊柱部位跟踪装置的位姿状态。
CN202210780332.0A 2022-07-04 2022-07-04 一种脊柱内镜手术机器人标定方法 Pending CN115089293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780332.0A CN115089293A (zh) 2022-07-04 2022-07-04 一种脊柱内镜手术机器人标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780332.0A CN115089293A (zh) 2022-07-04 2022-07-04 一种脊柱内镜手术机器人标定方法

Publications (1)

Publication Number Publication Date
CN115089293A true CN115089293A (zh) 2022-09-23

Family

ID=83297465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780332.0A Pending CN115089293A (zh) 2022-07-04 2022-07-04 一种脊柱内镜手术机器人标定方法

Country Status (1)

Country Link
CN (1) CN115089293A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117679173A (zh) * 2024-01-03 2024-03-12 骨圣元化机器人(深圳)有限公司 机器人辅助导航脊柱手术***及手术设备
CN117830438A (zh) * 2024-03-04 2024-04-05 数据堂（北京）科技股份有限公司 一种基于特定标志物的激光雷达与相机联合标定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及***
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航***
CN114129262A (zh) * 2021-11-11 2022-03-04 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
CN114176772A (zh) * 2021-12-03 2022-03-15 上海由格医疗技术有限公司 基于三维视觉的术前定位方法、***、介质、计算机设备
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
WO2022062464A1 (zh) * 2020-09-27 2022-03-31 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及***
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航***
WO2022062464A1 (zh) * 2020-09-27 2022-03-31 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN114129262A (zh) * 2021-11-11 2022-03-04 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
CN114176772A (zh) * 2021-12-03 2022-03-15 上海由格医疗技术有限公司 基于三维视觉的术前定位方法、***、介质、计算机设备
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117679173A (zh) * 2024-01-03 2024-03-12 骨圣元化机器人(深圳)有限公司 机器人辅助导航脊柱手术***及手术设备
CN117830438A (zh) * 2024-03-04 2024-04-05 数据堂（北京）科技股份有限公司 一种基于特定标志物的激光雷达与相机联合标定方法

Similar Documents

Publication Publication Date Title
CN110946654B (zh) 一种基于多模影像融合的骨科手术导航***
US8064669B2 (en) Fast 3D-2D image registration system with application to continuously guided endoscopy
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
CN107468350B (zh) 一种三维图像专用标定器、手术定位***及定位方法
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
CN115089293A (zh) 一种脊柱内镜手术机器人标定方法
EP2433262B1 (en) Marker-free tracking registration and calibration for em-tracked endoscopic system
CN110264504B (zh) 一种用于增强现实的三维配准方法和***
US11759272B2 (en) System and method for registration between coordinate systems and navigation
CN112971982B (zh) 基于肝内血管配准的手术导航***
JP6713563B2 (ja) 標準的なｘ線透視装置を使用する局所三次元ボリュームの再構成を行うためのシステム及び方法
US20020077543A1 (en) Method and apparatus for tracking a medical instrument based on image registration
CN111260786A (zh) 一种智能超声多模态导航***及方法
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
WO2019073681A1 (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
Wahle et al. 3D heart-vessel reconstruction from biplane angiograms
CN114191078B (zh) 一种基于混合现实的内窥镜手术导航机器人***
JP2023520618A (ja) 多視点姿勢推定を使用するための方法及びシステム
JP2024012198A (ja) 画像内に放射線不透過性基準を使用しない手術ナビゲーション及びロボット誘導のための３ｄ及び２ｄ画像の位置合わせ
CN116883471A (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN110458886A (zh) 一种手术导航自动化注册参考架
CN114073579A (zh) 手术导航方法、装置、电子设备及存储介质
CN116612166A (zh) 一种多模态影像的配准融合算法
Huang et al. Image registration based 3D TEE-EM calibration
US12035974B2 (en) Method for determining target spot path

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination