CN117481756A - 穿刺引导方法、设备及机器人*** - Google Patents

穿刺引导方法、设备及机器人*** Download PDF

Info

Publication number
CN117481756A
CN117481756A CN202311361772.3A CN202311361772A CN117481756A CN 117481756 A CN117481756 A CN 117481756A CN 202311361772 A CN202311361772 A CN 202311361772A CN 117481756 A CN117481756 A CN 117481756A
Authority
CN
China
Prior art keywords
point
camera
puncture
cloud data
intraoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311361772.3A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhang Robot Co ltd
Original Assignee
Shanghai Shuhang Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhang Robot Co ltd filed Critical Shanghai Shuhang Robot Co ltd
Priority to CN202311361772.3A priority Critical patent/CN117481756A/zh
Publication of CN117481756A publication Critical patent/CN117481756A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种穿刺引导方法、设备及穿刺机器人***，穿刺引导方法包括：获取目标对象的目标区域在术前预定时刻的术前相机扫描图像，预定时刻为获取用于规划穿刺方案的术前CT影像的时刻；基于术前相机扫描图像获取基准呼吸状态模型；实时获取目标区域在术中的预设阶段内的第一术中相机扫描图像；基于所有第一术中相机扫描图像及基准呼吸状态模型获取匹配阈值；实时获取目标区域在获取匹配阈值之后的第二术中相机扫描图像；基于当前时刻的第二术中相机扫描图像、基准呼吸状态模型以及匹配阈值判断当前时刻是否为最佳穿刺时刻。该方案可以直接有效地获取最佳穿刺时刻。

Description

穿刺引导方法、设备及机器人***
技术领域
本发明属于医疗器械技术领域，具体涉及一种穿刺引导方法、设备及机器人***。
背景技术
传统穿刺手术中，医生在CT影像的引导下将穿刺针刺破胸壁(或腹壁)并执行手术操作，可能的手术操作包括活检、粒子植入、放射消融等。CT成像因受扫描时间、成像方式、辐射等多种原因限制，通常无法与穿刺操作同步执行，因此，无法实时看到穿刺针位置变化。实际操作过程中，医生结合自身的临床经验来判断病灶的实际位置并进针，也就是说，整个穿刺过程依赖医生的技术水平、临床经验与团队的合作配合，这造成不同医疗机构之间的治疗效果存在较大差异。
近年来，穿刺机器人的应用实现了CT影像空间与手术空间的配准，其能够将病灶数字化，然后通过机械臂的定位后执行穿刺操作。这样的穿刺方式，可以减少CT的扫描次数和调针次数，能够提高穿刺成功率。但是，由于患者的呼吸运动会导致病灶移位，因此穿刺机器人在实现CT影像空间与手术空间统一的过程中会受到患者的呼吸运动的影响。如何保证机械臂定位穿刺位置与实际呼吸运动中病灶位置一致，一直是穿刺机器人应用技术中存在的难点。现有技术中，针对该问题的一般解决方案是在患者体表固定呼吸记录装置，通过呼吸记录装置采集患者在呼吸运动过程中的目标数据(例如腹压)变化来表征呼吸运动，之后在对CT影像空间与手术空间进行配准时，还与呼吸运动的目标数据关联，以确定实际中与CT影像相匹配的呼吸相位，进而确定最佳穿刺时间，使得机械臂定位的穿刺位置与实际呼吸运动中的病灶一致。
在患者体表固定呼吸记录装置，一方面影响患者的舒适度，另一方面还会对医生的操作空间产生干扰和限制，再一方面，呼吸记录装置通常为刚性或特定连接关系的标志物，其容易受到位移的影响而导致测量误差。
发明内容
本发明的目的在于提供一种穿刺引导方法、设备及机器人***，旨在提供高精度的呼吸监测及穿刺引导的情况下，还改善患者的舒适度且减少对医生的操作空间的干扰和限制。
为实现上述目的，本发明提供了一种穿刺引导方法，包括：
采集目标对象的目标区域在术前的术前相机扫描图像，所述目标区域包括所述目标对象的肢体上随呼吸运动起伏的区域的至少一部分，所述术前相机扫描图像包括所述目标对象的呼吸状态数据；
基于所述术前相机扫描图像获取基准呼吸状态模型；
实时获取所述目标区域在术中的预设阶段内的第一术中相机扫描图像；
基于所有所述第一术中相机扫描图像及所述基准呼吸状态模型获取匹配阈值；
实时获取所述目标区域在获取所述匹配阈值之后的第二术中相机扫描图像；
基于当前时刻的所述第二术中相机图像、所述基准呼吸状态模型以及所述匹配阈值判断当前时刻是否为最佳穿刺时刻。
可选地，所述术前相机扫描图像包括术前扫描点云数据，所述术前扫描点云数据包括多个术前点对；
所述基于所述术前相机点云获取所述基准呼吸状态模型的步骤包括：
获取每个所述术前点对的点对特征；
基于所述点对特征对所有所述术前点对进行分类，得到多个点对集合，每个所述点对集合包括至少一个所述术前点对，且所有所述点对集合共同构成所述基准呼吸状态模型。
可选地，所述第一术中相机扫描图像包括第一术中扫描点云数据；所述基于所有所述第一术中相机点云及所述基准呼吸状态模型获取匹配阈值的步骤包括：
遍历所有所述第一术中扫描点云数据，获取每个所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数；
对所有所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数进行降序排列；
获取前N个所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的平均值，以作为所述匹配阈值。
可选地，每个所述第一术中扫描点云数据包括多个术中点对；
获取所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的步骤包括：
遍历所述第一术中扫描点云数据的所有所述术中点对，获取每个所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于所述第一术中扫描点云数据的所有所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵，获取所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数。
可选地，所述第二术中相机扫描图像包括第二术中扫描点云数据，所述第二术中扫描点云数据包括多个术中点对；
所述基于当前时刻的所述第二术中相机点云、所述基准呼吸状态模型以及所述匹配阈值判断当前时刻是否为最佳穿刺时刻的步骤包括：
遍历当前时刻的所述第二术中扫描点云数据的所有所述术中点对，获取每个所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于所述第二术中扫描点云数据的所有所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵，获取当前时刻的所述第二术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数；
比较当前时刻的所述第二术中扫描点云数据与基准呼吸状态模型之间的匹配参数是否大于所述匹配阈值，若是，则判定当前时刻为所述最佳穿刺时刻，若否，则判定当前时刻不是所述最佳穿刺时刻。
可选地，获取所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵的步骤包括：
获取所述术中点对的点对特征；
基于所述点对特征，在所述基准呼吸状态模型中确定与所述术中点对相匹配的点对集合；
获取所述术中点对与对应的所述点对集合内的每个所述术前点对之间的点对变换矩阵；
获取每一种所述点对变换矩阵的出现次数，并以出现次数最多的所述点对变换矩阵作为所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于术中扫描点云数据的所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵获取所述术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的步骤包括：
对所述术中扫描点云数据中的所有所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵进行聚类，得到多个类；
对每个所述类中的每一种所述最优点对变换矩阵的出现次数进行累加，得到累加值；
对所有类的所述累加值进行比较，并以最大的所述累加值作为所述术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数。
可选地，每个点对包括第一点和第二点；
所述点对特征包括所述第一点与所述第二点之间的距离、所述第一点的法向量与所述第二点的法向量所形成的夹角的角度、所述第一点的法向量与所述第一点及所述第二点的连线所形成的夹角的角度、所述第二点的法向量与所述第一点及所述第二点的连线所形成的夹角的角度中的至少一者。
可选地，在判定当前时刻为所述最佳穿刺时刻之后，所述穿刺引导方法还包括：
产生提示信息；以及，
使所述提示信息显示。
可选地，所述穿刺引导方法还包括：
在采集所述术前相机扫描图像的同时，还采集所述目标对象的所述目标区域的术前CT影像；
基于所述术前CT影像获取规划穿刺方案；
基于所述术前CT影像获取术前CT点云数据；
基于所述术前CT点云数据及所述术前相机点云数据，得到CT影像空间与手术空间之间的第一空间变换矩阵；
基于机械臂注册，获取所述手术空间与机械臂空间之间的第二空间变换矩阵；
基于第一空间变换矩阵、第二空间变换矩阵以及规划穿刺方案，确定实际穿刺点和实际穿刺方向；
在所述最佳穿刺时刻，基于所述实际穿刺点及所述实际穿刺方向控制机械臂运动。
为实现上述目的，本发明还提供了一种穿刺引导设备，包括相机和控制单元，其中：
所述相机用于对目标对象进行扫描，以获取所述目标区域的相机扫描图像；
所述控制单元与所述相机通信连接，并被配置用于执行如前所述的穿刺引导方法。
为实现上述目的，本发明还提供了一种穿刺引导机器人***，包括相机、机械臂及控制单元；其中，
所述相机用于对目标对象的目标区域进行扫描，以获取所述目标区域的相机扫描图像；
所述机械臂的末端用于连接导向工具；
所述控制单元与所述相机及所述机械臂通信连接，被配置用于执行如前所述的穿刺引导方法。
与现有技术相比，本发明的穿刺引导方法、设备及机器人***具有如下优点：
前述的穿刺引导方法包括：获取目标对象的目标区域在术前的术前相机扫描图像，所述目标区域为患者的肢体随呼吸运动起伏的区域的至少一部分，例如胸腹区域，所述术前相机扫描图像包括所述目标对象的呼吸状态数据；基于所述术前相机扫描图像获取基准呼吸状态模型；实时获取所述目标区域在术中的预设阶段内的第一术中相机扫描图像；基于所述第一术中相机图像及所述基准呼吸状态模型获取匹配阈值；实时获取所述目标区域在获取所述匹配阈值之后的第二术中相机扫描图像；基于当前时刻的所述第二术中相机扫描图像、所述基准呼吸状态模型以及所述匹配阈值判断当前时刻是否为最佳穿刺时刻。其中，术前相机扫描图像及术中相机扫描图像均可以直接反应目标对象的呼吸状态，利用与术前CT影像同时刻获取的术前相机扫描建立基准呼吸状态模型，然后在术中根据实时的术中相机扫描图像结合基准呼吸状态模型，可以找到与术前的预定时刻的呼吸状态最接近的呼吸态，从而确定与术前CT影像相匹配的时间以作为最佳穿刺时间，具有简单、直接且有效的优势，并且无需在患者体表固定呼吸记录装置，既提高患者的舒适度，也不会对手术空间造成干扰。此外，所述穿刺引导方法可存储于一计算机可读存储介质上，且应用有该计算机可读存储介质的穿刺引导***中的各个设备均可直接采用现有设备，不需进行额外的附加工装，简化手术流程和场景，也避免额外工装对手术空间造成干扰。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明根据一实施例所提供的穿刺机器人***的应用场景示意图；
图2是本发明根据一实施例所提供的穿刺机器人***在应用时所涉及到的功能模块示意图；
图3是本发明根据一实施例所提供的穿刺机器人***在应用时所涉及的坐标系的示意图；
图4是本发明根据一实施例所提供的穿刺机器人***在应用时所执行的穿刺引导方法的整体流程图；
图5是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法的较为详细的流程图；
图6是本发明根据一实施例所提供的穿刺机器人***在应用时所执行的注册步骤的流程图；
图7是本发明根据一实施例所提供的穿刺机器人***在应用时所涉及的多个坐标系之间的注册关系示意图；
图8是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中建立基准呼状态模型的流程图；
图9是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中的点对特征的示意图；
图10是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法的建立基准呼吸状态模型的操作的局部流程图；
图11是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法的建立基准呼吸状态模型的操作中所获取的具有相似点对特征的三个术前点对的示意图；
图12是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法的建立基准呼吸模型的操作中，将所获取的相似点对存入哈希表的示意图；
图13是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中获取一第一术中相机扫描图像与基准呼吸状态模型之间的匹配参数时的流程图；
图14是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中获取第一术中点对与基准呼吸状态模型之间的第一最优变换矩阵及获取一第一术中相机扫描图像与基准呼吸状态模型之间的匹配参数的详细流程图；
图15是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中获取术中点对与术前点对之间的点对变换矩阵的原理示意图；
图16是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中获取每一种点对变换矩阵的出现次数的示意图；
图17是本发明根据一实施例所提供的穿刺机器人***所执行的穿刺引导方法中基于当前时刻的第二术中相机扫描图像、基准呼吸状态模型及匹配阈值确定最佳穿刺时刻的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。
本发明的目的在于提供一种穿刺机器人***，该穿刺机器人***通过执行一穿刺引导方法，可以直接且高效地确定最佳穿刺时间，并在最佳穿刺时间直接自动地执行穿刺操作，且不会对手术空间造成干扰。
为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。附图中相同或相似的附图标记代表相同或相似的部件。
图1示出本发明实施例所提供的穿刺机器人***的应用场景示意图，图2示出穿刺机器人***在应用时所涉及到的功能模块示意图，图3是穿刺机器人***在应用时所涉及的坐标系的示意图。如图1所示，穿刺机器人***包括相机100、机械臂200和控制单元300。
其中，相机100例如是单目形式或双目形式的结构光相机，其用于扫描目标对象，以获取目标对象的目标区域的体表的相机扫描图像。可以理解，相机扫描图像包括扫描点云数据((包括后文中述及的术前扫描点云数据、第一术中扫描点云数据和第二术中扫描点云数据)。相机100所采用的结构光包括但不限于可见光或红外光。目标对象是患者，目标对象的目标区域是患者的肢体上随患者的呼吸运动出现起伏的区域的至少一部分，例如胸腹区域。
机械臂200的末端用于连接导向工具400。控制单元300与相机100及机械臂200通信连接，其被配置用于接收相机100采集的相机扫描图像，并执行一穿刺引导方法以至少获取最佳穿刺时刻。进一步地，控制单元300还可与CT设备通信连接，并用于接收目标对象的术前CT影像，该术前CT影像用于供医生进行穿刺规划，以获取规划穿刺方案。以及，控制单元300还通过执行穿刺引导方法以建立CT影像空间坐标系FCT、手术空间坐标系FCam，以及机械臂空间FRobot((如图3所示)之间的空间变换矩阵，进而在最佳穿刺时刻控制机械臂200运动，以执行穿刺操作。于此情形下，机械臂200的末端安装有光学靶标(图中未示出)，且相机100可通过识别该光学靶标(图中未示出)来识别机械臂200的末端的实时位姿，控制单元300基于机械臂200的实时位姿及规划穿刺方案控制机械臂200运动以执行穿刺操作，换而言之，相机100、光学靶标与控制单元300共同构成导航设备。
图4示出穿刺机器人***在应用时所执行的穿刺引导方法的整体流程图。
如图4所示，穿刺引导方法包括：
步骤S1、注册，以获取CT影像空间、手术空间及机械臂空间之间的空间变换矩阵，并结合规划穿刺方案得到实际穿刺点及实际穿刺方向。
步骤S2、获取目标对象的基准呼吸状态模型。
步骤S3、在术中进行呼吸状态匹配以获取呼吸状态的匹配阈值。
步骤S4、在术中基于目标对象实时的呼吸状态、基准呼吸状态模型、匹配阈值获取最佳穿刺时刻。
步骤S5、在最佳穿刺时刻，向机械臂200发送运动指令，以控制机械臂200运动并定位导向工具400，医生根据定位后的导向工具400，使得穿刺工具能够从实际穿刺点处沿实际穿刺方向进行穿刺。
其中，如图5所示，步骤S2包括步骤S21及步骤S22。步骤S21包括获取目标对象的目标区域在术前的预定时刻的术前相机扫描图像。预定时刻是指获取用于对穿刺方案进行规划的术前CT影像的时刻。也即，在对目标对象进行术前CT扫描的同时，控制相机100对目标对象进行扫描，以获取术前相机扫描图像。可以理解，术前相机扫描图像和术前CT影像均包括目标对象的呼吸状态参数，且术前CT影像用于获取规划穿刺方案。
需要说明的是，在一些实施例中，通过对相机100进行设置，使得相机100只对目标区域进行扫描，如此，控制单元300可以直接获取目标区域的相机扫描图像。但在另一些实施例中，相机100的扫描区域大于目标区域，也即，相机100扫描得到的原始相机扫描图像部件包括目标区域的相机扫描图像，还包括目标区域以外的相机扫描图像，此时，若直接基于原始相机扫描图像执行穿刺引导方法，将导致计算量、计算速度慢、且对控制单元配置要求高的问题。作为优选，控制单元300在获取原始相机扫描图像之后，还对原始相机扫描图像进行裁剪，以去除原始相机扫描图像位于目标区域以外的部分，仅保留原始得到相机扫描位于目标区域以内的部分，以作为目标区域的术前相机扫描图像。本文中以相机100只对目标区域扫描为例进行说明，也即，本文中述及的术前相机扫描图像、第一术相机扫描图像及第二术中相机扫描图像指的均是目标区域的相机扫描图像。
步骤S22包括基于目标区域在预定时刻的术前相机扫描图像获取基准呼吸状态模型。
步骤S3包括步骤S31和步骤S32。步骤S31包括实时获取目标区域在术中的预设阶段内的第一术中相机扫描图像。通过执行步骤S31，可以获取不同时刻的第一术中相机扫描图像，也即第一术中相机扫描图像的数量为多个。步骤S32包括基于所有第一术中相机扫描图像及基准呼吸状态模型获取匹配阈值。
步骤S4包括步骤S41和步骤S42。步骤S41包括在获取匹配阈值之后，实时地获取目标区域的第二术中相机扫描图像。步骤S42包括基于当前时刻的第二术中相机扫描图像、基准呼吸状态模型以及匹配阈值判断当前时刻是否为最佳穿刺时刻。若是，则执行步骤S5，若否，则重复执行步骤S4，直至确定最佳穿刺时刻。
也就是说，本发明实施例所提供的穿刺机器人***在应用时，通过目标对象的目标区域的术前相机扫描图像、第一术中相机扫描图像及第二术中相机扫描图像来获取最佳穿刺时刻。由于任意时刻的相机扫描图像能够直接地反应目标对象在相应时刻的呼吸状态，因此通过术前相机扫描、第一术中相机扫描图像及第二术中相机扫描可以直接、有效地获取与采集术前CT影像的预定时刻的呼吸状态相匹配的术中呼吸状态，进而能够以该术中呼吸状态相对应的时刻作为最佳穿刺时刻，从而有效提高穿刺准确性。不仅于此，通过使用目标区域的相机扫描图像，可以更准确地反映出目标对象的呼吸运动的起伏变化，鲁棒性更好，且还无需对目标对象的体表进行特征点识别，进而避免个别特征点识别时的误差而引起的不利影响。
应理解，控制单元300在预定时刻、术中的预设阶段及获取匹配阈值之后向相机100发送采集相机扫描图像的指令，使得相机100采集相应的相机扫描图像。
接下去对穿刺引导方法的各个步骤进行详细说明。
可以理解，相机扫描图像包括扫描点云数据。换而言之，术前相机扫描图像包括术前扫描点云数据，第一术中相机扫描图像包括第一术中扫描点云数据，第二术中相机扫描图像包括第二术中扫描点云数据。
请返回参考图3，穿刺机器人***在应用时至少涉及三个坐标系，分别为表征CT影像空间的CT坐标系FCT、表征机械臂空间的机械臂基座坐标系FRobot，以及表征手术空间的相机坐标系FCam。CT坐标系FCT基于术前CT影像建立，该术前CT影像由CT设备在术前的预定时刻扫描目标对象得到，也即，术前CT影像与术前相机扫描的获取时刻相同。不仅于此，术前CT影像还用于对穿刺方案进行规划，以获取规划穿刺方案。
如图6所示，步骤S1中的注册的具体操作如下：
步骤S11、基于术前CT影像获取术前CT点云数据。
步骤S12、基于术前CT点云数据和术前扫描点云数据，获取CT影像空间的坐标系FCT与手术空间的坐标系FCam之间的第一空间变换矩阵。
步骤S13、获取手术空间的坐标系FCam与机械臂空间的坐标系FRobot之间的第二空间变换矩阵。
步骤S14、基于第一空间变换矩阵和第二空间变换矩阵，得到CT影像空间的坐标系FCT与机械臂空间的坐标系FRobot之间的第三空间变换矩阵。
其中，步骤S11包括提取术前CT影像中的皮肤点云，以构成术前CT点云数据。该术前CT点云数据能够表征目标对象在预定时刻的呼吸状态。而术前扫描点云数据同样可以表征目标对象在预定时刻的呼吸状态，因此，从理论上来说，术前CT点云数据与术前扫描点云数据相同，通过两者的配准就可以得到CT影像空间坐标系FCT与手术空间的坐标系FCam之间的第一空间变换矩阵。
步骤S12中述及的术前扫描点云数据既可以是相机100直接采集的原始的术前扫描点云数据，也可以是对原始的术前扫描点云数据进行下采样后得到的新的术前扫描点云数据。采用原始的术前扫描点云数据进行配准，存在参与配准的数据量大、运算时间长，且对控制单元300的配置要求较高的缺点。而通过下采样处理得到新的术前扫描点云数据，并以新的术前扫描点云数据与术前CT点云数据进行配准，可以减少参与配准的术前扫描点云数据中的数据量，提高运算速度、降低对控制单元的配置要求。本发明实施例对下采样的规则不作限定，可采用的规则包括但不限于均匀分布规则、泊松分布规则等。此外，本步骤所使用的配准方法包括ICP配准法或其他任意合适的配准方法。此外，本文中对新的术前扫描点云数据和相机100直接采集的术前扫描点云数据不作区分，两者均可以被称之为术前扫描点云数据。
步骤S13通过机械臂注册的方式来执行。实践中，步骤S13包括通过相机100跟踪光学靶标，得的机械臂200的末端在坐标系FCam下的位姿。同时，基于机械臂200的关节角位置可以推算出机械臂200的末端在坐标系FRobot下的位姿，由此，可以得到坐标系FCam与坐标系FRobot之间的变换矩阵，该变换矩阵即为第二空间变换矩阵。
本发明实施例所提供的穿刺引导方法使用的注册方式，不需要在目标对象的体表设置光学靶标，也就避免因体表的光学靶标发生形变或漂移到导致注册结果不准确的问题。
另外，在步骤S14执行完毕之后，控制单元300还执行步骤S15，步骤S15包括将规划穿刺方案中确定的在坐标系FCT下的规划穿刺点PTarg和规划穿刺方向DTarg转换为坐标系FRobot下的实际穿刺点PFinal和实际穿刺方向DFinal。公式如下式(1)及式(2)：
PFinal＝TCT→Cam*TCam→Robot*PTarg (1)
DFinal＝RCT→Cam*RCam→Robot*DTarg (2)
式中，TCT→Cam表示第一空间变换矩阵，TCam→Robot表示第二空间变换矩阵，TCT→Cam*TCam→Robot即表示第三空间变换矩阵。RCT→Cam表示第一空间变换矩阵中的旋转部分，RCam→Robot表示第二空间变换矩阵中的旋转部分(如图7所示)。
步骤S22的具体操作如图8所示，包括如下步骤S221、步骤S222及步骤S223。
步骤S221包括对原始的术前扫描点云数据进行下采样，得到新的术前扫描点云数据。也即，步骤S221与步骤S14相同。应理解，新的术前扫描点云数据包括多个术前点对10(如图15所标注)。对原始的术前扫描点云数据进行下采样的好处是减少后续步骤中参与计算的术前点对10的数量、提高计算速度、降低对控制单元300的配置要求。当然，本步骤并不是必须的，其可以被省略，如此，后续步骤中基于原始的术前扫描点云数据内的所有术前点原10进行计算，具有计算量大、计算速度慢的缺点。本文对原始的术前扫描点云数据和新的术前扫描点云数据不作区分，两者均被称之为术前扫描点云数据。
步骤S222包括获取每个术前点对10的点对特征。如图9所示，每个点对包括第一点1和第二点2，且第一点1具有第一法向量n1，第二点2具有第二法向量n2。点对特征包括第一特征、第二特征、第三特征和第四特征中的至少一者，优选同时包括四者。第一特征是指第一点1与第二点2之间的距离S1，第二特征是指第一法向量n1与第二法向量n2之间的夹角的角度S2，第三特征是指第一法向量n1与第一点1及第二点2的连线所形成的夹角的角度S3，第四特征是指第二法向量n2与第一点1及第二点2的连线所形成的夹角的角度S4。
步骤S223包括基于术前点对10的点对特征对所有的术前点对10进行分类，得到多个点对集合，每个点对集合包括至少一个术前点对10，且所有术前点对集合共同构成基准呼吸状态模型。
步骤S223的具体操作如图10所示，包括步骤S2231、步骤S2232、步骤S2233及步骤S2234。
步骤S2231包括定义距离步长和角度步长，角度步长为(2π/nangle)，nangle为大于或等于1的正整数。本步骤中，距离步长及角度步长的取值应兼顾计算速度与准确度的平衡，确定距离步长及角度步长的具体值的方式为本领域技术人员可以习知的内容，此处不赘述。
步骤S2232包括基于距离步长和角度步长对所有的术前点对10进行分类，将特征相似的点对归为一个点对集合。例如，如图11所示，将特征相似的第一术前点对10’、第二术前点对10”、第三术前点对10”’归于一个点对集合，图示中，第一术前点对10’中的第一点1还被标记为m1、第二点2被标记为m2，第二术前点对10”中的第一点1被标记为m3、第二点2被标记为m4，第三术前点对10”’中的第一点1被标记为m5、第二点2被标记为m6。分类的具体操作为本领域技术人员熟知的内容，此处不赘述。本步骤执行完毕时，可以得到多个点对集合。
步骤S2233包括计算每个点对集合的哈希值，得到每个点对集合的哈希键B。
步骤S2234包括根据哈希键B将所有的术前点对10存储于哈希表20，该哈希表20被用作基准呼吸状态模型。可以理解，处于同一个点对集合内的所有术前点对10被存储在哈希表20的同一位置。例如，点对集合A包括三个术前点对，分别为第一术前点对10’、第二术前点对10”和第三术前点对10”’，那么第一术前点对10’、第二术前点对10”和第三术前点对10”’被存储在哈希表40的同一位置处。
步骤S31中的预设阶段可以包括多个呼吸周期。
图13示出步骤S32的流程图。如图13所示，步骤S32包括：
步骤S321、遍历所有第一术中扫描点云数据，获取每个第一术中扫描点云数据与基准呼吸状态模型之间的匹配参数。
步骤S322、对所有的第一术中扫描点云数据与基准呼吸状态模型之间的匹配参数进行降序排列。
步骤S323、获取排在前N个的第一术中扫描点云数据与基准呼吸模型之间的匹配参数的平均值，并以该平均值作为匹配阈值。
举例来说，当第一术中扫描点云数据的数量为i个时，那么通过执行步骤S321，将得到i个匹配参数，分别为p1、p2、p3、p4、p5……pi-1、pi，通过执行步骤S322，i个匹配参数被排序为p3、p4、pi、p1、……。假定步骤S323中的N为4，那么匹配阈值可以表示为
其中，对于任意一个第一术中扫描点云数据来说，获取该第一术中扫描点云数据与基准呼吸状态模型之间的匹配参数的步骤如图14所示，包括步骤S3211、步骤S3212及步骤S3213。
步骤S3211包括对原始的第一术中扫描点云数据进行下采样，得到新的第一术中扫描点云数据。新的第一术中扫描点云数据包括多个术中点对，该术中点对可以被称之为第一术中点对30。下采样的目的是减少第一术中点对30的数量，进而减少计算量。当然，本步骤可以省略而以相机100直接采集的原始的第一术中扫描点云数据中的所有第一术中点对30来执行后续步骤。本文对原始的的第一术中扫描点云数据与新的术中扫描点云数据不作区分，两者均可以直接被称为第一术中扫描点云数据。
步骤S3212包括遍历新的第一术中扫描点云数据的所有的第一术中点对30，得到每个第一术中点对30与基准呼吸状态模型之间的最优点对变换矩阵。该最优点对变换矩阵可以被称之为第一最优点对变换矩阵。
步骤S3213包括基于该第一术中扫描点云数据的所有第一术中点对30与基准呼吸状态模型之间的第一最优点对变换矩阵，获取第一术中扫描点云数据与基准呼吸状态模型之间的匹配参数。
以获取第一术中扫描点云数据中的任意一个第一术中点对30与基准呼吸状态模型之间的第一最优点对变换矩阵为例对步骤S3212进行说明。请参考图14并结合图16，步骤S3212包括：
步骤S3212a、提取第一术中点对30((sr，si)((即第一术中点对30的第一点1被记为sr、第二点2被记为si)，并获取第一术中点对30的点对特征。
步骤S3212b、基于点对特征，在基准呼吸状态模型中确定与第一术中点对30相匹配的点对集合以作为目标点对集合。也即，目标点对集合中的每一个术前点对10均与第一术中点对30具有相似的点对特征。
步骤S3212c、获取第一术中点对30与目标点对集合中的每一个术前点对10之间的点对变换矩阵。
步骤S3212d、获取每一种点对变换矩阵的出现次数，并以出现次数最多的变换矩阵作为第一术中点对30与基准呼吸状态模型之间的第一最优点对变换矩阵。
其中，步骤S3212c的原理如图15所示，首先以第一术中点对30的点sr为原点、点sr的法向量为X轴建立第一坐标系Fs，以术前点对10中的点mr为原点、点mr的法向量/>为X轴建立第二坐标系Fm，以及建立一广义坐标系Fg，然后使第一坐标系Fs的原点、第二坐标系Fm的原点与广义坐标系Fg的原点重合，且使第一坐标系Fs的X轴、第二坐标系Fm的X轴与光源坐标系Fg的X轴共线，就可以得到第一坐标系Fs与第二坐标系Fm之间的旋转角α。基于该旋转角α，并可以得到如下的公式(3)和公式(4)。
式中，e表示X轴的单位向量，Tm→h表示第二坐标系Fm与广义坐标系Fg之间的转换矩阵，表示第二坐标系Fm与广义坐标系Fg之间的转换矩阵的逆矩阵，Ts→g表示第一坐标系Fs与广义坐标系Fg之间的转换矩阵，Rx(α)表示第一坐标系Fs绕X轴旋转α角度时的旋转矩阵。基于公式(3)和公式(4)就可以得到第一术中点对10与术前点对30之间的点对变换矩阵。
对于步骤S3212d，若目标点对集合中包括R个术前点对10，第一术中点对30与R个术前点对10之间出现的点对变换矩阵的数量为M种，M一般小于R。假设R是5，若第一术中点对30与目标点对集合中的第一个术前点对10之间的点对变换矩阵为T11，第一术中点对30与目标点对集合中的第二个术前点对10之间的点对变换矩阵为T12，第一术中点对30与目标点对集合中的第三个术前点对10之间的点对变换矩阵为T11，第一术中点对30与目标点对集合中的第四个术前点对10之间的点对变换矩阵为T11，第一术中点对30与目标点对集合中的第五个术前点对10之间的点对变换矩阵为T13。也即，点对变换矩阵T11出现3次，点对变换矩阵T12出现1次，点对变换矩阵T13出现1次，那么点对变换矩阵T11就是第一术中点对30与基准呼吸状态模型之间的最优变换矩阵。
本发明实施例中，可以采用投票的方式获取每一种点对变换矩阵的出现次数。如图16所示，对于每一种第一次出现的点对变换矩阵建立一个投票器80，并在该投票器80内加1，之后这种点对变换矩阵每出现一次，就在对应的投票器80内加1。对于每种点对变换矩阵来说，相应的投票器80内的投票数就表示该点对变换矩阵的出现次数。
应理解的是，步骤S3212a至步骤S3212d的执行次数与第一术中相机点对的数量相等。如此，步骤S3212还包括步骤S3212e，步骤S321e包括判断是否获取所有的第一术中点对与基准呼吸状态模型之间的第一最优变换矩阵。若是，则接下去执行步骤S3213，若否，则返回提取新的第一术中点对，且针对新的第一术中点对再次执行步骤S3212a至步骤S3212d。
返回参考图14，步骤S3213包括步骤S3213a、步骤S3213b及步骤S3213c。步骤S3213a包括对第一术中扫描点云数据中的所有第一术中点对30与基准呼吸状态模型之间的最优变换矩阵进行聚类，得到多个类。本步骤可以采用常规方法执行，例如将每个最优变换矩阵对应的姿态信息转换成欧拉角，然后对任意两个最优变换矩阵的欧拉角进行比较，以判断这两个最优变换矩阵是否相似，若是，则将这两个最优变换矩阵归为同一类。步骤S3213b包括对每个类中的最优变换矩阵的出现次数进行累加，由此，每个类可以得到一个累加值。举例来说，一个类中包括三个最优变换矩阵，三个最优变换矩阵的出现次数分别为t1、t2、t3，那么这个类对应的累加值为(t1+t2+t3)。步骤S3213c包括对所有类的累加值进行比较，并以最大的累加值作为该第一术中扫描点云数据与基准呼吸状态模型之间的匹配参数。
请参考图17，步骤S42包括步骤S421、步骤S422、步骤S423及步骤S424。步骤S421包括对步骤S41获取的原始的第二术中扫描点云数据进行下采样，获取新的第二术中扫描点云数据，新的第二术中扫描点云数据包括多个术中点对，该术中点对可以被称之为第二术中点对。执行步骤S421的目的是减少参与后续步骤的第二术中点对的数量，进而减少计算量，提高计算速度。可以理解，步骤S421可以被省略，而直接以步骤S41获取的第二术中扫描点云数据来执行后续的步骤。本文对下采样前的第二术中扫描点云数据与新的第二术中扫描点云数据不作区分，两者均可以被直接称之为第二术中扫描点云数据。步骤S422包括基于当前时刻的第二术中扫描点云数据的所有第二术中点对和基准呼吸状态模型获取每个第二术中点对与基准呼吸状态模型之间的最优点对变换矩阵，该最优点对变换矩阵可以被称之为第二最优点对变换矩阵。步骤S423包括基于第二术中扫描点云数据的所有第二术中点对与基准呼吸状态模型之间的第二最优变换矩阵，获取当前时刻的第二术中扫描点云数据与基准呼吸状态模型之间的匹配参数。步骤S422可参照步骤S3212执行，以及步骤S423可参照步骤S3213执行，此处不赘述。步骤S424包括判断当前时刻的第二术中扫描点云数据与基准呼吸状态模型之间的匹配参数是否大于匹配阈值，若是，则判定当前时刻为最佳穿刺时刻，若否，则判定当前时刻不是最佳穿刺时刻，并返回执行步骤S41。
此外，穿刺引导方法还包括在确定最佳穿刺时刻之后产生提示信息，并控制一提示装置显示提示信息(图中未示出)。
进一步地，本发明实施例还提供了一种穿刺引导设备，该穿刺引导设备包括相机100和控制单元300，相机100用于在术前的预定时刻对目标对象进行扫描，以获取术前相机扫描图像，相机100还用于在术中对目标对象进行扫描以获取第一术中相机扫描图像和第二术中相机扫描图像。控制单元300用于执行前述的步骤S2、步骤S3及步骤S4。
穿刺引导设备可以与机械臂200联合使用以构成前述的手术机器人***，进而可以自动地执行穿刺手术。穿刺引导设备还可以应用于人工穿刺的手术中，具体地，穿刺引导设备还包括提示装置，同时控制单元300还在判定当前时刻为最佳穿刺时刻之后产生提示信息，并使题述装置显示提示信息。提示装置可以任意合适的方式例如声、光等方式来显示提示信息。之后操作者可以手动地执行穿刺操作。
更进一步地，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有程序，当程序被执行时，至少执行前述的步骤S2、步骤S3及步骤S4。
虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种穿刺引导方法，其特征在于，包括：
采集目标对象的目标区域的术前相机扫描图像，所述目标区域包括所述目标对象的肢体上随呼吸运动起伏的区域的至少一部分，所述术前相机扫描图像包括所述目标对象的呼吸状态数据；
基于所述术前相机扫描图像获取基准呼吸状态模型；
实时获取所述目标区域在术中的预设阶段内的第一术中相机扫描图像；
基于所有所述第一术中相机扫描图像及所述基准呼吸状态模型获取匹配阈值；
实时获取所述目标区域在获取所述匹配阈值之后的第二术中相机扫描图像；
基于当前时刻的所述第二术中相机扫描图像、所述基准呼吸状态模型以及所述匹配阈值判断当前时刻是否为最佳穿刺时刻。
2.根据权利要求1所述的穿刺引导方法，其特征在于，所述术前相机扫描图像包括术前扫描点云数据，所述术前扫描点云数据包括多个术前点对；
所述基于所述术前相机点云获取所述基准呼吸状态模型的步骤包括：
获取每个所述术前点对的点对特征；
基于所述点对特征对所有所述术前点对进行分类，得到多个点对集合，每个所述点对集合包括至少一个所述术前点对，且所有所述点对集合共同构成所述基准呼吸状态模型。
3.根据权利要求2所述的穿刺引导方法，其特征在于，所述第一术中相机扫描图像包括第一术中扫描点云数据；所述基于所有所述第一术中相机点云及所述基准呼吸状态模型获取匹配阈值的步骤包括：
遍历所有所述第一术中扫描点云数据，获取每个所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数；
对所有所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数进行降序排列；
获取前N个所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的平均值，以作为所述匹配阈值。
4.根据权利要求3所述的穿刺引导方法，其特征在于，每个所述第一术中扫描点云数据包括多个术中点对；
获取所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的步骤包括：
遍历所述第一术中扫描点云数据的所有所述术中点对，获取每个所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于所述第一术中扫描点云数据的所有所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵，获取所述第一术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数。
5.根据权利要求2所述的穿刺引导方法，其特征在于，所述第二术中相机扫描图像包括第二术中扫描点云数据，所述第二术中扫描点云数据包括多个术中点对；
所述基于当前时刻的所述第二术中相机点云、所述基准呼吸状态模型以及所述匹配阈值判断当前时刻是否为最佳穿刺时刻的步骤包括：
遍历当前时刻的所述第二术中扫描点云数据的所有所述术中点对，获取每个所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于所述第二术中扫描点云数据的所有所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵，获取当前时刻的所述第二术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数；
比较当前时刻的所述第二术中扫描点云数据与基准呼吸状态模型之间的匹配参数是否大于所述匹配阈值，若是，则判定当前时刻为所述最佳穿刺时刻，若否，则判定当前时刻不是所述最佳穿刺时刻。
6.根据权利要求4或5所述的穿刺引导方法，其特征在于，获取所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵的步骤包括：
获取所述术中点对的点对特征；
基于所述点对特征，在所述基准呼吸状态模型中确定与所述术中点对相匹配的点对集合；
获取所述术中点对与对应的所述点对集合内的每个所述术前点对之间的点对变换矩阵；
获取每一种所述点对变换矩阵的出现次数，并以出现次数最多的所述点对变换矩阵作为所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵；
基于术中扫描点云数据的所述术中点对与所述基准呼吸状态模型之间的所述最优点对变换矩阵获取所述术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数的步骤包括：
对所述术中扫描点云数据中的所有所述术中点对与所述基准呼吸状态模型之间的最优点对变换矩阵进行聚类，得到多个类；
对每个所述类中的每一种所述最优点对变换矩阵的出现次数进行累加，得到累加值；
对所有类的所述累加值进行比较，并以最大的所述累加值作为所述术中扫描点云数据与所述基准呼吸状态模型之间的匹配参数。
7.根据权利要求2所述的穿刺引导方法，其特征在于，每个点对包括第一点和第二点；
所述点对特征包括所述第一点与所述第二点之间的距离、所述第一点的法向量与所述第二点的法向量所形成的夹角的角度、所述第一点的法向量与所述第一点及所述第二点的连线所形成的夹角的角度、所述第二点的法向量与所述第一点及所述第二点的连线所形成的夹角的角度中的至少一者。
8.根据权利要求1所述的穿刺引导方法，其特征在于，在判定当前时刻为所述最佳穿刺时刻之后，所述穿刺引导方法还包括：
产生提示信息；以及，
使所述提示信息显示。
9.根据权利要求1所述的穿刺引导方法，其特征在于，所述穿刺引导方法还包括：
在采集所述术前相机扫描图像同时，还采集所述目标对象的所述目标区域的术前CT影像；
基于所述术前CT影像获取规划穿刺方案；
基于所述术前CT影像获取术前CT点云数据；
基于所述术前CT点云数据及所述术前相机点云数据，得到CT影像空间与手术空间之间的第一空间变换矩阵；
基于机械臂注册，获取所述手术空间与机械臂空间之间的第二空间变换矩阵；
基于第一空间变换矩阵、第二空间变换矩阵以及规划穿刺方案，确定实际穿刺点和实际穿刺方向；
在所述最佳穿刺时刻，基于所述实际穿刺点及所述实际穿刺方向控制机械臂运动。
10.一种穿刺引导设备，其特征在于，包括相机和控制单元，其中：
所述相机用于对目标对象进行扫描，以获取所述目标区域的相机扫描图像；
所述控制单元与所述相机通信连接，并被配置用于执行如权利要求1-9中任一项所述的穿刺引导方法。
11.一种穿刺引导机器人***，其特征在于，包括相机、机械臂及控制单元；其中，
所述相机用于对目标对象的目标区域进行扫描，以获取所述目标区域的相机扫描图像；
所述机械臂的末端用于连接导向工具；
所述控制单元与所述相机及所述机械臂通信连接，被配置用于执行如权利要求1-9中任一项所述的穿刺引导方法。
CN202311361772.3A 2023-10-19 2023-10-19 穿刺引导方法、设备及机器人*** Pending CN117481756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311361772.3A CN117481756A (zh) 2023-10-19 2023-10-19 穿刺引导方法、设备及机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311361772.3A CN117481756A (zh) 2023-10-19 2023-10-19 穿刺引导方法、设备及机器人***

Publications (1)

Publication Number Publication Date
CN117481756A true CN117481756A (zh) 2024-02-02

Family

ID=89675428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311361772.3A Pending CN117481756A (zh) 2023-10-19 2023-10-19 穿刺引导方法、设备及机器人***

Country Status (1)

Country Link
CN (1) CN117481756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117918951A (zh) * 2024-03-18 2024-04-26 深圳惟德精准医疗科技有限公司 基于呼吸监测确定穿刺时刻的方法及相关产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117918951A (zh) * 2024-03-18 2024-04-26 深圳惟德精准医疗科技有限公司 基于呼吸监测确定穿刺时刻的方法及相关产品
CN117918951B (zh) * 2024-03-18 2024-06-07 深圳惟德精准医疗科技有限公司 基于呼吸监测确定穿刺时刻的方法及相关产品

Similar Documents

Publication Publication Date Title
KR102013866B1 (ko) 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
EP2967297B1 (en) System for dynamic validation, correction of registration for surgical navigation
CN110215284B (zh) 一种可视化***和方法
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
CN104434313B (zh) 一种腹部外科手术导航方法及***
US20110282151A1 (en) Image-based localization method and system
CN112641514B (zh) 一种微创介入导航***与方法
US20150223725A1 (en) Mobile maneuverable device for working on or observing a body
CN111588464B (zh) 一种手术导航方法及***
KR20160086629A (ko) 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
KR20190096575A (ko) 의료 영상 시스템
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN117481756A (zh) 穿刺引导方法、设备及机器人***
JP2016039874A (ja) 内視鏡画像診断支援装置、システム、方法およびプログラム
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
Piccinelli et al. Rigid 3D registration of pre-operative information for semi-autonomous surgery
CN112053346A (zh) 一种操作引导信息的确定方法和***
US12023109B2 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
Hwang et al. 3d pose estimation of catheter band markers based on single-plane fluoroscopy
US11406471B1 (en) Hand-held stereovision system for image updating in surgery
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
Yang et al. A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination