CN117835933A - 用于配准手术机器人坐标系与ct机坐标系的方法及*** - Google Patents

用于配准手术机器人坐标系与ct机坐标系的方法及*** Download PDF

Info

Publication number
CN117835933A
CN117835933A CN202380012400.1A CN202380012400A CN117835933A CN 117835933 A CN117835933 A CN 117835933A CN 202380012400 A CN202380012400 A CN 202380012400A CN 117835933 A CN117835933 A CN 117835933A
Authority
CN
China
Prior art keywords
coordinate system
mechanical arm
machine
calibration
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380012400.1A
Other languages
English (en)
Inventor
甘承军
郭岩中
隋晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Piner Medical Technology Co ltd
Original Assignee
Suzhou Piner Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Piner Medical Technology Co ltd filed Critical Suzhou Piner Medical Technology Co ltd
Publication of CN117835933A publication Critical patent/CN117835933A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Gynecology & Obstetrics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

一种用于配准手术机器人坐标系与CT机坐标系的方法及***。该***包括有与手术机器人控制台、机械臂（4）、CT机配合使用的3D结构光相机（1）和标定板（2），使用3D视觉***将CT机坐标系与手术机器人中机械臂坐标系进行配准，3D视觉***中的3D结构光相机（1）随机械臂（4）及机械臂（4）末端固定安装的穿刺装置（3）一起作同步移动。简化了机器人手术过程中的坐标配准流程。并且3D结构光相机（1）与穿刺装置（3）一起安装在机械臂（4）末端，使手术机器人的设备体积缩小。

Description

用于配准手术机器人坐标系与CT机坐标系的方法及*** 技术领域
本发明涉及穿刺机器人领域，具体地说，涉及一种用于配准手术机器人坐标系与CT机坐标系的方法及***。
背景技术
利用机器人进行穿刺手术的过程中，医生会根据医学影像设备(例如CT机)对患者进行诊断并制定手术方案，再由手术机器人依据医生给出的手术方案执行穿刺手术。只有将手术机器人的坐标系与医学影像设备的坐标系配准统一后，手术机器人才能按照医生制定的手术方案完成手术动作。
目前手术机器人大多是采用红外双目相机，对固定在机械臂上的标志组件和固定在人体上的标志组件进行拍摄，再结合固定在人体上标志组件的CT影像，通过图形识别算法和空间几何算法来确定机械臂与CT机的坐标配准。这种技术与方法需要在患者身上和机械臂上均固定安装标志组件，并且在机械臂之外视野合适的位置安放一台大型红外双目相机，整个***设备复杂，操作不方便，医务人员需要长时间的培训后才能完成操作。尤其是在患者身上固定标志组件，需要病人的有效配合才能完成，限制了手术机器人的广泛推广与应用。
发明内容
本发明的目的在于提供一种用于配准手术机器人坐标系与CT机坐标系的方法，属于一种全新的配准方法，本发明只需在机械臂末端固定安装一个高精度、小尺寸的3D结构光相机，再配合本发明依据3D结构光相机专门设计的标定板，将标定板放置在CT机上即可以完成机械臂坐标与CT机坐标的配准，无需在机械臂及患者身上固定相应的标志件，也无需另行配设大型的红外双目相机，使得手术机器人设备简单化，使用与操作更加简便，可以被广泛推广与应用，适用于各种级别的医疗单位。
本发明中用于配准手术机器人坐标系与CT机坐标系的方法，使用3D视觉***将CT机坐标系与手术机器人中机械臂坐标系进行配准，所述3D视觉***中的3D结构光相机随所述机械臂及所述机械臂末端固定安装的穿刺装置一起作同步移动。
优选地，所述3D视觉***包括有安装在所述机械臂末端、与所述穿刺装置固定成一个整体的3D结构光相机、能直接放置在所述CT机上且位于所述3D结构光相机拍摄范围内的标定板。
优选地，用于配准上CT机坐标系与机械臂坐标系，其特征在于，按以下步骤执行：
1)将固定有3D结构光相机的机械臂移动至CT机旁的手术区域内；
2)将所述标定板放置在所述CT机上，且位于所述3D结构光相机能拍摄到的范围内；
3)启动配准程序，所述机械臂携带所述3D结构光相机依序移动到多个位姿，移动至每个位姿后均开启所述3D结构相机投射多组结构光并采集结构光投射到的所述标定板中标定结构的照片，通过计算机软件记录下每个位姿的机械臂变换参数和所述标定板中标定结构的照片，运用手眼标定算法，获取所述标定板坐标系与机械臂坐标系的转换关系，为第三转换矩阵；
4)所述机械臂收回到初始位置，所述标定板继续放在所述CT机上保持不动，启动CT机对所述标定板进行扫描；获取所述标定板上四个球状标定件的CT影像数据，结合四个球状标定件的球心针对所述标定板的坐标矩阵，获得CT坐标系与所述标定板坐标系之间的转换关系，为第四转换矩阵；
5)依据所述标定板坐标系与机械臂坐标系之间的第三转换矩阵、所述CT机坐标系与所述标定板坐标系之间的第四转换矩阵，获取所述CT机坐标系与机械臂坐标系之间的转换关系，为第五转换矩阵，完成所述CT机坐标系与机械臂坐标系的坐标配准。
优选地，所述步骤3)中，按以下步骤执行：
3.1)启动配准程序，所述机械臂携带所述3D结构光相机依序移动至n个预先设定的不同位姿，移动至每个位姿后分别获取每个位姿下所述标定板坐标系与所述相机坐标系之间的转换关系，为第一转换矩阵WBC；机械臂末端中心点与所述机械臂坐标系之间的转换关系，为第二转换矩阵WAT；
3.2)选取其中两个位姿(i，j)对应的第一转换矩阵WBC和第二转换矩阵WAT，根据以下等式(1)获取所述相机坐标系与机械臂末端中心点坐标系的转换矩阵WCT (ij)； WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (1)
3.3)依据以下等式(2)获取针对该两个位姿(i，j)的标定板坐标系与机械臂坐标系的转换矩阵WAB (ij)； WAB (ij)＝WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (2)
3.4)重复步骤3.2)、3.3)，从n个位姿中选取两个不同位姿的第一转换矩阵WBC和第二转换矩阵WAT，组合后能够获得n*(n-1)/2个所述转换矩阵WAB (ij)；针对n*(n-1)/2个所述转换矩阵WAB (ij)中对应的相同变量求取平均值，将所有相同变量的平均值组合成标定板坐标系与机械臂坐标系的转换关系，称第三转换矩阵
优选地，所述步骤3.1)中，所述机械臂移动至每个位姿后均执行以下步骤：
3.1.1)所述3D结构光相机向所述标定板投射结构光，采集结构光投射到的所述标定板中标志结构的照片，由计算机软件记录下机械臂的位姿变换参数和结构光投射到的所述标定板中标志结构的照片，通过手眼标定算法获取针对该位姿的所述标定板坐标系与所述3D结构光相机中心点坐标系之间的转换关系，为第一转换矩阵WBC；
3.1.2)依据每一个位姿下机械臂位姿变换参数，获取机械臂末端中心点在机械臂坐标系下的位姿表示，即该位姿的机械臂末端中心点坐标系与机械臂坐标系之间的转换关系，为第二转换矩阵WAT。
优选地，步骤3)中所述3D结构光相机随所述机械臂移动的位姿数量为4-25个。
优选地，步骤3.1.1)中所述3D结构光相机投射波长为490nm的蓝紫LED光，呈13-24幅条纹光栅至所述标定板。
优选地，所述标定板包括有基板，四个球状标定件，用于固定连接所述基板和所述球状标定件的柱状连接件，用于锁固所述柱状连接件和所述基板的锁固件，每根所述柱状连接件的高度呈等差分列分布，所有柱状连接件均固定设置在所述基板的同一侧表面，所述基板位于所述柱状连接件设置的侧面表面设置有棋盘格。
优选地，所述柱状连接件包括有与所述球状标定件连接的第一连接部，与所述基板连接的第二连接部，所述第一连接部设置有供所述球状标定件沉入的圆柱状凹槽，所述凹槽的深度大于所述球状标定件的半径，所述凹槽的内径小于等于所述球状标定件的直径。
本发明中用于配准手术机器人坐标系与CT机坐标系的***，与手术机器人控制台、机械臂、CT机配合使用的3D结构光相机和标定板，所述3D结构光相机与所述机械臂末端安装的穿刺装置固定安装一起，与所述穿刺装置一起随所述机械臂的移动而移动。
使用本发明***进行配准时，只需要把装有3D结构光相机的手术机器人及机械臂推至CT机旁，将标定板放在CT机床能被3D结构光相机拍摄到的范围内，启动程序后即可自动完成坐标配准，操作简便，易学易用。从而大大简化了手术机器人的操作难度，大大减少医务人员学习培训的时间。
本发明将3D结构光相机应用于手术机器人后可以快速、准确的实现手术机器人坐标系与CT机坐标系的配准，配准精度可以达到1mm以内，为手术机器人进行穿刺手术提供了准确的定位和识别，确保手术的精准度。
另，本发明通过3D结构光相机的使用，大大简化了机器人手术过程中的坐标配准流程，与患者无关，使用人员操作简单，大量缩短了医务人员的学习和培训时间。并且3D结构光相机与穿刺装置一起安装在机械臂末端，使手术机器人的设备体积缩小，大大减少了CT手术室的设备占用空间，常规CT检查室就可以充分使用，使得机器人手术可以在更多的医院开展。
附图说明
图1是本发明中用于配准手术机器人坐标系与CT机坐标系的方法的流程图。
图2是本发明中用于配准手术机器人坐标系与CT机坐标系的***的结构示意图。
图3是本发明中3D结构光相机与穿刺装置组合安装后的结构示意图。
图4是本发明中标定板的立体结构示意图。
图5是本发明中标定板基板内棋盘格的结构示意图。
图6是本发明中四根柱状连接件的剖视结构示意图。
图7是本发明中***的工作状态结构示意图。
图8是本发明中配准的工作原理图一。
图9是本发明中配准的工作原理图二。
实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。
如图1、图2、图3、图8和图9所示，本发明中用于配准手术机器人坐标系与CT机坐标系的方法是使用3D视觉***将CT机坐标系与手术机器人中机械臂坐标系进行配准，其中3D视觉***中的3D结构光相机随机械臂4及机械臂末端安装的穿刺装置3一起作同步移动。
用于配准手术机器人坐标系与CT机坐标系的3D视觉***包括有软件部分和硬件部分，其中软件部分与手术机器人的控制***结合，具体的结合及软件程序作为本领域的技术人员在本发明方法的详细说明后可以实现。硬件部分包括有安装在手术机器人机械臂4末端穿刺装置3上的3D结构光相机1、可以平稳放置在CT机上的标定板2。其中3D结构光相机1与穿刺装置3经由安装架32固定安装在一起，均安装在机械臂4的末端，与穿刺装置3一起随机械臂4的移动而作同步移动。关于3D结构光相机1、穿刺装置3的固定安装以及固定安装架32的具体结构，对于本领域的技术人员来说是容易实现的，在此不再详细说明。
如图3所示，本发明中的3D结构光相机1可以拆分成两部分，包括有结构光源30和DDP相机31，分别安装在穿刺装置3的两侧边，使穿刺装置3中穿刺针5位于结构光源30和DDP相机31之间，并且结构光源30、DDP相机31固定安装完成后，结构光源30的光源覆盖范围和相机31的拍摄范围恰好呈重叠的方式位于穿刺装置3的下方，可以更好的找准穿刺位置。本发明中的3D结构光相机1也可以如图7和图9所示，作为一个整体直接固定安装在机械臂4的末端，与穿刺装置3平行(或并列)设置。
如图4所示，标定板2包括有基板20，四个球状标定件22，用于固定连接基板20和球状标定件22的四根柱状连接件21，用于锁固柱状连接件21和基板20的四个锁固件23。
其中基板20选用长为160mm、宽为140mm、厚为5mm的方形陶瓷基板，在陶瓷基板的四个直角位置处各设有一个穿孔25，在陶瓷基板20其中一个侧表面、且位于四个穿孔25的正中间设置均布有标志结构24。标志结构24为绘制或印刷在陶瓷基板20表面的几何图形，如图5所示，本发明优选黑、 白正方形交替排列组合，形成棋盘格图案，黑、白正方形的边长为8mm。
柱状连接件21优选聚甲醛热塑性结晶聚合物(POM，polyformaldehyde)材料一体成形，在每根柱状连接件21的上方分别固定一个球状标定件22，该球状标定件22选择需要在CT机内可以清晰成像而又不会产生伪影的材料，优先选用直径为20mm的AL2O3陶瓷球。
柱状连接件21与球状标定件22选择使用的材料，球状标定件22的密度大于柱状连接件21的密度1.5-4倍，可以准确、清晰的从CT图像上识别开，同时不会在CT影像中产生伪影。
如图6所示，柱状连接件21包括有与球状标定件22连接的第一连接部26，与基板20连接的第二连接部27，以及用于连接第一连接部26和第二连接部27的连接柱28。第一连接部26、第二连接部27、连接柱28由聚甲醛热塑性结晶聚合物材料一体成形。四根柱状连接件21的高度均不相同，每根柱状连接件21的第一连接部26、第二连接部27的结构、形状均相同，尺寸也完全相同。用于连接第一连接部26、第二连接部27的连接柱28的高度不同，四根连接柱28呈等差数列排列，优选0mm、20mm、40mm、60mm。
第一连接部26的内部设置有供球状标定件22沉入的圆柱状凹槽29，该凹槽29的深度大于球状标定件22的半径，但小于球状标定件22的直径的2/3，本实施例中凹槽29的深度优选21mm，直径优选19.9-20mm，借助于聚甲醛热塑性结晶聚合物材料的特性，使球状标定件22沉入凹槽29时有一点卡紧状态，需要使用一点力量才可以进入到凹槽29内部，从而可以使球状标定件22的球心完全处于凹槽29的正中心位置，并且球状标定件22进入凹槽29后不会发生转动等任何移动，使球状标定件22的球心始终处于凹槽29的正中心位置。为了能使球状标定件22能顺利地进入到凹槽29内，在凹槽29的内底部设有一个通气孔19。
优选地，四个锁固件23采用硬橡胶支撑柱，能够保证标定板2放置在CT机上时稳定不滑动。
本发明标定板2中棋盘格、柱状连接件21与球状标定件22的尺寸以及其在标定板2中的位置都是精确控制的，可以确保球状标定件22在CT机内可以清晰成像而又不会产生伪影，同时保证球状标定件22可以稳定固定在标定板中，使得球状标定件22中心点在标定板坐标系中的坐标精确。
如图1、图7、图8和图9所示，本发明中用于配准手术机器人坐标系与CT机坐标系的方法用于配准上CT机坐标系与机械臂坐标系，按以下步骤执行：
1)将固定有3D结构光相机1的机械臂4移动至CT机6旁预定的手术区域内固定，在此步骤内，可以预先启动机械臂4并将机械臂4移动至预定位置。
2)将标定板2放置在CT机6的CT床上，并放置于3D结构光相机1能拍摄到的范围内。
3)启动配准程序，机械臂4携带3D结构光相机1同步移动到预先设定(手术机器人程序内设定)好的第一位姿，执行以下步骤：
3.1)开启3D结构光相机1中的结构光源30，向标定板2投射波长为490nm的蓝紫LED光，并呈20幅条纹光栅在标定板2的标志结构24上，通过蓝紫LED光折射到DDP相机31，转换光栅条纹的格雷编码为实时数据，通过软件进行半精度匹配算法，再经过补丁算法形成点云图像，计算标定板2标志结构24中棋盘格的内容距离(棋盘角点到角点的距离)，然后根据标定板2中标志结构24的真实值，进行偏差修正计算，得到第一位姿下标定板坐标系与相机坐标系的转换关系WBC1，
称标定板坐标系与相机坐标系的转换关系为第一转换矩阵WBC。
此步骤中涉及的具体算法为手眼标定算法，属于公知技术，具体原理及算法不再详细描述。
此步骤中蓝紫LED光的投射波长可以在450nm-550nm之间，并且根据不同的波长可以呈13-24幅条纹光栅在标定板2上，本实施例优选490nm的波长，并呈20幅条纹光栅在标定板2上，便于计算机软件的快速计算。
3.2)依据每一个位姿下机械臂位姿变换参数(坐标x、y、z和角度θx、θy、θz)，获取第一位姿机械臂末端中心点在机械臂坐标系下的位姿表示，即该第一位姿的机械臂末端中心点坐标系与机械臂坐标系之间的转换关系，为第二转换矩阵WAT1。
具体是通过转换矩阵的旋转矩阵和平移矩阵，再变换成4×4齐次变换矩阵WAT：
4)启动机械臂4移动至第二位姿，重复上述步骤3)，分别获取第二位姿下标定板坐标系与相机坐标系的第一转换矩阵WBC2，机械臂4末端中心点与机械臂坐标系的第二转换矩阵WAT2；
如此反复，依序移动机械臂4至10个预定设定的不同位姿，分别获取每个位姿下的第一转换矩阵WBCi，为WBC1，WBC2，WBC3，…….WBC10；第二转换矩阵WATi，为：WAT1，WAT2，WAT3，…….WAT10。
5)获取相机坐标系与机械臂末端中心点坐标系之间的转换矩阵WCT。
具体是：从步骤4)的10位姿中选取任意两个位姿(i，j)的第一转换矩阵WBCi，WBCj和第二转换矩阵WATi，WATj，根据以下等式(1)可以获得相机坐标系与机械臂末端中心点坐标系之间的转换关系，即转换矩阵WCT (ij)。 WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (1)
6)获取标定板坐标系与机械臂坐标系之间的转换矩阵WAB (ij)。
依据以下等式(2)获取针对该两个位姿(i，j)的标定板坐标系与机械臂坐标系之间转换关系，即转换矩阵为WAB (ij)。 WAB (ij)＝WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (2)
7)重复步骤5)、6)，从10个位姿中选取两个不同位姿的第一转换矩阵WBC和第二转换矩阵WAT，两两组合后能够获得10*9/2＝45个转换矩阵WAB (ij)。针对45个转换矩阵WAB (ij)中对应的相同变量求取平均值，将所有相同变量的平均值组合成标定板坐标系与机械臂坐标系的转换关系，称第三转换矩阵
需要说明的是，本实施例中预设10个位姿，是结合了标定板2的结构尺寸和3D结构光相机1的特征参数，选定能够保证测量精度和转换矩阵计算精度的最佳位姿数量，位姿数量可以是4-20个之间，根据了标定板2的结构尺寸和3D结构光相机1的特征参数而定。
相同变量是指转换矩阵内每个相同位置的具体变量，如uABx，uABy，uABz等。
8)控制机械臂4收回，标定板2在CT机6上保持不动，启动CT机6对标定板2进行密扫。
得到标定板2上四个球状标定件22的CT影响数据，该影响数据中包含了图像中所有像素的CT值和三维CT坐标，通过以CT值为依据的图像识别算法和球心算法，计算出四个球状标定件22在CT坐标系下的球心坐标，用坐标矩阵B表示，结合四个球状标定件22球心在标定板2的坐标矩阵可以得到如下等式关系：
坐标矩阵B已经得到，可以对上面等式求解，从而计算获得CT坐标系到标定板坐标系的转换关系，称第四转换矩阵
9)在得出标定板坐标系与机械臂坐标系的第三转换矩阵WAB、CT坐标系到标定板坐标系的第四转换矩阵WBD后，就可以按以下计算公式(3)获取CT机坐标系与机械臂坐标系之间的转换关系，称第五转换矩阵WAD。
得出CT坐标系与机械臂坐标系的第五转换矩阵WAD后，就完成了CT机坐标系与机械臂坐标系的坐标配准，从而也就完成了CT机坐标系与手术机器人坐标系的坐标配准。
综上所述，本发明是将一台3D结构光相机固定在机械臂的末端，采用手在眼上的标定方法，无需采用另行设置的双目相机，可以有效减小CT室中各种背景光源对测量的影响，并且可以达到很高的测量精度。理论测量精度可以达到0.001mm，在实例的场景条件下，可以达到0.1mm的精度。

Claims (10)

  1. 一种用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，使用3D视觉***将CT机坐标系与手术机器人中机械臂坐标系进行配准，所述3D视觉***中的3D结构光相机随所述机械臂及所述机械臂末端固定安装的穿刺装置一起作同步移动。
  2. 根据权利要求1所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，所述3D视觉***包括有安装在所述机械臂末端、与所述穿刺装置固定成一个整体的3D结构光相机、能直接放置在所述CT机上且位于所述3D结构光相机拍摄范围内的标定板。
  3. 根据权利要求2所述的用于配准手术机器人坐标系与CT机坐标系的方法，用于配准上CT机坐标系与机械臂坐标系，其特征在于，按以下步骤执行：
    1)将固定有3D结构光相机的机械臂移动至CT机旁的手术区域内；
    2)将所述标定板放置在所述CT机上，且位于所述3D结构光相机能拍摄到的范围内；
    3)启动配准程序，所述机械臂携带所述3D结构光相机依序移动到多个位姿，移动至每个位姿后均开启所述3D结构相机投射多组结构光并采集结构光投射到的所述标定板中标定结构的照片，通过计算机软件记录下每个位姿的机械臂变换参数和所述标定板中标定结构的照片，运用手眼标定算法，获取所述标定板坐标系与机械臂坐标系的转换关系，为第三转换矩阵；
    4)所述机械臂收回到初始位置，所述标定板继续放在所述CT机上保持不动，启动CT机对所述标定板进行扫描；获取所述标定板上四个球状标定件的CT影像数据，结合四个球状标定件的球心针对所述标定板的坐标矩阵，获得CT坐标系与所述标定板坐标系之间的转换关系，为第四转换矩阵；
    5)依据所述标定板坐标系与机械臂坐标系之间的第三转换矩阵、所述CT机坐标系与所述标定板坐标系之间的第四转换矩阵，获取所述CT机坐标系与机械臂坐标系之间的转换关系，为第五转换矩阵，完成所述CT机坐标系与机械臂坐标系的坐标配准。
  4. 根据权利要求3所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，所述步骤3)中，按以下步骤执行：
    3.1)启动配准程序，所述机械臂携带所述3D结构光相机依序移动至n个预先设定的不同位姿，移动至每个位姿后分别获取每个位姿下所述标定板坐标系与所述相机坐标系之间的转换关系，为第一转换矩阵WBC；机械臂末端中心点与所述机械臂坐标系之间的转换关系，为第二转换矩阵WAT；
    3.2)选取其中两个位姿(i，j)对应的第一转换矩阵WBC和第二转换矩阵WAT，根据以下等式(1)获取所述相机坐标系与机械臂末端中心点坐标系的转换矩阵WCT (ij)； WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (1)
    3.3)依据以下等式(2)获取针对该两个位姿(i，j)的标定板坐标系与机械臂坐标系的两个转换矩阵WAB (ij)； WAB (ij)＝WAT (i)WCT (ij)WBC (i)＝WAT (j)WCT (ij)WBC (j) (2)
    3.4)重复步骤3.2)、3.3)，从2n个位姿中选取两个不同位姿的第一转换矩阵WBC和第二转换矩阵WAT，组合后能够获得n*(n-1)/2个所述转换矩阵WAB (ij)；针对n*(n-1)/2个所述转换矩阵WAB (ij)中对应的相同变量求取平均值，将所有相同变量的平均值组合成标定板坐标系与机械臂坐标系的转换关系，称第三转换矩阵
  5. 根据权利要求4所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，所述步骤3.1)中，所述机械臂移动至每个位姿后均执行以下步骤：
    3.1.1)所述3D结构光相机向所述标定板投射结构光，采集结构光投射到的所述标定板中标志结构的照片，由计算机软件记录下机械臂的位姿变换参数和结构光投射到的所述标定板中标志结构的照片，通过手眼标定算法获取针对该位姿的所述标定板坐标系与所述3D结构光相机中心点坐标系之间的转换关系，为第一转换矩阵WBC；
    3.1.2)依据每一个位姿下机械臂位姿变换参数，获取机械臂末端中心点在机械臂坐标系下的位姿表示，即该位姿的机械臂末端中心点坐标系与机械臂坐标系之间的转换关系，为第二转换矩阵WAT。
  6. 根据权利要求4所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，步骤3)中所述3D结构光相机随所述机械臂移动的位姿数量为4-20之间的偶数。
  7. 根据权利要求5所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，步骤3.1.1)中所述3D结构光相机投射波长为490nm的蓝紫LED光，呈13-24幅条纹光栅至所述标定板。
  8. 根据权利要求3-7任意一项所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，所述标定板包括有基板，四个球状标定件，用于固定连接所述基板和所述球状标定件的柱状连接件，用于锁固所述柱状连接件和所述基板的锁固件，每根所述柱状连接件的高度呈等差分列分布，所有柱状连接件均固定设置在所述基板的同一侧表面，所述基板位于所述柱状连接件设置的侧面表面设置有棋盘格。
  9. 根据权利要求8所述的用于配准手术机器人坐标系与CT机坐标系的方法，其特征在于，所述柱状连接件包括有与所述球状标定件连接的第一连接部，与所述基板连接的第二连接部，所述第一连接部设置有供所述球状标定件沉入的圆柱状凹槽，所述凹槽的深度大于所述球状标定件的半径，所述凹槽的内径小于等于所述球状标定件的直径。
  10. 一种用于上述权利要求1-9中任意一项所述的用于配准手术机器人坐标系与CT机坐标系的方法的***，与手术机器人控制台、机械臂、CT机配合使用的3D结构光相机和标定板，其特征在于，所述3D结构光相机与所述机械臂末端安装的穿刺装置固定安装一起，与所述穿刺装置一起随所述机械臂的移动而移动。
CN202380012400.1A 2023-04-07 2023-10-23 用于配准手术机器人坐标系与ct机坐标系的方法及*** Pending CN117835933A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202310365385.0A CN116392246A (zh) 2023-04-07 2023-04-07 用于配准手术机器人坐标系与ct机坐标系的方法及***
CN2023103653850 2023-04-07
PCT/CN2023/125927 WO2024027857A1 (zh) 2023-04-07 2023-10-23 用于配准手术机器人坐标系与ct机坐标系的方法及***

Publications (1)

Publication Number Publication Date
CN117835933A true CN117835933A (zh) 2024-04-05

Family

ID=87008632

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310365385.0A Pending CN116392246A (zh) 2023-04-07 2023-04-07 用于配准手术机器人坐标系与ct机坐标系的方法及***
CN202380012400.1A Pending CN117835933A (zh) 2023-04-07 2023-10-23 用于配准手术机器人坐标系与ct机坐标系的方法及***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310365385.0A Pending CN116392246A (zh) 2023-04-07 2023-04-07 用于配准手术机器人坐标系与ct机坐标系的方法及***

Country Status (2)

Country Link
CN (2) CN116392246A (zh)
WO (1) WO2024027857A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116392246A (zh) * 2023-04-07 2023-07-07 苏州派尼迩医疗科技有限公司 用于配准手术机器人坐标系与ct机坐标系的方法及***
CN116563297B (zh) * 2023-07-12 2023-10-31 中国科学院自动化研究所 颅脑靶点定位方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1040393A4 (en) * 1997-09-04 2004-03-10 Dynalog Inc METHOD FOR CALIBRATING A ROBOTIZED CONTROL SYSTEM
CN114643578B (zh) * 2020-12-18 2023-07-04 沈阳新松机器人自动化股份有限公司 一种提高机器人视觉引导精度的标定装置及方法
CN217162286U (zh) * 2021-12-13 2022-08-12 浙江德尚韵兴医疗科技有限公司 基于医学影像的光学导航机器人末端定位精度的测量工具
CN115553888A (zh) * 2022-10-28 2023-01-03 苏州派尼迩医疗科技有限公司 集3d相机、进针装置于一体的穿刺机器人及穿刺方法
CN116392246A (zh) * 2023-04-07 2023-07-07 苏州派尼迩医疗科技有限公司 用于配准手术机器人坐标系与ct机坐标系的方法及***

Also Published As

Publication number Publication date
CN116392246A (zh) 2023-07-07
WO2024027857A1 (zh) 2024-02-08

Similar Documents

Publication Publication Date Title
CN117835933A (zh) 用于配准手术机器人坐标系与ct机坐标系的方法及***
KR101495011B1 (ko) 카메라 시스템 좌표계의 측정 및 변환
CN111012506B (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN113347937A (zh) 参照系的配准
CN110666798A (zh) 一种基于透视变换模型的机器人视觉标定方法
DE102006005036A1 (de) Vorrichtung und Verfahren zur verbesserten Formcharakterisierung
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN112581544B (zh) 基于参数优化的无公共视场相机标定方法
JP2001074428A (ja) 形状測定装置の校正方法及び校正治具
CN114283203A (zh) 一种多相机***的标定方法及***
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
US20210174950A1 (en) Stereoscopic marker device and three-dimensional real-time positioning method of orthopedic surgery
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN1286438C (zh) 医疗机器人视觉注册方法
CN112638251A (zh) 一种测量位置的方法
CN114404041A (zh) C型臂成像参数校准***及方法
CN217853001U (zh) 多目立体视觉快速脑电极定位装置
JP6974030B2 (ja) レジストレーションマーカー、レジストレーションマーカーの活用プログラム、及びロボットシステムの作動方法
US20220047334A1 (en) Systems and methods for magnetic resonance imaging guided robotics
CN109158871B (zh) 一种非向心多孔轴精密视觉连续对准***及其方法
CN113251951B (zh) 基于单标定面映射的线结构光视觉测量***的标定方法
CN111145256B (zh) 一种肿瘤穿刺中人体姿态的定位装置及方法
Martinez et al. Is linear camera space manipulation impervious to systematic distortions?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination