CN113100967B - 一种可穿戴的手术工具定位装置及定位方法 - Google Patents

一种可穿戴的手术工具定位装置及定位方法 Download PDF

Info

Publication number
CN113100967B
CN113100967B CN202110381948.6A CN202110381948A CN113100967B CN 113100967 B CN113100967 B CN 113100967B CN 202110381948 A CN202110381948 A CN 202110381948A CN 113100967 B CN113100967 B CN 113100967B
Authority
CN
China
Prior art keywords
positioning
infrared
surgical tool
camera
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110381948.6A
Other languages
English (en)
Other versions
CN113100967A (zh
Inventor
王焦乐
张廷华
宋霜
孟庆虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202110381948.6A priority Critical patent/CN113100967B/zh
Publication of CN113100967A publication Critical patent/CN113100967A/zh
Application granted granted Critical
Publication of CN113100967B publication Critical patent/CN113100967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种可穿戴的手术工具定位装置及定位方法，可穿戴的手术工具定位装置包括红外摄像头、RGB摄像头、红外激光发射器、红外灯，所述红外摄像头得到拍摄场景的灰度图像，通过红外相机立体定位，得到手术工具所安装的定位小球的位置；所述RGB摄像头得到所拍摄场景的彩色图像，通过RGB相机平面二维码定位，得到手术工具的所粘贴的平面二维码的位置；所述红外激光发射器发射的点阵被红外摄像头捕捉，通过主动测距的方式，获得场景的点云图，实现点云定位。将上述三种定位方式通过融合与坐标转换，最终得到手术工具的位置与姿态。本发明能使手术工具得到最佳的工作位置，以达到减少病人的创面，同时提高手术的成功率，加速病人术后的康复速度。

Description

一种可穿戴的手术工具定位装置及定位方法
技术领域
本发明涉及医疗设备领域，尤其涉及一种可穿戴的手术工具定位装置及定位方法。
背景技术
目前，在临床上，特别是骨科、神经、以及肿瘤的临床治疗上，越来越多的临床医生开始使用手术工具定位装置。通过手术工具定位装置准确地定位手术工具，进而使手术工具达到最佳的工作位置，以达到减少病人的创面，同时提高手术的成功率，加速病人术后的康复速度。
现阶段，手术工具定位装置主要分为两大类，分别为光学定位装置和电磁定位装置。光学定位装置通过光学成像的原理，能够实现高精度的手术工具的定位，但是现阶段的光学定位装置，其所需要的安装空间较大，只能固定安装，又因为受到光的传播特性的影响，现阶段的光学手术工具定位装置容易受到遮挡，从而无法在复杂的手术室内实现灵活的定位手术工具。电磁定位装置虽然弥补了光学定位的不足，但是受到磁场环境的影响，其定位精度相对较低。同时，现阶段的手术工具定位方法，其计算量大，使得手术工具定位装置必须使用高处理能力的计算机，大大增加了装置的成本。
发明内容
本发明的目的在于提供一种体积小、高精度以及灵活的手术工具定位装置，以及能够降低计算量的定位方法，以便能够在手术过程，提高手术工具的定位精度，减少病人的创面，提高手术的成功率，加速病人术后的康复速度，不仅可以降低手术工具定位装置对手术过程的不利影响和医生对定位装置的使用难度，还可以降低装置的计算成本和制造成本。
为实现上述目的，本发明采取的技术方案为：
一种可穿戴的手术工具定位装置，包括：
红外灯，用于照射手术场景，以达到对红外摄像头的补光作用；
红外摄像头，用于拍摄所述红外灯照射的手术场景，并得到所拍摄场景的灰度图像；
RGB摄像头，用于拍摄与所述红外摄像头相同的手术场景，并得到所拍摄场景的彩色图像；
红外激光发射器，用于发射红外激光点阵，与所述红外灯、红外摄像头、RGB摄像头集成在一个可穿戴设备上；
所述红外摄像头还用于对手术工具上安装的红外反光球定位，实现红外相机立体定位；
所述红外摄像头还捕捉所述红外激光发射器发射的点阵，通过主动测距的方式，获得手术场景的点云图，实现点云定位；
所述RGB摄像头还用于对手术工具上粘贴的平面二维码定位，实现RGB相机平面二维码定位；
所述红外相机立体定位、RGB相机平面二维码定位和点云定位通过融合与坐标转换，得到手术工具的位置与姿态。
进一步的，所述红外摄像头的数量不低于两个，所述红外摄像头的排列方式符合立体相机三角测距原理。
相应地，本发明还提供一种根据上述所述可穿戴的手术工具定位装置的定位方法，包括：
通过红外摄像头采集红外灯照射的手术场景，并得到所拍摄手术场景的灰度图像，然后通过红外相机立体定位，得到手术工具上安装的红外反光球的位置；
通过RGB摄像头采集与所述红外摄像头采集的相同手术场景，并得到所拍摄场景的彩色图像，然后通过RGB相机平面二维码定位，得到手术工具上粘贴的平面二维码的位置；
通过红外摄像头捕捉红外激光发射器发射的点阵，然后利用主动测距的方式获得手术场景的点云图，实现点云定位；
将红外相机立体定位、RGB相机平面二维码定位和点云定位三者的定位结果进行融合和坐标转换，得到手术工具的位置与姿态。
进一步的，所述RGB相机平面二维码定位是基于Aruco定位方法，先获取所述平面二维码与所述RGB摄像头的相对位姿，再通过已知的平面二维码与手术工具执行端的位置关系，换算出手术工具执行端相对所述RGB摄像头的位姿。
进一步的，所述红外相机立体定位基于立体相机三角定位方法，先获取红外反光球相对于红外摄像头的位置关系，再通过已知的红外反光球与手术工具执行端的位置关系，推算出手术工具执行端相对红外摄像头位置关系。
进一步的，所述点云定位得到的手术工具的z轴坐标，与所述红外相机立体定位中通过三角测距得到的手术工具的z轴坐标进行融合，得到更为准确的z轴坐标，进而得到手术工具准确的三维坐标。
本发明提供的一种手术工具定位装置及定位方法，其有益效果是：
(1)可穿戴的手术工具追踪装置把红外摄像头、RGB摄像头、红外激光发射器和红外灯集成在一起，在保证其定位精度的同时，大大的减小了定位装置的体积和安装空间。
(2)在手术过程中，可穿戴的手术工具追踪装置可以穿戴在医生的头上或者胸前，不会因为手术室复杂的环境而被遮挡相机的定位视线，其具有很高的灵活性，可以随着医生的位置实时发生改变。
(3)可穿戴的手术工具追踪装置结构简单、制造容易，且生产成本低。
(4)手术工具定位方法采用红外相机立体定位、RGB相机平面二维码定位和点云定位三者融合，大大降低了手术工具定位的速度，在速度相同的情况下，可以降低定位装置的计算能力成本，从而降低装置的生产成本。
附图说明
图1是本发明实施例可穿戴的手术工具定位装置的结构示意图；
图2是本发明实施例可穿戴的手术工具定位装置的使用场景图；
图3是本发明实施例手术工具结构示意图；
附图标记：1-医生、2-可穿戴的手术工具定位装置、3-病人、4-手术工具、5-病床；
201-红外摄像头一、202-外壳、203-RGB摄像头、204-红外激光发射器、205-红外摄像头二、206-红外灯、401-红外反光球、402-平面二维码、403-手术工具执行端。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参考图1-3，一种可穿戴的手术工具定位装置2，包括红外灯206，用于照射手术场景；红外摄像头一201和红外摄像头二205，用于拍摄红外灯206照射的手术场景，并得到所拍摄场景的灰度图像；RGB摄像头203，用于拍摄与红外摄像头一201和红外摄像头二205相同的手术场景，并得到所拍摄场景的彩色图像；红外激光发射器204，用于发射红外激光点阵，与红外灯206、红外摄像头一201和红外摄像头二205、RGB摄像头203集成在一个可穿戴设备2上；红外摄像头一201和红外摄像头二205还用于实现对手术工具4上安装的红外反光球401定位的红外相机立体定位；红外摄像头一201和红外摄像头二205还捕捉红外激光发射器204发射的点阵，通过主动测距的方式，获得手术场景的点云图，以实现点云定位；RGB摄像头203还用于实现对手术工具4上粘贴的平面二维码402定位的RGB相机平面二维码定位；红外相机立体定位、RGB相机平面二维码定位和点云定位通过融合与坐标转换，得到手术工具的位置与姿态。图1是本发明一个实施例的可穿戴的手术工具定位装置的结构示意图，将红外摄像头一201、外壳202、RGB摄像头203、红外激光发射器204、红外摄像头二205和红外灯206集成在一起，形成一个小且简单的手术工具定位装置2。
图2是本发明一个实施例的可穿戴的手术工具定位装置的使用场景图，医生1通过穿戴一种可穿戴的手术工具追踪装置2，对手术工具4进行精准定位。在确认了手术工具4的位置和已知病人3的位置后，完成两者的位置的配合，进一步实现手术位置和手术工具4的精准重合。图3是本发明的手术工具，由红外反光球401、平面二维码402和手术工具执行端403组成，形成本发明一个实施例用于追踪的手术工具。
红外摄像头的数量不低于两个，红外摄像头的排列方式符合立体相机三角测距原理，即多个摄像头的排列其光轴可以是平行，也可以是汇聚成一点，在本发明的实施例中，手术工具追踪装置2通过红外摄像头一201和红外摄像头二205的组合，形成红外立体相机。
相应地，根据本发明实施例所述可穿戴的手术工具定位装置2，提供了一种定位方法，包括：
通过红外摄像头一201采集红外灯206照射的手术场景，并得到所拍摄手术场景的灰度图像，然后通过红外相机立体定位，得到手术工具4上安装的红外反光球401的位置；
本发明实施例中，通过立体相机三角定位方法，测量出图3中每一个红外反光球401相对于红外摄像头一201坐标系的坐标{xi,yi,zi}(i＝1,2,3,4)。公式为q＝C*p，其中，q＝{u,v,1}T，{u,v}为小球在像素坐标系下的坐标，C为相机矩阵，p＝{x,y,z,1}。
通过RGB摄像头203采集与所述红外摄像头一201采集的相同手术场景，并得到所拍摄场景的彩色图像，然后通过RGB相机平面二维码定位，得到手术工具上粘贴的平面二维码402的位置；
本发明实施例中，通过RGB摄像头203识别出平面二维码，使用Aruco定位方法得到平面二维码402相对RGB摄像头203坐标系的坐标{x,y,z}以及平面二维码402的空间姿态。
Aruco定位方法包括两个主要步骤：1、检测候选平面二维码：分析图像以找到作为标记的候选的正方形形状。它首先进行自适应阈值处理以对标记进行分割，然后从阈值图像中提取轮廓，并丢弃那些非凸起或不接近正方形的轮廓。还应用了一些额外的过滤(去除太小或太大的轮廓，去除彼此太近的轮廓等)；2、在候选检测之后，有必要通过分析它们的内部编码来确定它们是否实际上是标记，此步骤首先提取每个标记的标记位。，为此，首先，应用透视变换以获得其规范形式的标记。，然后，使用Otsu对规范图像进行阈值处理以分离白色和黑色位。，根据标记大小和边界大小将图像分成不同的单元格，并计算每个单元格上的黑色或白色像素的数量，以确定它是白色还是黑色位，最后，分析比特以确定标记是否属于特定字典，并且在必要时采用纠错技术。
RGB相机平面二维码定位是基于Aruco定位方法，先获取所述平面二维码402与RGB摄像头203的相对位姿，再通过已知的平面二维码402与手术工具执行端403的位置关系，换算出手术工具执行端403相对RGB摄像头203的位姿。
本发明实施例中，通过平面二维码402与手术工具执行端403的已知位置关系和计算出的平面二维码402相对RGB摄像头203坐标系的坐标{x,y,z}以及平面二维码402的空间姿态关系，得到手术工具执行端403相对RGB摄像头203坐标系的坐标{Xg,Yg,Zg}以及其空间姿态。
红外相机立体定位基于立体相机三角定位方法，先获取红外反光球401相对于红外摄像头的位置关系，再通过已知的红外反光球401与手术工具执行端403的位置关系，推算出手术工具执行端403相对红外摄像头位置关系。
本发明实施例中，通过计算出的每一个红外反光球401相对于红外摄像头一201坐标系的坐标{xi,yi,zi}(i＝1,2,3,4)和每一个红外反光球401与手术工具执行端403的已知位置关系，推算出手术工具执行端403相对红外摄像头一201坐标系的坐标{Xr,Yr,Zr}。
通过红外摄像头一201捕捉红外激光发射器204发射的点阵，然后利用主动测距的方式获得手术场景的点云图，实现点云定位；
本发明实施例中，通过红外摄像头一201采集红外激光发射器204发射的红外点阵，获得手术工具4的红外点云，再次得到红外反光球401相对于红外摄像头-201坐标系的z坐标wj(j＝1，2，3，4)。
优选实施例中，将点云定位得到的手术工具4的z轴坐标，与所述红外相机立体定位中通过三角测距得到的手术工具4的z轴坐标进行融合，可得到更为准确的z轴坐标，进而得到手术工具准确的三维坐标。具体融合方法为：设点云定位得到的手术工具4的z轴坐标z1，三角测距得到的手术工具4的z轴坐标z2，其中z1,z2各自依然服从μ1,μ2，协方差矩阵Σii的多元高斯分布，通过条件概率分布的原理可以有以下结论：
μ2|1＝μ2+Σ21Σ-1 11(z1-μ1)
Σ2|1＝Σ11-ΣT21Σ-1 22Σ21
上式即可得到更为准确的z轴坐标μ2|1。
将红外相机立体定位、RGB相机平面二维码定位和点云定位三者的定位结果进行融合和坐标转换，得到手术工具的位置与姿态。
本发明实施例中，通过红外摄像头一201与RGB摄像头203已知位置关系，对坐标{Xg,Yg,Zg}与坐标{Xr,Yr,Zr}进行融合，计算出更加准确的手术工具执行端403相对红外摄像头一201坐标系的坐标{X,Y,Z}，从而准确定位手术工具执行端403下刀位姿与病人3下刀口的位置匹配。
本发明优选方案中，红外反光球、平面二维码的数量不局限于1个，多个红外反光球和平面二维码仍然适用本发明技术方案；红外反光球、平面二维码不局限与安装在单一的手术工具上，可以安装在任意手术工具上；RGB摄像头和红外激光发射器的安装位置不局限于两个或者多个红外摄像头的中间，可以根据可穿戴的手术工具追踪装置的外形发生变化；RGB摄像头、红外激光发射器的数量也不局限于1个；红外灯的个数不限；另外，可穿戴的部位不局限于头部，可以是肩部、胸前和手臂等可以观察到手术工具的部位。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种可穿戴的手术工具定位装置的定位方法，其特征在于，所述方法包括：
通过红外摄像头采集红外灯照射的手术场景，并得到所拍摄手术场景的灰度图像，然后通过红外相机立体定位，得到手术工具上安装的红外反光球的位置，具体包括：通过立体相机三角定位方法，测量出每一个红外反光球相对于红外摄像头坐标系的坐标{xi,yi,zi}，其中i＝1，2，3，4，公式为q＝C*p，q＝{u,v,1}T，{u,v}为红外反光球在像素坐标系下的坐标，C为相机矩阵，p＝{x,y,z,1}；
通过RGB摄像头采集与所述红外摄像头采集的相同手术场景，并得到所拍摄场景的彩色图像，然后通过RGB相机平面二维码定位，得到手术工具上粘贴的平面二维码的位置，具体包括：通过RGB摄像头识别出平面二维码，使用Aruco定位方法得到平面二维码相对RGB摄像头坐标系的坐标{x,y,z}以及平面二维码的空间姿态；
通过红外摄像头捕捉红外激光发射器发射的点阵，然后利用主动测距的方式获得手术场景的点云图，实现点云定位，具体包括：通过红外摄像头采集红外激光发射器发射的红外点阵，获得手术工具的红外点云，再次得到红外反光球相对于红外摄像头坐标系的z坐标wj，其中j＝1，2，3，4；
将点云定位得到的手术工具的z轴坐标，与所述红外相机立体定位中通过三角测距得到的手术工具的z轴坐标进行融合，可得到z轴坐标，进而得到手术工具的三维坐标，具体融合方法为：设点云定位得到的手术工具的z轴坐标z1，三角测距得到的手术工具的z轴坐标z2，其中z1,z2各自依然服从μ1,μ2，协方差矩阵Σii的多元高斯分布，通过条件概率分布的原理得到以下结论：
μ2|1＝μ2+Σ21Σ-1 11(z1-μ1)
Σ2|1＝Σ11-ΣT21Σ-1 22Σ21
上式即可得到z轴坐标μ2|1；
将红外相机立体定位、RGB相机平面二维码定位和点云定位三者的定位结果进行融合和坐标转换，得到手术工具的位置与姿态。
2.根据权利要求1所述的定位方法，其特征在于，所述RGB相机平面二维码定位是基于Aruco定位方法，先获取所述平面二维码与所述RGB摄像头的相对位姿，再通过已知的平面二维码与手术工具执行端的位置关系，换算出手术工具执行端相对所述RGB摄像头的位姿。
3.根据权利要求1所述的定位方法，其特征在于，所述红外相机立体定位基于立体相机三角定位方法，先获取红外反光球相对于红外摄像头的位置关系，再通过已知的红外反光球与手术工具执行端的位置关系，推算出手术工具执行端相对红外摄像头位置关系。
CN202110381948.6A 2021-04-09 2021-04-09 一种可穿戴的手术工具定位装置及定位方法 Active CN113100967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381948.6A CN113100967B (zh) 2021-04-09 2021-04-09 一种可穿戴的手术工具定位装置及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381948.6A CN113100967B (zh) 2021-04-09 2021-04-09 一种可穿戴的手术工具定位装置及定位方法

Publications (2)

Publication Number Publication Date
CN113100967A CN113100967A (zh) 2021-07-13
CN113100967B true CN113100967B (zh) 2022-09-06

Family

ID=76714877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381948.6A Active CN113100967B (zh) 2021-04-09 2021-04-09 一种可穿戴的手术工具定位装置及定位方法

Country Status (1)

Country Link
CN (1) CN113100967B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
CN106109015A (zh) * 2016-08-18 2016-11-16 秦春晖 一种头戴式医疗***及其操作方法
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
CN109431600B (zh) * 2018-11-26 2021-08-03 深圳安科高技术股份有限公司 一种用于手术导航的激光注册仪及控制电路和控制方法
CN209147987U (zh) * 2019-01-11 2019-07-23 广州艾目易科技有限公司 一种双目视觉光学定位仪
CN110458886A (zh) * 2019-09-18 2019-11-15 重庆康之翼科技有限公司 一种手术导航自动化注册参考架
CN111035458A (zh) * 2019-12-31 2020-04-21 上海交通大学医学院附属第九人民医院 一种手术综合视景智能辅助***及图像处理方法

Also Published As

Publication number Publication date
CN113100967A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
US11100636B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN110547872B (zh) 手术导航注册***
US20200242339A1 (en) Registration of frames of reference
CN201029876Y (zh) 骨科手术导航***
CN113876426B (zh) 一种与无影灯结合的术中定位跟踪***及方法
CN109297413A (zh) 一种大型筒体结构视觉测量方法
CN102341055A (zh) 用于定位图像中手术器械的基准标记设计和探测
WO2023078169A1 (zh) 医学图像标记点识别方法、装置、电子设备及存储介质
CN102106758A (zh) 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法
CN113197666A (zh) 用于手术导航的装置及***
CN110751681A (zh) 一种增强现实的配准方法、装置、设备及存储介质
CN105496556A (zh) 一种用于手术导航的高精度光学定位***
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN113837044B (zh) 基于环境亮度的器官定位方法及相关设备
CN114224489B (zh) 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
Schaller et al. Time-of-flight sensor for patient positioning
CN116758128A (zh) 一种口腔种植手术配准方法、***和存储介质
CN212256370U (zh) 光学式运动捕捉***
CN112990101B (zh) 基于机器视觉的面部器官定位方法及相关设备
CN113100967B (zh) 一种可穿戴的手术工具定位装置及定位方法
CN111862170A (zh) 光学式运动捕捉***及方法
CN110025378A (zh) 一种基于光学定位法的手术辅助导航方法
CN106580471A (zh) 图像导航定位***及方法
CN110458886A (zh) 一种手术导航自动化注册参考架
CN115631342A (zh) 医学影像特征点识别方法、识别***及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant