CN114209433A - 一种手术机器人导航定位方法及装置 - Google Patents

一种手术机器人导航定位方法及装置 Download PDF

Info

Publication number
CN114209433A
CN114209433A CN202111667267.2A CN202111667267A CN114209433A CN 114209433 A CN114209433 A CN 114209433A CN 202111667267 A CN202111667267 A CN 202111667267A CN 114209433 A CN114209433 A CN 114209433A
Authority
CN
China
Prior art keywords
coordinate system
target
image
surgical robot
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111667267.2A
Other languages
English (en)
Other versions
CN114209433B (zh
Inventor
沈丽萍
陈汉清
李明
方华磊
孙盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Santan Medical Technology Co Ltd
Original Assignee
Hangzhou Santan Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Santan Medical Technology Co Ltd filed Critical Hangzhou Santan Medical Technology Co Ltd
Priority to CN202111667267.2A priority Critical patent/CN114209433B/zh
Publication of CN114209433A publication Critical patent/CN114209433A/zh
Application granted granted Critical
Publication of CN114209433B publication Critical patent/CN114209433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例提供了一种手术机器人导航定位方法及装置，涉及数据处理技术领域，上述方法包括：获得多张二维图像；对各二维图像与目标对象的三维图像进行图像配准，得到第一转换关系；识别各二维图像中的标识物，得到标识物的图像位置；根据所得的各图像位置、标识物在标定坐标系下的标定位置以及第二转换关系，计算第三转换关系；基于第一转换关系以及第三转换关系，将依据三维图像规划出的手术路径转换为目标坐标系下的目标路径；根据目标路径，对手术机器人进行导航定位。应用本发明实施例提供的手术机器人导航定位方案，能够对手术机器人进行导航定位。

Description

一种手术机器人导航定位方法及装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种手术机器人导航定位方法及装置。
背景技术
如今，医生可以使用手术机器人完成手术，由于手术机器人通常可以进行更加精细准确的操作，因此，利用手术机器人进行手术能够提高手术的成功率。在手术过程中，通常需要首先规划好手术机器人的移动路径，然后根据该移动路径控制手术机器人进行移动，实现手术机器人导航定位，进而基于定位后的手术机器人完成手术。
因此，需要一种手术机器人导航定位方案，以对手术机器人进行导航定位。
发明内容
本发明实施例的目的在于提供一种手术机器人导航定位方案，以对手术机器人进行导航定位。具体技术方案如下：
第一方面，本发明实施例提供了一种手术机器人导航定位方法，所述方法包括：
获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
根据所述目标路径，对所述手术机器人进行导航定位。
本发明的一个实施例中，所述根据所述目标路径，对所述手术机器人进行导航定位，包括：
从所述目标路径的起始位置开始，沿所述目标路径对所述手术机器人进行导航定位，并在导航定位过程中，实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，其中，所述位置偏移为：所述目标坐标系中所述目标对象在当前时刻下的位置与在所述二维图像的采集时刻下的位置之间的偏移。
本发明的一个实施例中，所述实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，包括：
获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，其中，所述第一坐标系为：根据所述第一传感器建立的坐标系，所述第一位置为：所述目标对象在所述二维图像的采集时刻下的位置，所述当前位置为：所述目标对象在当前时刻下的位置；
根据所述第一位置、当前位置以及预先得到的所述第一坐标系与目标坐标系之间的转换关系，计算所述目标对象的位置偏移；
基于所述位置偏移，对所述目标路径进行矫正。
本发明的一个实施例中，所述第一传感器为光学追踪器和/或磁传感器。
本发明的一个实施例中，所述根据所述目标路径，对所述手术机器人进行导航定位，包括：
获得由第二传感器采集的、第二坐标系下所述手术机器人的第二位置，其中，所述第二坐标系为：根据所述第二传感器建立的坐标系；
根据预先得到的所述第二坐标系与目标坐标系之间的转换关系，将所述第二位置转换为所述目标坐标系下的第三位置；
根据所述目标路径以及第三位置，对所述手术机器人进行导航定位。
本发明的一个实施例中，所述第二传感器为光学追踪器和/或磁传感器。
本发明的一个实施例中，所述根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，包括：
根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系，其中，所述目标位置为：根据所述标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、所述标识物在目标坐标系下的位置。
第二方面，本发明实施例还提供了一种手术机器人导航定位装置，所述装置包括：
图像获得模块，用于获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
图像配准模块，用于对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
标识物识别模块，用于识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
关系计算模块，用于根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
路径转换模块，用于基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
导航定位模块，用于根据所述目标路径，对所述手术机器人进行导航定位。
本发明的一个实施例中，所述导航定位模块，具体用于：
从所述目标路径的起始位置开始，沿所述目标路径对所述手术机器人进行导航定位，并在导航定位过程中，实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，其中，所述位置偏移为：所述目标坐标系中所述目标对象在当前时刻下的位置与在所述二维图像的采集时刻下的位置之间的偏移。
本发明的一个实施例中，所述导航定位模块，具体用于：
获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，其中，所述第一坐标系为：根据所述第一传感器建立的坐标系，所述第一位置为：所述目标对象在所述二维图像的采集时刻下的位置，所述当前位置为：所述目标对象在当前时刻下的位置；
根据所述第一位置、当前位置以及预先得到的所述第一坐标系与目标坐标系之间的转换关系，计算所述目标对象的位置偏移；
基于所述位置偏移，对所述目标路径进行矫正。
本发明的一个实施例中，所述第一传感器为光学追踪器和/或磁传感器。
本发明的一个实施例中，所述导航定位模块，具体用于：
获得由第二传感器采集的、第二坐标系下所述手术机器人的第二位置，其中，所述第二坐标系为：根据所述第二传感器建立的坐标系；
根据预先得到的所述第二坐标系与目标坐标系之间的转换关系，将所述第二位置转换为所述目标坐标系下的第三位置；
根据所述目标路径以及第三位置，对所述手术机器人进行导航定位。
本发明的一个实施例中，所述第二传感器为光学追踪器和/或磁传感器。
本发明的一个实施例中，所述关系计算模块，具体用于：
根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系，其中，所述目标位置为：根据所述标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、所述标识物在目标坐标系下的位置。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的手术机器人导航定位方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的手术机器人导航定位方法步骤。
本发明实施例有益效果：
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，第一转换关系为各个图像坐标系与三维坐标系之间的转换关系，第三转换关系为各个图像坐标系与目标坐标系之间的转换关系，因此，基于第一转换关系和第三转换关系，可以将预先在三维图像中规划好的、三维坐标系下的手术路径转换为目标坐标系下的目标路径。又由于目标坐标系为根据手术机器人建立的坐标系，因此，根据目标坐标系下的目标路径，可以实现对手术机器人进行导航定位。
另外，本方案中，在确定各个图像坐标系与目标坐标系之间的第三转换关系时，只需将标定板放置在图像采集设备的视野范围内，即可通过识别二维图像中的标识物获得标定板上标识物在各个图像坐标系下的位置，从而计算出第三转换关系。标定板可以放置在图像采集设备的视野范围内的任意位置，并且利用标定板即可计算出第三转换关系，无须对目标对象进行任何操作，因此，应用本发明实施例提供的手术机器人导航定位方案，能够增强手术机器人导航定位的灵活度，降低手术机器人导航定位的操作难度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的第一种手术机器人导航定位方法的流程示意图；
图2为本发明实施例提供的第二种手术机器人导航定位方法的流程示意图；
图3为本发明实施例提供的第三种手术机器人导航定位方法的流程示意图；
图4为本发明实施例提供的第四种手术机器人导航定位方法的流程示意图；
图5为本发明实施例提供的一种手术机器人导航定位装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为发明实施例提供了第一种手术机器人导航定位方法的流程示意图，上述方法包括以下步骤S101-S106。
步骤S101：获得由图像采集设备从不同采集角度采集的多张二维图像。
其中，上述图像采集设备可以是二维成像设备。例如，上述图像采集设备可以是C臂机。
上述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板，因此，图像采集设备在采集图像时，可以采集到目标对象以及标定板的图像，上述三维图像中存在目标对象对应的区域以及标定板对应的区域。
上述标识物通常为金属小球，例如钢珠球，或者其他金属制成的小球。
上述标定板通常包含不共面的多个标识物。
具体的，图像采集设备采集多张二维图像存在以下两种情况。
第一种情况：可以使用一台图像采集设备分别在不同采集角度采集二维图像，此时，各个二维图像的采集时刻不同。
第二种情况：可以使用多台图像采集设备，在不同的采集角度同步采集二维图像，此时，各个二维图像的采集时刻可以认为是同一时刻。
步骤S102：对各二维图像与目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与三维图像所在的三维坐标系之间的第一转换关系。
其中，上述三维图像可以是预先获得的目标对象的图像，也可以是在手术机器人导航定位过程中利用三维图像采集设备采集目标对象得到的图像。
上述图像坐标系可以是根据二维图像建立的三维的坐标系，二维图像中各像素点的坐标为三维的图像坐标系中的三维坐标。
由于上述各二维图像为图像采集设备从不同采集角度采集得到的图像，因此，针对上述图像采集设备的视野范围内的任一对象，可以利用该对象在各个二维图像所在的图像坐标系中的位置共同表示该对象在三维空间中的位置，因此，可以认为根据各二维图像所在的图像坐标系可以构成一个虚拟三维坐标系。鉴于此，对各二维图像与目标对象的三维图像进行配准可以理解为：根据同一对象在上述虚拟三维坐标系的位置以及在上述三维图像所在三维坐标系中的位置，对三维图像所在三维坐标系进行旋转、偏移等处理，以使得该对象在上述两个三维坐标系中的位置相吻合。
另外，两个坐标系之间的转换关系可以表示为以下表达式：
Figure BDA0003452078020000071
其中，r1-r9为两个坐标系之间的旋转量，可以构成旋转矩阵
Figure BDA0003452078020000072
tx、ty、tz分别为两个坐标系分别在三个坐标轴之间的平移量。
上述第一转换关系为各图像坐标系与三维图像所在的三维坐标系之间的转换关系，可以理解为上述虚拟三维坐标系与三维图像所在的三维坐标系之间的转换关系。上述第一转换关系可以表示为
Figure BDA0003452078020000081
具体的，可以首先对一个二维图像与目标对象的三维图像进行图像配准，配准完成后再对另一二维图像与配准后的三维图像进行图像配准，这样依次使用各二维图像与目标对象的三维图像进行图像配准，当各二维图像均与三维图像完成图像配准后，即可获得的各图像坐标系与三维坐标系之间的第一转换关系。
对二维图像与三维图像进行图像配准可以通过现有的图像配准技术实现，这里不再详述。
步骤S103：识别各二维图像中的标识物，得到标识物在各图像坐标系下的图像位置。
具体的，通过识别二维图像中的标识物，可以确定二维图像中标识物对应的像素点在图像坐标系所在的位置，该位置即为标识物在图像坐标系下的图像位置。对于一张二维图像，可以获得标识物在该二维图像所在的图像坐标系下的图像位置，对于多张二维图像，可以获得标识物在多张二维图像所在的图像坐标系下的多个图像位置。
本发明的一个实施例中，可以将标识物作为识别对象，通过现有的对象识别技术识别二维图像中的标识物，例如，可以通过对象识别模型对二维图像进行处理，得到标识物在二维图像所在的图像坐标系下的图像位置。
步骤S104：根据所得的各图像位置、标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系。
其中，上述标定坐标系为：标定板所在的坐标系。
本发明的一个实施例中，上述标定坐标系可以是以标定板的一个顶点为坐标原点，按照上述标定板的长、宽、高建立的坐标系。这种情况下，标识物的标定位置可以是由该标识物与坐标原点分别在长度方向、宽度方向和高度方向上的距离构成的坐标。
本发明的另一个实施例中，由于标定板上的标识物通常不在同一平面上，因此，可以按照标定板上标识物排列形成的行、列、层建立标定坐标系。这种情况下，标识物的标定位置可以是该标识物在标定板上的行数、列数和层数构成的坐标。
上述目标坐标系为：手术机器人所在的坐标系。
上述目标坐标系可以是世界坐标系，也可以是根据手术机器人所处的环境建立的空间坐标系。
由于上述标定坐标系可以根据标定板所在位置预先建立，上述目标坐标系也可以根据手术机器人所在位置预先建立，因此，上述第二转换关系可以是预先获得的、标定坐标系与目标坐标系之间的转换关系，上述第二转换关系可以表示为
Figure BDA0003452078020000091
根据各图像位置、标定位置以及第二转换关系计算第三转换关系的具体实现方式可参见后续实施例，这里暂不详述。
步骤S105：基于第一转换关系以及第三转换关系，将依据三维图像规划出的手术路径转换为目标坐标系下的目标路径。
在上述三维图像为预先得到的图像的情况下，上述手术路径也可以是预先规划出的、对目标对象进行手术的路径。
在上述三维图像为手术机器人导航定位过程中得到的图像的情况下，可以在获得三维图像后，在三维图像中规划对目标对象进行手术的路径。
本发明的一个实施例中，规划手术路径存在以下两种实现方式。
第一种实现方式中，医生可以查看到上述三维图像，并根据以往工作经验，在三维图像中手动规划手术路径。
第二种实现方式中，可以利用现有的手术路径规划技术对上述三维图像进行处理，从而获得三维图像中的手术路径。
具体的，由于上述手术路径为在三维图像中规划的路径，因此，手术路径为在三维坐标系下的路径，第一转换关系为各图像坐标系与三维坐标系之间的转换关系，基于第一转换关系，可以将三维坐标系下的手术路径转换至各图像坐标系下的手术路径，又由于第三转换关系为各图像坐标系与目标坐标系之间的转换关系，因此，在获得各图像坐标系下的手术路径后，基于第三转换关系，可以将各图像坐标系下的手术路径再次转换至目标坐标系下，得到目标坐标系下的手术路径作为目标路径。
本发明的一个实施例中，在上述路径为一条直线段的情况下，可以首先在三维坐标系中确定该路径的两个端点位置，然后基于第一转换关系，将这两个端点位置从三维坐标系转换至各图像坐标系，此时，上述两个端点在每一图像坐标系下均有各自的位置。在获得各图像坐标系下两个端点的位置后，基于第三转换关系，可以将所获得的两个端点位置再次转换至目标坐标系下，得到目标坐标系下两个端点的位置，由目标坐标系下的这两个端点构成的直线段即为目标坐标系下的目标路径。
具体的，两个坐标系之间的转换关系中通常包括旋转参数和平移参数，在将上述两个坐标系中其中一个坐标系下的点的位置转换至另一坐标系下时，可以根据上述转换关系所包括的旋转参数和平移参数，对该点进行旋转、平移处理，处理后得到的位置即为该点在另一坐标系下的位置。因此，针对上述三维坐标系下的两个端点的位置，可以根据上述第一转换关系以及第三转换关系中包括的旋转参数和平移参数，对这两个端点进行旋转、偏移处理，从而获得这两个端点在目标坐标系下的两个位置。
本发明的另一个实施例中，可以依据微积分原理将手术路径划分为三维坐标系中多个点的位置，然后基于第一转换关系以及第三转换关系，将这多个点的位置从三维坐标系转换至目标坐标系，在目标坐标系中，由这多个转换后的点的位置构成目标路径。
具体的，针对每一个点的位置，可以根据上述第一转换关系以及第三转换关系中包括的旋转参数和平移参数，对该点进行旋转、平移处理，从而将三维坐标系下的点的位置转换至目标坐标系。
步骤S106：根据目标路径，对手术机器人进行导航定位。
上述手术机器人可以包含机械臂，在获得上述目标路径后，可以控制机械臂，使得机械臂末端按照目标路径进行移动，从而实现导航定位。
上述机械臂末端可以安装有末端工具，在机械臂末端到达目标路径指示的位置之后，用户可以利用机械臂末端安装的末端工具，对目标对象进行手术。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，第一转换关系为各个图像坐标系与三维坐标系之间的转换关系，第三转换关系为各个图像坐标系与目标坐标系之间的转换关系，因此，基于第一转换关系和第三转换关系，可以将预先在三维图像中规划好的、三维坐标系下的手术路径转换为目标坐标系下的目标路径。又由于目标坐标系为根据手术机器人建立的坐标系，因此，根据目标坐标系下的目标路径，可以实现对手术机器人进行导航定位。
另外，本方案中，在确定各个图像坐标系与目标坐标系之间的第三转换关系时，只需将标定板放置在图像采集设备的视野范围内，即可通过识别二维图像中的标识物获得标定板上标识物在各个图像坐标系下的位置，从而计算出第三转换关系。标定板可以放置在图像采集设备的视野范围内的任意位置，并且利用标定板即可计算出第三转换关系，无须对目标对象进行任何操作，因此，应用本发明实施例提供的手术机器人导航定位方案，能够增强手术机器人导航定位的灵活度，降低手术机器人导航定位的操作难度。
下面对根据各图像位置、标定位置以及第二转换关系计算第三转换关系的具体实现方式进行说明。
本发明的一个实施例中，参见图2，提供了第二种手术机器人导航定位方法的流程示意图，与前述图1所示实施例相比，本实施例中，可以通过以下步骤S104A实现上述步骤S104。
步骤S104A：根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系。
其中，目标位置为：根据标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、标识物在目标坐标系下的位置。
由于标识物在标定坐标系中的位置可以是预先确定的，又由于上述第二转换关系同样可以预先获得，因此，可以在计算上述第三转换关系之前，首先根据标识物的标定位置以及第二转换关系，计算标识物在目标坐标系下的目标位置，然后根据上述各个图像位置以及计算得到的目标位置，计算第三转换关系。
具体的，上述标定板通常可以包括多个标识物，每一标识物在标定坐标系下均有各自的位置，同样的，每一标识物在目标对象坐标系下均有各自的目标位置。在识别各个二维图像中标识物时，可以识别多个标识物的位置，从而得到多个标识物在各个图像坐标系下的多个图像位置，这样可以根据各个标识物的图像位置以及目标位置，可以求解各个图像坐标系与目标坐标系之间的第三转换关系。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，上述目标位置为标识物在目标坐标系下的位置，由于标识物在标定坐标系下的位置以及标定坐标系与目标坐标系之间的第二转换关系可以预先获得，因此，标识物的目标位置也可以预先获得，这样在计算上述第三转换关系时，只需首先获得标识物的各个图像位置，然后根据各个图像位置以及目标位置，即可计算出第三转换关系。因此，应用本发明实施例提供的手术机器人导航定位方案，第三转换关系的计算量较小，从而能够提高获得第三转换关系的效率，进而提高手术机器人导航定位的效率。
本发明的另一个实施例中，可以首先根据标识物的各图像位置和标定位置，计算各图像坐标系与标定坐标系之间的中间转换关系，然后结合标定坐标系与目标坐标系之间的第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系。
根据各图像位置和标定位置计算上述中间转换关系的方式与上述步骤S104A中根据图像位置以及目标位置计算第三转换关系的方式相类似，上述中间转换关系可以表示为
Figure BDA0003452078020000121
上述第二转换关系为标定坐标系与目标坐标系之间的转换关系，可以表示为
Figure BDA0003452078020000122
根据中间转换关系和第二转换关系，可以计算各图像坐标系与目标坐标系之间的第三转换关系为
Figure BDA0003452078020000131
Figure BDA0003452078020000132
上述方案中，根据各图像位置和标定位置，可以准确计算出各图像坐标系与标定坐标系之间的中间转换关系，然后根据中间转换关系和第二转换关系，可以准确计算出第三转换关系。因此，应用本发明实施例提供的手术机器人导航定位方案，能够准确计算出个图像坐标系与目标坐标系之间的第三转换关系，从而提高导航定位的准确性。
由于手术机器人在进行导航定位时，目标对象自身位置可能会发生改变，例如，手术台升降导致目标对象位置移动，或者目标对象挪动位置等等，这种情况下，若手术机器人按照原本获得的目标路径进行导航定位，则会导致手术机器人实际移动的路径与预期的路径发生偏差，降低导航定位效果。
针对上述情况，本发明的一个实施例中，参见图3，提供了第三种手术机器人导航定位方法的流程示意图，与前述图1所示实施例相比，本实施例中，可以通过以下步骤S106A实现上述步骤S106。
步骤S106A：从目标路径的起始位置开始，沿目标路径对手术机器人进行导航定位，并在导航定位过程中，实时检测目标对象的位置偏移，基于位置偏移，对目标路径进行矫正。
其中，位置偏移为：目标坐标系中目标对象在当前时刻下的位置与在二维图像的采集时刻下的位置之间的偏移。
上述位置偏移可以理解为上述目标对象中需要进行手术的手术区域的偏移，由于上述手术机器人沿目标路径可以定位至该手术区域，因此，若目标对象上手术区域的位置发生改变，需要对目标路径进行矫正，以使得手术机器人始终能够准确定位手术区域。
由于目标对象的位置可能在手术机器人导航定位过程中任意时刻发生改变，因此，需要在手术机器人导航定位过程中，持续对目标路径进行矫正，以使得手术机器人能够始终按照期望的路径进行导航定位，即手术机器人导航定位过程和对目标路径进行矫正的过程是同步进行的。
具体的，在上述图像采集设备采集二维图像时，可以记录该时刻目标对象在目标坐标系下的位置，然后在手术机器人导航定位过程中，实时检测目标对象在目标坐标系下的位置，若目标对象在目标坐标系下的位置与上述二维图像的采集时刻下记录的位置相同，则说明目标对象的位置未发生改变，此时目标对象的位置偏移为0，手术机器人沿原本的目标路径进行导航定位；若目标对象在目标坐标系下的位置与上述记录的位置不同，则说明目标对象的位置发生了改变，此时可以根据检测到的位置以及所记录的位置计算目标对象的位置偏移，然后基于该位置偏移，对目标路径进行矫正，手术机器人沿矫正后的目标路径继续进行导航定位。
例如，若在目标坐标系中，X轴上的一个单位坐标值对应实际场景中的1厘米，此时，若目标对象向X轴正方向移动了5厘米，则需要在目标坐标系中，将目标路径所在位置向X轴正方向移动5，之后手术机器人沿着移动后的目标路径继续进行导航定位。
另外，由于图像采集设备所采集的各二维图像的采集时刻可能相同，也可能不同。在各二维图像的采集时刻不同的情况下，可以记录各二维图像的采集时刻中最早采集时刻下目标对象在目标坐标系的位置；也可以记录各二维图像的采集时刻中最早采集时刻下目标对象在目标坐标系的位置；还可以记录各二维图像的采集时刻中其他采集时刻下目标对象在目标坐标系的位置。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，通过在导航定位过程中实时检测目标对象的位置偏移，并基于该位置偏移对目标路径进行矫正，这样可以在导航定位过程中，不断修正目标路径，使得手术机器人在导航定位的任意时刻均能沿着预期的路径进行移动，从而提高了手术机器人导航定位的准确性。
下面对上述步骤S106A中实时检测目标对象的位置偏移，基于位置偏移，对目标路径进行矫正进行进一步说明。
本发明的一个实施例中，可以首先获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，然后根据第一位置、当前位置以及预先得到的第一坐标系与目标坐标系之间的转换关系，计算目标对象的位置偏移，最后基于位置偏移，对目标路径进行矫正。
其中，第一坐标系为：根据第一传感器建立的坐标系，第一位置为：目标对象在二维图像的采集时刻下的位置，当前位置为：目标对象在当前时刻下的位置。
上述第一传感器通常包含追踪模块和定位模块，上述第一传感器中的追踪模块可以采集第一传感器的定位模块在第一坐标系下的位置，通过将第一传感器的定位模块放置在上述目标对象的身体上，可以获得目标对象在第一坐标系下的位置。
另外，在对目标对象进行手术之前，通常可以获知目标对象的身体上需要进行手术的手术区域所在的部位，例如，该部位可以是胸腔、心脏等，因此，在放置上述第一传感器的定位模块时，可以将定位模块放置于上述部位或者上述部位附近区域，这样可以更加准确的探测到手术区域的位置偏移，从而提高导航定位的准确性。
具体的，在第一传感器的定位模块放置在目标对象的身体上之后，第一传感器的追踪模块可以采集上述二维图像的采集时刻下定位模块的位置，作为目标对象在第一坐标系下的第一位置，还可以在导航定位过程中，实时采集定位模块的位置，作为目标对象在第一坐标系下的当前位置，然后根据所获得的第一位置、当前位置以及第一坐标系与目标坐标系之间的转换关系，计算目标对象的位置偏移，进而基于位置偏移对目标路径进行矫正。
根据第一位置、当前位置以及上述转换关系计算位置偏移存在以下两种实现方式。
第一种实现方式中，可以首先计算第一位置与当前位置之间的初始位置偏移，此时，该初始位置偏移为第一坐标系下的位置偏移，计算得到上述初始位置偏移后，可以根据第一坐标系与目标坐标系之间的转换关系，将上述初始位置偏移转换至目标坐标系下的位置偏移。
第二种实现方式中，可以手术根据第一坐标系与目标坐标系之间的转换关系，分别将上述第一位置、当前位置转换至目标坐标系下，然后计算转换后的第一位置与当前位置之间的偏差，即为上述位置偏差。
本发明的一个实施例中，在获得第一坐标系与目标坐标系之间的转换关系时，由于第一坐标系与上述标定板所在的标定坐标系之间的转换关系通常可以预先得到，并且标定坐标系与目标坐标系之间的第二转换关系已知，因此，可以预先根据第一坐标系与标定坐标系之间的转换
Figure BDA0003452078020000161
以及第二转换关系
Figure BDA0003452078020000162
计算得到第一坐标系与目标坐标系之间的转换关系
Figure BDA0003452078020000163
Figure BDA0003452078020000164
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，第一传感器可以分别采集目标对象在上述两个时刻下的第一位置和当前位置，这两个位置为第一坐标系下的位置，根据这两个位置以及第一坐标系、目标坐标系之间的转换关系，可以准确计算出目标对象的位置偏移，从而基于位置偏移对目标路径进行矫正，能够提高手术机器人导航定位的准确性。
另外，在手术机器人完成导航定位后，医生可以基于定位后的手术机器人，利用其他手术器械对上述目标对象进行手术，上述手术器械中可以安装有上述第一传感器中的定位模块，这样在医生利用手术器械进行手术的过程中，第一传感器的追踪模块可以采集手术器械在第一坐标系下的器械位置，利用上述三维坐标系、各图像坐标系、标定坐标系、第一坐标系以及目标坐标系这五种坐标系中两两坐标系之间的转换关系，将第一坐标系下的器械位置转换至三维坐标系下，进而在实时显示的上述目标对象的三维图像中显示手术器械所在位置，以便于医生查看。
例如，在对上述器械位置进行转换时，可以基于第一坐标系与目标坐标系之间的转换关系，将器械位置转换至目标坐标系下，然后基于各图像坐标系与目标坐标系之间的第三转换关系，将目标坐标系下的器械位置再次转换至各图像坐标系下，最后根据各图像坐标系与三维坐标系之间的第一转换关系，将各图像坐标系下的器械位置转换至三维坐标系下。
下面对上述第一传感器进行说明。
本发明的一个实施例中，上述第一传感器为光学追踪器。
这种情况下，上述第一位置和当前位置为该光学追踪器的追踪模块分别在上述两个时刻采集的定位模块的位置。
由于光学追踪器的定位精确度较高，将光学追踪器作为第一传感器，能够提高上述第一位置和当前位置的准确性，根据准确性较高的第一位置和当前位置计算位置偏移，能够提高位移偏移的准确性，从而提高导航定位的准确性。
另外，在医生所使用的手术器械为硬体器械的情况下，可以将光学追踪器的定位模块安装在该硬体器械上，以实现在目标对象的三维图像中实时显示硬体器械的所在位置。
本发明的另一个实施例中，上述第一传感器为磁传感器。
这种情况下，上述第一位置和当前位置为该磁传感器的追踪模块分别在上述两个时刻采集的定位模块的位置。
由于获得上述当前位置的过程为一个持续性的过程，而磁传感器的跟踪持续性较强，因此，将磁传感器作为第一传感器，能够保证对目标对象进行持续跟踪，从而保证了在导航定位的任何时刻均能获得目标对象在第一坐标系下的当前位置，进而提高手术机器人导航定位的可靠性。
另外，在医生所使用的手术器械为软体器械的情况下，可以将磁传感器的定位模块安装在该软体器械的尖端，以实现在目标对象的三维图像中实时显示软体器械尖端的所在位置。
本发明的又一个实施例中，上述第一传感器包括光学追踪器以及磁传感器。
由于光学追踪器易被遮挡，在光学追踪器被遮挡的情况下，该光学追踪器的追踪模块难以采集其所包含的定位模块的位置，磁传感器易受到外界磁场的干扰，定位精度比光学追踪器的定位精度低，因此，将光学追踪器以及磁传感器均作为第一传感器，可以在其中一个传感器难以准确采集目标对象的位置的情况下，使用另一传感器采集目标对象的位置。
由于光学传感器的精度比磁传感器的精度高，因此，光学追踪器和磁传感器均能正常工作的情况下，通常选择光学追踪器采集的位置作为目标对象的位置，在光学追踪器因被遮挡等原因难以正常工作时，可以使用磁传感器采集目标对象的位置。
本方案中，将光学追踪器以及磁传感器作为第一传感器，能够保证获得第一位置和当前位置的可靠性，从而提高手术机器人导航定位的可靠性。
在对手术机器人进行导航定位的过程中，手术机器人可能由于一些不可控的因素导致手术机器人实际移动的路径与目标路径不符，例如，上述不可控的因素可以是手术机器人自身器械松动、导航定位过程出现干扰等等。
针对上述情况，本发明的一个实施例中，参见图4，提供了第四种手术机器人导航定位方法的流程示意图，与前述图1所示实施例相比，本实施例中，可以通过以下步骤S106B-S106D实现上述步骤S106。
步骤S106B：获得由第二传感器采集的、第二坐标系下手术机器人的第二位置。
其中，第二坐标系为：根据第二传感器建立的坐标系。
与上述第一传感器相类似，上述第二传感器也包含追踪模块以及定位模块，第二传感器可以是光学追踪器，也可以是磁传感器，还可以光学追踪器和磁传感器。
上述第二传感器的追踪模块可以采集第二传感器的定位模块在第二坐标系下的位置，通过将第二传感器的定位模块安装在手术机器人上，可以获得手术机器人在第二坐标系下的位置。
在上述手术机器人包括机械臂的情况下，第二传感器的定位模块可以安装在机械臂的末端，用于采集机械臂末端在第二坐标系下的位置，作为手术机器人的第二位置。
在第二传感器为光学追踪器的情况下，所获得的第二位置的准确性较高，在第二传感器为磁传感器的情况下，对第二位置的持续跟踪性较强，在第二传感器为光学追踪器和磁传感器的情况下，获得第二位置的可靠性较高。
具体的，在将第二传感器安装至手术机器人上之后，第二传感器可以实时采集当前时刻下手术机器人的位置。因此，在整个手术机器人导航定位过程中，可以实时获得上述第二位置，实现对手术机器人进行实时位置检测。
步骤S106C：根据预先得到的第二坐标系与目标坐标系之间的转换关系，将第二位置转换为目标坐标系下的第三位置。
与上述第一坐标系与目标坐标系之间的转换关系相类似，上述第二坐标系与目标坐标系之间的转换关系同样可以根据第二坐标系与标定坐标系之间的转换关系以及标定坐标系与目标坐标系之间的转换关系计算得到，这里不再赘述。
具体的，第二坐标系与目标坐标系之间的转换关系可以包括这两个坐标系之间的旋转参数和平移参数，因此，可以根据该旋转参数和平移参数，对上述第二位置进行旋转、平移处理，从而将第二位置转换为目标坐标系下的第三位置。
另外，由于上述第二位置可以实时获得，第三位置为第二位置转换得到的目标坐标系下的位置，在上述第二位置为当前时刻下获得的手术机器人在第二坐标系下的位置时，第三位置可以看做是当前时刻下手术机器人在目标坐标系下的位置。
步骤S106D：根据目标路径以及第三位置，对手术机器人进行导航定位。
具体的，上述目标路径可以看做是第三位置的移动轨迹，手术机器人沿目标路径进行导航定位的过程可以看做是手术机器人按照目标路径进行移动的过程。在手术机器人移动过程中，可以实时获得第三位置，这样在导航定位过程出现上述不可控的因素而导致手术机器人未按照目标路径进行移动时，可以根据目标路径以及当前时刻下手术机器人所在的第三位置，对手术机器人进行位置修正，然后继续根据目标路径对手术机器人进行导航定位。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，基于所获得的第二位置以及第二坐标系、目标坐标系这两个坐标系之间的转换关系，获得手术机器人在目标坐标系下的第三位置，这样可以在导航定位过程中手术机器人实际移动的路径与目标路径不符的情况下，可以对手术机器人的位置进行修正，从而保证手术机器人能够始终按照目标路径进行导航定位，从而提高手术机器人导航定位的准确性。
与上述手术机器人导航定位方法相对应，本发明实施例还提供了一种手术机器人导航定位装置。
参见图5，提供了一种手术机器人导航定位装置的结构示意图，所述装置包括：
图像获得模块501，用于获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
图像配准模块502，用于对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
标识物识别模块503，用于识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
关系计算模块504，用于根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
路径转换模块505，用于基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
导航定位模块506，用于根据所述目标路径，对所述手术机器人进行导航定位。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，第一转换关系为各个图像坐标系与三维坐标系之间的转换关系，第三转换关系为各个图像坐标系与目标坐标系之间的转换关系，因此，基于第一转换关系和第三转换关系，可以将预先在三维图像中规划好的、三维坐标系下的手术路径转换为目标坐标系下的目标路径。又由于目标坐标系为根据手术机器人建立的坐标系，因此，根据目标坐标系下的目标路径，可以实现对手术机器人进行导航定位。
另外，本方案中，在确定各个图像坐标系与目标坐标系之间的第三转换关系时，只需将标定板放置在图像采集设备的视野范围内，即可通过识别二维图像中的标识物获得标定板上标识物在各个图像坐标系下的位置，从而计算出第三转换关系。标定板可以放置在图像采集设备的视野范围内的任意位置，并且利用标定板即可计算出第三转换关系，无须对目标对象进行任何操作，因此，应用本发明实施例提供的手术机器人导航定位方案，能够增强手术机器人导航定位的灵活度，降低手术机器人导航定位的操作难度。
本发明的一个实施例中，所述导航定位模块506，具体用于：
从所述目标路径的起始位置开始，沿所述目标路径对所述手术机器人进行导航定位，并在导航定位过程中，实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，其中，所述位置偏移为：所述目标坐标系中所述目标对象在当前时刻下的位置与在所述二维图像的采集时刻下的位置之间的偏移。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，通过在导航定位过程中实时检测目标对象的位置偏移，并基于该位置偏移对目标路径进行矫正，这样可以在导航定位过程中，不断修正目标路径，使得手术机器人在导航定位的任意时刻均能沿着预期的路径进行移动，从而提高了手术机器人导航定位的准确性。
本发明的一个实施例中，所述导航定位模块506，具体用于：
获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，其中，所述第一坐标系为：根据所述第一传感器建立的坐标系，所述第一位置为：所述目标对象在所述二维图像的采集时刻下的位置，所述当前位置为：所述目标对象在当前时刻下的位置；
根据所述第一位置、当前位置以及预先得到的所述第一坐标系与目标坐标系之间的转换关系，计算所述目标对象的位置偏移；
基于所述位置偏移，对所述目标路径进行矫正。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，第一传感器可以分别采集目标对象在上述两个时刻下的第一位置和当前位置，这两个位置为第一坐标系下的位置，根据这两个位置以及第一坐标系、目标坐标系之间的转换关系，可以准确计算出目标对象的位置偏移，从而基于位置偏移对目标路径进行矫正，能够提高手术机器人导航定位的准确性。
本发明的一个实施例中，上述第一传感器为光学追踪器。
由于光学追踪器的定位精确度较高，将光学追踪器作为第一传感器，能够提高上述第一位置和当前位置的准确性，根据准确性较高的第一位置和当前位置计算位置偏移，能够提高位移偏移的准确性，从而提高导航定位的准确性。
本发明的另一个实施例中，上述第一传感器为磁传感器。
由于获得上述当前位置的过程为一个持续性的过程，而磁传感器的跟踪持续性较强，因此，将磁传感器作为第一传感器，能够保证对目标对象进行持续跟踪，从而保证了在任何时刻均能获得目标对象在第一坐标系下的当前位置，进而提高了手术机器人导航定位的可靠性。
本发明的又一个实施例中，上述第一传感器包括光学追踪器以及磁传感器。
本方案中，将光学追踪器以及磁传感器作为第一传感器，能够保证获得第一位置和当前位置的可靠性，从而提高手术机器人导航定位的可靠性。
本发明的一个实施例中，所述导航定位模块506，具体用于：
获得由第二传感器采集的、第二坐标系下所述手术机器人的第二位置，其中，所述第二坐标系为：根据所述第二传感器建立的坐标系；
根据预先得到的所述第二坐标系与目标坐标系之间的转换关系，将所述第二位置转换为所述目标坐标系下的第三位置；
根据所述目标路径以及第三位置，对所述手术机器人进行导航定位。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，基于所获得的第二位置以及第二坐标系、目标坐标系这两个坐标系之间的转换关系，获得手术机器人在目标坐标系下的第三位置，这样可以在导航定位过程中手术机器人实际移动的路径与目标路径不符的情况下，可以对手术机器人的位置进行修正，从而保证手术机器人能够始终按照目标路径进行导航定位，从而提高手术机器人导航定位的准确性。
本发明的一个实施例中，上述第二传感器为光学追踪器和/或磁传感器。
在第二传感器为光学追踪器的情况下，所获得的第二位置的准确性较高，在第二传感器为磁传感器的情况下，对第二位置的持续跟踪性较强，在第二传感器为光学追踪器和磁传感器的情况下，获得第二位置的可靠性较高。
本发明的一个实施例中，所述关系计算模块504，具体用于：
根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系，其中，所述目标位置为：根据所述标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、所述标识物在目标坐标系下的位置。
由以上可见，应用本发明实施例提供的方案进行手术机器人导航定位时，上述目标位置为标识物在目标坐标系下的位置，由于标识物在标定坐标系下的位置以及标定坐标系与目标坐标系之间的第二转换关系可以预先获得，因此，标识物的目标位置也可以预先获得，这样在计算上述第三转换关系时，只需首先获得标识物的各个图像位置，然后根据各个图像位置以及目标位置，即可计算出第三转换关系。因此，应用本发明实施例提供的手术机器人导航定位方案，第三转换关系的计算量较小，从而能够提高获得第三转换关系的效率，进而提高手术机器人导航定位的效率。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
根据所述目标路径，对所述手术机器人进行导航定位。
除此之外，上述电子设备还可以实现如前方法实施例部分所述的其他手术机器人导航定位方法，这里不再详述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一手术机器人导航定位方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一手术机器人导航定位方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种手术机器人导航定位方法，其特征在于，所述方法包括：
获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
根据所述目标路径，对所述手术机器人进行导航定位。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标路径，对所述手术机器人进行导航定位，包括：
从所述目标路径的起始位置开始，沿所述目标路径对所述手术机器人进行导航定位，并在导航定位过程中，实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，其中，所述位置偏移为：所述目标坐标系中所述目标对象在当前时刻下的位置与在所述二维图像的采集时刻下的位置之间的偏移。
3.根据权利要求2所述的方法，其特征在于，所述实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，包括：
获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，其中，所述第一坐标系为：根据所述第一传感器建立的坐标系，所述第一位置为：所述目标对象在所述二维图像的采集时刻下的位置，所述当前位置为：所述目标对象在当前时刻下的位置；
根据所述第一位置、当前位置以及预先得到的所述第一坐标系与目标坐标系之间的转换关系，计算所述目标对象的位置偏移；
基于所述位置偏移，对所述目标路径进行矫正。
4.根据权利要求3所述的方法，其特征在于，所述第一传感器为光学追踪器和/或磁传感器。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标路径，对所述手术机器人进行导航定位，包括：
获得由第二传感器采集的、第二坐标系下所述手术机器人的第二位置，其中，所述第二坐标系为：根据所述第二传感器建立的坐标系；
根据预先得到的所述第二坐标系与目标坐标系之间的转换关系，将所述第二位置转换为所述目标坐标系下的第三位置；
根据所述目标路径以及第三位置，对所述手术机器人进行导航定位。
6.根据权利要求5所述的方法，其特征在于，所述第二传感器为光学追踪器和/或磁传感器。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，包括：
根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系，其中，所述目标位置为：根据所述标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、所述标识物在目标坐标系下的位置。
8.一种手术机器人导航定位装置，其特征在于，所述装置包括：
图像获得模块，用于获得由图像采集设备从不同采集角度采集的多张二维图像，所述图像采集设备的视野范围内包含：目标对象以及带有标识物的标定板；
图像配准模块，用于对各二维图像与所述目标对象的三维图像进行图像配准，得到各二维图像所在的各图像坐标系与所述三维图像所在的三维坐标系之间的第一转换关系；
标识物识别模块，用于识别各二维图像中的所述标识物，得到所述标识物在各图像坐标系下的图像位置；
关系计算模块，用于根据所得的各图像位置、所述标识物在标定坐标系下的标定位置以及第二转换关系，计算各图像坐标系与目标坐标系之间的第三转换关系，所述标定坐标系为：所述标定板所在的坐标系，所述目标坐标系为：手术机器人所在的坐标系，所述第二转换关系为：所述标定坐标系与目标坐标系之间的转换关系；
路径转换模块，用于基于所述第一转换关系以及所述第三转换关系，将依据所述三维图像规划出的手术路径转换为所述目标坐标系下的目标路径；
导航定位模块，用于根据所述目标路径，对所述手术机器人进行导航定位。
9.根据权利要求8所述的装置，其特征在于，所述导航定位模块，具体用于：
从所述目标路径的起始位置开始，沿所述目标路径对所述手术机器人进行导航定位，并在导航定位过程中，实时检测所述目标对象的位置偏移，基于所述位置偏移，对所述目标路径进行矫正，其中，所述位置偏移为：所述目标坐标系中所述目标对象在当前时刻下的位置与在所述二维图像的采集时刻下的位置之间的偏移。
10.根据权利要求9所述的装置，其特征在于，所述导航定位模块，具体用于：
获得由第一传感器采集的、第一坐标系下的第一位置以及当前位置，其中，所述第一坐标系为：根据所述第一传感器建立的坐标系，所述第一位置为：所述目标对象在所述二维图像的采集时刻下的位置，所述当前位置为：所述目标对象在当前时刻下的位置；
根据所述第一位置、当前位置以及预先得到的所述第一坐标系与目标坐标系之间的转换关系，计算所述目标对象的位置偏移；
基于所述位置偏移，对所述目标路径进行矫正。
11.根据权利要求10所述的装置，其特征在于，所述第一传感器为光学追踪器和/或磁传感器。
12.根据权利要求8所述的装置，其特征在于，所述导航定位模块，具体用于：
获得由第二传感器采集的、第二坐标系下所述手术机器人的第二位置，其中，所述第二坐标系为：根据所述第二传感器建立的坐标系；
根据预先得到的所述第二坐标系与目标坐标系之间的转换关系，将所述第二位置转换为所述目标坐标系下的第三位置；
根据所述目标路径以及第三位置，对所述手术机器人进行导航定位。
13.根据权利要求12所述的装置，其特征在于，所述第二传感器为光学追踪器和/或磁传感器。
14.根据权利要求8-13中任一项所述的装置，其特征在于，所述关系计算模块，具体用于：
根据所得的各个图像位置以及目标位置，计算各个图像坐标系与目标坐标系之间的第三转换关系，其中，所述目标位置为：根据所述标识物在标定坐标系下的标定位置以及第二转换关系计算得到的、所述标识物在目标坐标系下的位置。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的手术机器人导航定位方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的手术机器人导航定位方法步骤。
CN202111667267.2A 2021-12-31 2021-12-31 一种手术机器人导航定位装置 Active CN114209433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111667267.2A CN114209433B (zh) 2021-12-31 2021-12-31 一种手术机器人导航定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111667267.2A CN114209433B (zh) 2021-12-31 2021-12-31 一种手术机器人导航定位装置

Publications (2)

Publication Number Publication Date
CN114209433A true CN114209433A (zh) 2022-03-22
CN114209433B CN114209433B (zh) 2023-09-05

Family

ID=80707598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111667267.2A Active CN114209433B (zh) 2021-12-31 2021-12-31 一种手术机器人导航定位装置

Country Status (1)

Country Link
CN (1) CN114209433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919590A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 用于拇外翻微创手术的手术机器人控制方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080097187A1 (en) * 2006-09-08 2008-04-24 Medtronic, Inc. System for navigating a planned procedure within a body
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN110377015A (zh) * 2018-04-13 2019-10-25 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
US20200222127A1 (en) * 2019-01-10 2020-07-16 Medtronic Navigation, Inc. System and Method for Registration Between Coordinate Systems and Navigation
CN111821025A (zh) * 2020-07-21 2020-10-27 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒
WO2021084320A2 (en) * 2019-10-28 2021-05-06 Waldemar Link Gmbh & Co. Kg System and method for computer-aided surgical navigation implementing 3d scans
CN113143466A (zh) * 2021-05-31 2021-07-23 上海阅行医疗科技有限公司 一种基于一体化手术机器人的术中规划调整方法及***
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、***、标定方法、介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080097187A1 (en) * 2006-09-08 2008-04-24 Medtronic, Inc. System for navigating a planned procedure within a body
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN110377015A (zh) * 2018-04-13 2019-10-25 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
US20200222127A1 (en) * 2019-01-10 2020-07-16 Medtronic Navigation, Inc. System and Method for Registration Between Coordinate Systems and Navigation
CN113316429A (zh) * 2019-01-10 2021-08-27 美敦力导航股份有限公司 用于在坐标系之间配准和导航的***和方法
WO2021084320A2 (en) * 2019-10-28 2021-05-06 Waldemar Link Gmbh & Co. Kg System and method for computer-aided surgical navigation implementing 3d scans
CN111821025A (zh) * 2020-07-21 2020-10-27 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、***、标定方法、介质及电子设备
CN113143466A (zh) * 2021-05-31 2021-07-23 上海阅行医疗科技有限公司 一种基于一体化手术机器人的术中规划调整方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919590A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 用于拇外翻微创手术的手术机器人控制方法、设备及介质
CN116919590B (zh) * 2023-07-18 2024-05-31 赛博派(无锡)科技有限责任公司 用于拇外翻微创手术的手术机器人控制方法、设备及介质

Also Published As

Publication number Publication date
CN114209433B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN109910000B (zh) 基于视觉的操纵***的校准以及操作
CN104000654A (zh) 用于计算外科手术设备位置的计算机实现技术
CN113081266B (zh) 机器人配准方法、装置、电子设备及存储介质
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN112603542B (zh) 手眼标定方法、装置、电子设备和存储介质
CN115619781B (zh) 一种精度检测方法、装置、电子设备及存储介质
CN113662665A (zh) 膝关节置换手术机器人***的精度检测方法和装置
CN114209433B (zh) 一种手术机器人导航定位装置
CN113524201B (zh) 机械臂位姿主动调节方法、装置、机械臂和可读存储介质
CN108420531B (zh) 手术工具调整方法、电子设备和装卡装置
US10991113B2 (en) Gyroscope-based system and method for assisting in tracking heat source on mechanical arm
CN114176779B (zh) 一种手术机器人导航定位方法及装置
CN111812613A (zh) 一种移动机器人定位监测方法、装置、设备和介质
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
CN111870346B (zh) 机器人与影像设备的空间注册方法、装置及电子设备
JP6631225B2 (ja) 三次元形状測定装置
CN115944390A (zh) 一种手术机器人导航定位方法、装置及***
CN117243699B (zh) 一种移位检测方法及装置
CN115944391A (zh) 一种手术机器人导航定位方法、装置及***
CN115533863B (zh) 确定定位示踪器安装槽的方法、***、装置及电子设备
CN116459008A (zh) 一种手术机器人导航定位方法、装置及***
US20230252681A1 (en) Method of medical calibration
CN115227397B (zh) 一种配准板自动对齐方法和装置
CN115737144A (zh) 一种三维影像注册配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant