CN113180827A - 一种用于腹腔手术的视觉导航方法及装置 - Google Patents

一种用于腹腔手术的视觉导航方法及装置 Download PDF

Info

Publication number
CN113180827A
CN113180827A CN202110414164.9A CN202110414164A CN113180827A CN 113180827 A CN113180827 A CN 113180827A CN 202110414164 A CN202110414164 A CN 202110414164A CN 113180827 A CN113180827 A CN 113180827A
Authority
CN
China
Prior art keywords
image recognition
coordinate
position information
information
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110414164.9A
Other languages
English (en)
Inventor
蔺又甲
赵岭岚
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Turing Minimally Invasive Medical Technology Co Ltd
Original Assignee
Beijing Turing Minimally Invasive Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Turing Minimally Invasive Medical Technology Co Ltd filed Critical Beijing Turing Minimally Invasive Medical Technology Co Ltd
Priority to CN202110414164.9A priority Critical patent/CN113180827A/zh
Publication of CN113180827A publication Critical patent/CN113180827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种用于腹腔手术的视觉导航方法及装置，所述方法包括：确定图像识别的视野范围；确定图像识别的视野范围的中心的位置信息；选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。本发明的方法及装置通过图像识别，利用视觉导航的方式控制腹腔手术的相应操作，能够有效节约医护人员的体力和精力，保证手术顺利进行。

Description

一种用于腹腔手术的视觉导航方法及装置
技术领域
本发明涉及腹腔手术操作的领域，更具体地，涉及一种用于腹腔手术的视觉导航方法、装置及存储介质。
背景技术
微创腹腔手术作为在传统的开放式腹腔手术基础上的一次重大变革，其具有创伤面小、术后恢复迅速等很多优势。随着微创腹腔手术的逐渐普及和拓展，用于微创腹腔手术的机器人***得到了开发和应用，有助于进一步完善微创腹腔手术。
在微创腹腔手术过程中，通过腹腔镜获取腹腔手术过程中的图像(例如，腹腔内的图像)，从而为医护人员提供手术操作的参考。在执行手术过程中，为了保证手术顺利，存在时常改变需要获取的腹腔内部的视野的需求，因此需要经常调整腹腔镜的角度。目前，这个调整腹腔镜角度的操作大体上以两种方式实现，一是人工操作，即需要专门安排一个医护人员执行腹腔镜移动的操作，因此容易出现不稳定或者误差较大而多次调整的问题，并且增加医护人员的工作负担，影响手术的顺利进行。二是通过机械臂夹持腹腔镜，由医护人员利用脚踏开关进行操作，这种操作方式需要频繁进行脚踏动作，耗费医护人员体力并且影响注意力。
发明内容
为了解决上述问题，本发明的一方面旨在提供一种用于腹腔手术的视觉导航方法，所述方法包括：确定图像识别的视野范围；根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息；选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。
可选地，根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作，包括：确定图像识别的视野范围的中心的第一坐标；确定图像识别对象的第二坐标；根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据；根据所述运动数据来控制所述机械臂的运动。
可选地，根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据，包括：基于所述第一坐标与所述第二坐标在对应的坐标轴上的坐标值的差值以及执行图像识别的摄像装置的焦距信息来确定至少一个角度数据；基于所述至少一个角度数据来生成机械臂的运动数据，以控制所述机械臂的运动；其中，所述机械臂为六轴机械臂或七轴机械臂，并且所述执行图像识别的摄像装置为腹腔镜。
可选地，根据执行图像识别的摄像装置的分辨率信息来分别确定所述第一坐标和所述第二坐标，其中，所述第一坐标和所述第二坐标均为二维坐标。
可选地，所述图像识别对象位于所述图像识别的视野范围内。
本发明的另一方面旨在提供一种用于腹腔手术的视觉导航装置，其包括：第一确定模块，其配置为确定图像识别的视野范围；第二确定模块，其配置为根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息；第三确定模块，其配置为：选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；以及导航模块，其配置为根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。
可选地，所述导航模块包括：第一坐标确定子模块，其配置为确定图像识别的视野范围的中心的第一坐标；第二坐标确定子模块，其配置为确定图像识别对象的第二坐标；运动数据生成子模块，其配置为根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据；以及运动控制子模块，其配置为根据所述运动数据来控制所述机械臂的运动。
可选地，所述运动数据生成子模块具体配置为：基于所述第一坐标与所述第二坐标在对应的坐标轴上的坐标值的差值以及执行图像识别的摄像装置的焦距信息来确定至少一个角度数据；基于所述至少一个角度数据来生成机械臂的运动数据，以控制所述机械臂的运动。
可选地，所述第一坐标确定子模块具体配置为根据执行图像识别的摄像装置的分辨率信息来确定所述第一坐标；所述第二坐标确定子模块具体配置为根据执行图像识别的摄像装置的分辨率信息来确定所述第二坐标；其中，所述第一坐标和所述第二坐标均为二维坐标。
此外，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述用于腹腔手术的视觉导航方法。
本发明提供的用于腹腔手术的视觉导航方法、装置及存储介质，能够在腹腔手术中通过进行图像识别得到若干特定的位置信息，并且根据这些特定的位置信息来确定导航信息，从而引导用于腹腔手术的机器人***的操作，具有良好的精确性、灵敏性和响应速度，解决了现有技术以下的技术问题：人工操作容易出现不稳定或者误差较大而多次调整的问题，并且增加医护人员的工作负担，影响手术的顺利进行；由医护人员利用脚踏开关进行操作需要频繁进行脚踏动作，耗费医护人员体力并且影响注意力。
附图说明
通过将说明书中随后描述的实施方案与所附附图相结合，本发明的一些方面和/或其他方面将变得清晰和更容易理解，附图中：
图1为示出根据本发明第一实施方案的用于腹腔手术的视觉导航方法的流程图；
图2为示出根据本发明的第一实施方案的用于腹腔手术的视觉导航方法的另一个流程图；
图3为示出根据本发明的第一实施方案的用于腹腔手术的视觉导航方法的又一个流程图；
图4为示出根据本发明的第二实施方案的用于腹腔手术的视觉导航装置的配置示意图；
图5为示出根据本发明的第二实施方案的用于腹腔手术的视觉导航装置的另一个配置示意图。
本发明中的各个附图用于解释本发明，而并不旨在限制本发明。
具体实施方式
在整个说明书中，相同的附图标记指代相同的元件。将不描述本发明的示例性实施方案的所有元件，并且将省略对本领域中公知的或者在实施方案中相互重叠的内容的描述。
应当理解的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明。
现在将参考图1至图5来描述本发明的原理和示例性实施方案。
在腹腔手术中，诸如超声刀、手术钳等手术器械在腹腔进行操作时，通常需要腹腔镜与这些手术器械进行配合，从而为医生的操作提供便利，这就需要腹腔内的实时图像作为手术操作的依据，从而为机械臂移动等操作提供基础。相应地，根据本发明的第一实施方案的用于腹腔手术的视觉导航方法可以包括：
确定图像识别的视野范围(步骤S1)。
在进行腹腔手术中，需要通过腹腔镜获取腹腔内的图像，还需要通过腹腔镜对腹腔内的手术工具(例如，超声刀、电刀等)进行识别，根据腹腔手术的具体情况以及腹腔镜的参数信息等可以确定图像识别的视野范围。例如，腹腔镜的放大倍数可以是1倍、2倍、4倍、6倍等，腹腔镜镜头具有0°、30°、75°等不同视角，腹腔镜的直径和长度也可以根据实际需求确定。图像识别的对象(例如，超声刀的刀头) 应当位于确定出的图像识别的视野范围内。此外，为了方便医生识别，可以在这个图像识别的视野范围中以图形的形式(例如，矩形框，圆形框等，本发明不限于此)划定出包含识别对象的一个范围，并且将其在屏幕上显示出来。这个划定出的范围并不一定代表这图像识别的视野范围的全部，一般情况下这个划定出的范围属于确定出的图像识别的视野范围的一部分。当然，设置并且显示出该矩形框仅是为了方便辨识，可以将这样区域设置为其他形状表示，也可以不显示出这样的矩形区域或其他形状的区域。
根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息(步骤S3)。
在确定了图像识别的视野范围之后，可以确定出该视野范围的中心位置，该中心位置可以为识别对象(例如，超声刀或电刀的刀头) 在图像中的位置的提供参考，以有效地对超声刀等在腹腔中的位置变化进行识别。
进一步，本实施方案的方法还可以选择图像识别对象的至少一个点，确定该至少一个点的位置信息，以确定图像识别对象的位置信息 (步骤S5)。
在本实施方案中，可以选取图像识别对象(例如，超声刀的刀头、手术钳的钳部等，本发明不限于此)上的一个点，通过这个点的位置信息来表示图像识别对象的位置信息。在腹腔手术中，一般采用超声刀的刀头实现切割、止血、分离、凝闭等操作，所以可以优选地选取刀头上的点并且确定该点的位置信息，以表征这个超声刀的刀头位置信息，但是本发明不限于此。
最后，根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，可以生成导航信息，从而引导用于腹腔手术的机器人***的操作(步骤S7)。
本发明的第一实施方案的用于腹腔手术的视觉导航方法，通过图像识别来确定出特定的位置信息，并且通过该特定的位置信息之间的关系来引导用于腹腔手术的机器人***的操作，本方法不需要额外设置医护人员，也能够避免执刀医生频繁进行脚踏操作，节约医护人员体力和精力，操作准确，解决了现有技术的如下问题：需要专门安排一个医护人员执行腹腔镜移动的操作，因此容易出现不稳定或者误差较大而多次调整的问题，并且耗费医护人员体力并且影响注意力，增加医护人员的工作负担，影响手术的顺利进行。
具体地，可以通过如下的步骤S71至步骤S77来实现步骤S7。
在本实施方案中，上述图像识别的实验范围的中心位置的信息和图像识别对象的位置信息可以分别具体为在特定坐标系下的坐标，即，本实施方案的方法可以确定图像识别的视野范围的中心的第一坐标(步骤S71)和确定图像识别对象的第二坐标(步骤S73)，并且根据第一坐标和第二坐标的位置关系来生成导航信息。由于视野范围是根据腹腔镜的参数决定的，所以表示视野范围中心的第一坐标是不变的。在本实施方案中，可以利用第一坐标与第二坐标之间的关系来生成导航信息，从而引导用于腹腔手术的机器人***的操作。具体来说，可以根据第一坐标与第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据(S75)，进而可以根据该运动数据来控制用于腹腔手术的机器人***的机械臂的运动(S77)。
在具体实现上述步骤S75时，可以基于第一坐标与第二坐标在相同的坐标轴上的差值并结合图像识别的摄像装置(本实施方案中为腹腔镜)的焦距信息来确定至少一个角度数据(S751)。例如，在第一坐标和第二坐标均为二维坐标时，可以分别计算出两个差值，结合这两个差值与腹腔镜的焦距信息的三角函数关系，从而可以确定出两个角度数据(例如，欧拉角)。此后，根据这两个角度数据可以生成机械臂的运动数据(S753)，从而控制机械臂的运动。随着图像识别对象(例如，超声刀的刀头)的移动，图像识别对象的坐标信息变化，使得两个角度数据也相应变化，从而为机械臂的运动提供导航信息。即，机械臂可以随着超声刀的刀头在腹腔中的移动而自动运动，从而腹腔手术装置的移动与机械臂移动相互对应的过程，而不需要采取人工方式控制夹持腹腔镜的机械臂的运动。在本实施方案中，用于腹腔手术的机器人***的机械臂可以是六轴六个自由度的机械臂，也可为七轴机械臂，其能够将两个角度信息转化为对应于三个轴的运动数据，具体转化方法对于本领域技术人员来说是已知的，在本文中不再赘述。
在本实施方案中，可以根据腹腔镜的分辨率信息来确定第一坐标和第二坐标，例如，腹腔镜的分辨率为1920*1080(本发明不限于此)，在进行图像识别时就可以形成一个对应的坐标系，图像识别范围的中心的位置信息(例如，坐标信息)就可以确定出来，同样，图像识别对象的位置信息也可以确定出来。
此外，在确定图像中的各个位置信息之前，可以对腹腔镜采集到的图像进行预定处理(例如，增强对比度、去噪、转换成特定的格式、灰度处理等，本发明不限于此)，以便于进行后续操作。
当然，本实施方案中的方法也可以识别腹腔手术图像中的多个预定部分。例如，识别腹腔中的特定的脏器或指定的病灶等，根据该脏器的位置或指定的病灶的位置与图像识别的视野范围的中心的位置关系，来控制机械臂的运动。
另外，腹腔镜的移动方式可以包括：在根据机械臂装置的工具中心点所限定的平面范围内向左、右、上、下等任意方向移动，并且本实施方案中的腹腔镜还可以根据手术的实际情况向腹腔内的方式伸出，或者向腹腔外的方向收缩，从而提供适当的腹腔手术的图像。在本实施方案中，因为通过机械臂夹持腹腔镜进行移动，可以通过比例积分微分(PID)、比例微分(PD)等控制方法来控制机械臂平稳运动，避免机械臂频繁改变方向的往复运动、抖动等情况出现，从而能够保证腹腔手术中的安全。
相应地，本发明的第二实施方案提供一种用于腹腔手术的视觉导航装置1可以包括：第一确定模块10、第二确定模块30、第三确定模块50以及导航模块70；第一确定模块10可以配置为确定图像识别的视野范围；第二确定模块30可以配置为根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息；第三确定模块50 可以配置为：选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；以及导航模块70可以配置为根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。
在进行腹腔手术中，需要通过腹腔镜获取腹腔内的图像，还需要通过腹腔镜对腹腔内的手术工具(例如，超声刀、电刀等)进行识别。相应地，第一确定模块10可以根据腹腔手术的具体情况以及腹腔镜的参数信息等可以确定图像识别的视野范围。例如，腹腔镜的放大倍数可以是1倍、2倍、4倍、6倍、8倍等，腹腔镜镜头具有0°、30°、 75°等不同视角，腹腔镜的直径和长度也可以根据实际需求确定。图像识别的对象(例如，超声刀的刀头)应当位于确定出的图像识别的视野范围内。此外，在实际操作中，为了方便医生识别，可以在这个图像识别的视野范围中以图形的形式(例如，矩形框，圆形框等，本发明不限于此)划定出包含识别对象的一个范围，并且将其在屏幕上显示出来。这个划定出的范围并不一定代表这图像识别的视野范围的全部，一般情况下这个划定出的范围属于确定出的图像识别的视野范围的一部分。当然，设置并且显示出该矩形框仅是为了方便辨识，可以将这样区域设置为其他形状表示，也可以不显示出这样的矩形区域或其他形状的区域。
进一步，第二确定模块30可以确定出该视野范围的中心位置，该中心位置可以为识别对象(例如，超声刀或电刀的刀头)在图像中的位置的提供参考，以有效地对超声刀等在腹腔中的位置变化进行识别。
在本实施方案中，第三确定模块50可以选取图像识别对象(例如，超声刀的刀头、手术钳的钳部等，本发明不限于此)上的一个点，通过这个点的位置信息来表示图像识别对象的位置信息。在腹腔手术中，一般采用超声刀的刀头实现切割、止血、分离、凝闭等操作，所以可以优选地选取刀头上的点并且确定该点的位置信息，以表征这个超声刀的刀头位置信息，但是本发明不限于此。
最后，导航模块70可以根据第二确定模块10确定的图像识别对象的位置信息与第三确定模块确定的图像识别的视野范围的中心的位置信息的关系来生成导航信息，从而引导用于腹腔手术的机器人***的操作。
具体地，在导航模块70中，第一坐标确定子模块701和第二坐标确定子模块703可以分别配置为确定图像识别的视野范围的中心的第一坐标和确定图像识别对象的第二坐标。并且，运动数据生成子模块 705可以根据第一坐标与第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据，从而使得运动控制子模块707可以根据该运动数据来控制用于腹腔手术的机器人***的机械臂的运动。
在本实施方案中，运动数据生成子模块705可以具体配置为：基于第一坐标与第二坐标在相同的坐标轴上的差值并结合图像识别的摄像装置(本实施方案中为腹腔镜)的焦距信息来确定至少一个角度数据。例如，在第一坐标和第二坐标均为二维坐标时，运动数据生成子模块705可以分别计算出两个差值，并且结合这两个差值与腹腔镜的焦距所形成的三角函数关系，确定出两个角度数据(例如，对应于机械臂运动的欧拉角)。此后，运动控制模块707可以根据这两个角度数据可以生成机械臂的运动数据，从而控制机械臂的运动。随着图像识别对象(例如，超声刀的刀头)的移动，第一坐标确定子模块701 和第二坐标确定子模块703确定的第一坐标和第二坐标也会随之变化，使得运动数据生成子模块705确定的角度数据也相应变化，进而通过运动控制子模块707来控制机械臂的运动。即，在本发明的装置中，机械臂可以随着超声刀的刀头在腹腔中的移动而自动运动，从而腹腔手术装置的移动与机械臂移动相互对应的过程，而不需要采取人工方式控制夹持腹腔镜的机械臂的运动。在本实施方案中，用于腹腔手术的机器人***的机械臂可以是六轴六个自由度的机械臂，也可以是七轴七个自由度的机械臂，其能够将两个角度信息转化为对应于三个轴的运动数据，具体转化方法对于本领域技术人员是熟知的，在本文中不再赘述。
在本实施方案中，可以根据腹腔镜的分辨率信息来确定第一坐标和第二坐标，例如，腹腔镜的分辨率为1024*768(不限于此)，在进行图像识别时就可以形成一个对应的坐标系，图像识别范围的中心的位置信息(例如，坐标信息)就可以确定出来，同样，图像识别对象的位置信息也可以确定出来。
此外，在确定图像中的各个位置信息之前，可以对腹腔镜采集到的图像进行预定处理(例如，增强对比度、去噪、转换成特定的格式、灰度处理等，本发明不限于此)，以便于进行后续操作。
当然，本实施方案中的装置也可以识别腹腔手术图像中的多个预定部分。例如，识别腹腔中的特定的脏器或指定的病灶等，根据该脏器的位置或指定的病灶的位置与图像识别的视野范围的中心的位置关系，来控制机械臂的运动。
另外，腹腔镜的移动方式可以包括：在根据机械臂装置的工具中心点所限定的平面范围内向左、右、上、下等任意方向移动，并且本实施方案中的腹腔镜还可以根据手术的实际情况向腹腔内的方式伸出，或者向腹腔外的方向收缩，从而提供适当的腹腔手术的图像。在本实施方案中，因为通过机械臂夹持腹腔镜进行移动，可以通过比例积分微分(PID)、比例微分(PD)等控制方法来控制机械臂平稳运动，避免机械臂频繁改变方向的往复运动、抖动等情况出现，从而能够保证腹腔手术中的安全。
此外，本发明还涉及一种存储介质，该存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时可以实现本发明第一实施方案用于腹腔手术的视觉导航方法。具体地，该存储介质可以实现为非暂时性的计算机可读存储介质。
非暂时性的计算机可读存储介质可以包括存储可以由计算机解释的命令的所有种类的存储介质。例如，非暂时性的计算机可读记录媒体可以是：例如，ROM、RAM、磁带、磁盘、闪存存储器、或者光学数据存储装置。
至此，已经参考附图描述了本发明的实施方案。对于本领域普通技术人员显而易见的是，本发明可以以不同于上述实施方案的其他形式实施，而不改变本发明的技术构思或本质特征。以上实施方案仅作为示例，并且不应解释为限制的意义。

Claims (10)

1.一种用于腹腔手术的视觉导航方法，其包括：
确定图像识别的视野范围；
根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息；
选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；
根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。
2.根据权利要求1所述的方法，其中，根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作，包括：
确定图像识别的视野范围的中心的第一坐标；
确定图像识别对象的第二坐标；
根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据；
根据所述运动数据来控制所述机械臂的运动。
3.根据权利要求2所述的方法，其中，根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据，包括：
基于所述第一坐标与所述第二坐标在对应的坐标轴上的坐标值的差值以及执行图像识别的摄像装置的焦距信息来确定至少一个角度数据；
基于所述至少一个角度数据来生成机械臂的运动数据，以控制所述机械臂的运动；
其中，所述机械臂为六轴机械臂或七轴机械臂；
所述执行图像识别的摄像装置为腹腔镜。
4.根据权利要求2所述的方法，其中，根据执行图像识别的摄像装置的分辨率信息来分别确定所述第一坐标和所述第二坐标，其中，所述第一坐标和所述第二坐标均为二维坐标。
5.根据权利要求1至4中任一项所述的方法，其中，所述图像识别对象位于所述图像识别的视野范围内。
6.一种用于腹腔手术的视觉导航装置，其包括：
第一确定模块，其配置为确定图像识别的视野范围；
第二确定模块，其配置为根据确定出的图像识别的视野范围来确定图像识别的视野范围的中心的位置信息；
第三确定模块，其配置为：选择图像识别对象的至少一个点，确定所述至少一个点的位置信息，以确定图像识别对象的位置信息；以及
导航模块，其配置为根据图像识别对象的位置信息与图像识别的视野范围的中心的位置信息的关系，生成导航信息，以引导用于腹腔手术的机器人***的操作。
7.根据权利要求6所述的用于腹腔手术的机器人***的视觉导航装置，其中，所述导航模块包括：
第一坐标确定子模块，其配置为确定图像识别的视野范围的中心的第一坐标；
第二坐标确定子模块，其配置为确定图像识别对象的第二坐标；
运动数据生成子模块，其配置为根据所述第一坐标与所述第二坐标的位置关系来生成用于腹腔手术的机器人***的机械臂的运动数据；以及；
运动控制子模块，其配置为根据所述运动数据来控制所述机械臂的运动。
8.根据权利要求7所述的用于腹腔手术的机器人***的视觉导航装置，其中，所述运动数据生成子模块具体配置为：
基于所述第一坐标与所述第二坐标在对应的坐标轴上的坐标值的差值以及执行图像识别的摄像装置的焦距信息来确定至少一个角度数据；
基于所述至少一个角度数据来生成机械臂的运动数据，以控制所述机械臂的运动。
9.根据权利要求7所述的用于腹腔手术的机器人***的视觉导航装置，其中，
所述第一坐标确定子模块具体配置为根据执行图像识别的摄像装置的分辨率信息来确定所述第一坐标；
所述第二坐标确定子模块具体配置为根据执行图像识别的摄像装置的分辨率信息来确定所述第二坐标；
其中，所述第一坐标和所述第二坐标均为二维坐标。
10.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求1所述的用于腹腔手术的机器人***的视觉导航方法。
CN202110414164.9A 2021-04-16 2021-04-16 一种用于腹腔手术的视觉导航方法及装置 Pending CN113180827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110414164.9A CN113180827A (zh) 2021-04-16 2021-04-16 一种用于腹腔手术的视觉导航方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110414164.9A CN113180827A (zh) 2021-04-16 2021-04-16 一种用于腹腔手术的视觉导航方法及装置

Publications (1)

Publication Number Publication Date
CN113180827A true CN113180827A (zh) 2021-07-30

Family

ID=76977278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110414164.9A Pending CN113180827A (zh) 2021-04-16 2021-04-16 一种用于腹腔手术的视觉导航方法及装置

Country Status (1)

Country Link
CN (1) CN113180827A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150320514A1 (en) * 2014-05-08 2015-11-12 Samsung Electronics Co., Ltd. Surgical robots and control methods thereof
CN107049492A (zh) * 2017-05-26 2017-08-18 微创（上海）医疗机器人有限公司 手术机器人***及手术器械位置的显示方法
US20180271603A1 (en) * 2015-08-30 2018-09-27 M.S.T. Medical Surgery Technologies Ltd Intelligent surgical tool control system for laparoscopic surgeries
CN108577980A (zh) * 2018-02-08 2018-09-28 南方医科大学南方医院 一种对超声刀头进行自动跟踪的方法、***及装置
US20180325604A1 (en) * 2014-07-10 2018-11-15 M.S.T. Medical Surgery Technologies Ltd Improved interface for laparoscopic surgeries - movement gestures
CN109171957A (zh) * 2018-06-22 2019-01-11 南方医科大学南方医院 基于图像特征识别跟踪技术的智能自动移动腹腔镜和精准调节***
CN110464468A (zh) * 2019-09-10 2019-11-19 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
US20200085282A1 (en) * 2017-03-27 2020-03-19 Sony Corporation Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure
CN112618028A (zh) * 2021-01-06 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150320514A1 (en) * 2014-05-08 2015-11-12 Samsung Electronics Co., Ltd. Surgical robots and control methods thereof
US20180325604A1 (en) * 2014-07-10 2018-11-15 M.S.T. Medical Surgery Technologies Ltd Improved interface for laparoscopic surgeries - movement gestures
US20180271603A1 (en) * 2015-08-30 2018-09-27 M.S.T. Medical Surgery Technologies Ltd Intelligent surgical tool control system for laparoscopic surgeries
US20200085282A1 (en) * 2017-03-27 2020-03-19 Sony Corporation Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure
CN107049492A (zh) * 2017-05-26 2017-08-18 微创（上海）医疗机器人有限公司 手术机器人***及手术器械位置的显示方法
CN108577980A (zh) * 2018-02-08 2018-09-28 南方医科大学南方医院 一种对超声刀头进行自动跟踪的方法、***及装置
CN109171957A (zh) * 2018-06-22 2019-01-11 南方医科大学南方医院 基于图像特征识别跟踪技术的智能自动移动腹腔镜和精准调节***
CN110464468A (zh) * 2019-09-10 2019-11-19 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN112618028A (zh) * 2021-01-06 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置

Similar Documents

Publication Publication Date Title
US11758262B2 (en) Intelligent manual adjustment of an image control element
KR101891162B1 (ko) 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법
US10881268B2 (en) Device to set and retrieve a reference point during a surgical procedure
US11266294B2 (en) Image processing device, endoscopic surgery system, and image processing method
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
WO2022073342A1 (zh) 手术机器人及其运动错误检测方法、检测装置
JP2009527267A (ja) 医療用画像システムによって提供される画像での手術器具の自動検出
US20220415006A1 (en) Robotic surgical safety via video processing
US9987751B2 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
US20170042407A1 (en) Image processing apparatus, image processing method, and program
US20230172675A1 (en) Controller, endoscope system, and control method
JP7395125B2 (ja) 手術ツールの先端及び向きの決定
CN113180827A (zh) 一种用于腹腔手术的视觉导航方法及装置
CN116439636B (zh) 一种器械、内窥镜***、医疗***及其定位控制方法
CN115517615A (zh) 内窥镜主从运动控制方法及手术机器人***
US20230024942A1 (en) Computer assisted surgery system, surgical control apparatus and surgical control method
US20230126545A1 (en) Systems and methods for facilitating automated operation of a device in a surgical space
CN116492064A (zh) 基于位姿标识的主从运动的控制方法及手术机器人***
WO2023195326A1 (ja) 内視鏡システム、手技支援方法および手技支援プログラム
Staub et al. Micro camera augmented endoscopic instruments: Towards superhuman performance in remote surgical cutting
US20230248467A1 (en) Method of medical navigation
US20220160441A1 (en) Surgery assistance system and method for generating control signals for voice control of motor-controlled movable robot kinematics of such a surgery assistance system
US20230210627A1 (en) Three-dimensional instrument pose estimation
US20240185432A1 (en) System, method, and apparatus for tracking a tool via a digital surgical microscope
CN116492062A (zh) 基于复合标识的主从运动的控制方法及手术机器人***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730