CN110234472A - 用于产生以语音控制手术辅助***的电机控制方式移动的机器人运动学的控制信号的手术辅助***和方法 - Google Patents
用于产生以语音控制手术辅助***的电机控制方式移动的机器人运动学的控制信号的手术辅助***和方法 Download PDFInfo
- Publication number
- CN110234472A CN110234472A CN201880008886.0A CN201880008886A CN110234472A CN 110234472 A CN110234472 A CN 110234472A CN 201880008886 A CN201880008886 A CN 201880008886A CN 110234472 A CN110234472 A CN 110234472A
- Authority
- CN
- China
- Prior art keywords
- voice
- voice command
- control
- assistant system
- surgical assistant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00212—Electrical control of surgical instruments using remote controls
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种用于引导医疗辅助器械(20),尤其是用于引导内窥镜摄像机的手术辅助***,所述医疗辅助器械可以经由患者身体(10)的手术开口(11)至少部分的***患者身体(10)的手术位置(12),并且可以以受控方式移动,所述***包括机器人运动学(3,4,5),其通过辅助器械固定装置(6)在其自由端上接收医疗辅助设备(20),并且可以以电机控制的方式移动,以便通过控制单元(CU)产生控制信号(SS)来在手术位置(12)引导医疗辅助器械(20),所述控制单元(CU)执行至少一个语音控制例程(SSR),通过语音控制例程检测和评估不同的语音命令(SB,SB1,SB2),并相应地确定相关联的控制信号(SS)。特别有利地,语音控制例程(SSR)被设计为检测和评估包括由至少一条第一和第二语音命令(SB1,SB2)组成的语音命令组合(SBK),与第一语音命令(SB1)相关联的方向或速度信息(RI,VI,RI1至RI10),以及与第二语音命令(SB2)相关联的在参考坐标系(BKS)中的量信息(BI,BI1至BI10)。更有利地,根据检测到语音命令组合(SBK)的方向或速度信息(RI,VI,RI1至RI10)和检测到的量信息(BI,BI1至BI10)可以确定至少一个相关联的控制信号(SS),通过该控制信号(SS),根据方向、速度和量至少医疗辅助器械(20)的移动受到控制。
Description
本发明涉及权利要求1前序部分的手术辅助***和权利要求6前序部分的用于产生控制信号的方法,用以语音控制手术辅助***的电机控制的可移动机器人运动学。
众所周知,手术辅助***特别用于支持医学程序和手术,尤其是微创手术。
这种手术辅助***常用于引导医疗辅助器械,例如摄像机***,尤其是所谓的内窥镜摄像机。例如,DE 10 2007 019363 A1公开了一种手术辅助***,例如,通过该***,内窥镜分别包含摄像单元或内窥镜摄像机,以受控的方式被引导。为此,手术辅助***包括以受控方式驱动的机器人运动学,通过该机器人运动学内窥镜摄像机放置在仪器支架上,在三维空间以受控的方式移动,尤其在手术空间。例如,机器人运动学包括至少两个机器臂和至少一个容纳器械固定器的器械装载器。
此外,DE 10 2008 016 146 B4还公开了一种通过手术辅助***引导医疗辅助器械的方法,尤其是内窥镜摄像机,该方法特别依靠手动地致动操作元件的至少一个功能键。医疗辅助器械通过器械固定器与医疗辅助***的臂***连接,手术辅助器械的尖端通过臂***在笛卡尔坐标系以受控的方式移动,其中,笛卡尔坐标系三个空间轴线中的至少一个延伸穿过容纳手术辅助器械的手术开口或穿者过穿刺点。不利的是,为了控制医疗辅助器械的引导,尤其是内窥镜摄像机,需要连接到计算机***的操作部件,比如,形式为脚踏开关,控制杆或手动控制元件,这个操作部件必须要外科医生在他执行手术过程中除了操作手术操作仪器外手动致动。这需要外科医生为了在手术空间完成医疗辅助器械的正确引导,必须手动启动操作部件中相应的功能键,特别是根据显示在监控单元上的手术空间的图像。
此外,用于手术辅助***的语音操作控制***是已经被熟知的,外科医生可以利用语音控制命令通过机器人运动学来控制辅助设备的引导。缺点是这种语音控制***的功能范围有限,因此以精确的方式靠近目标位置的任务也不是非常地用户友好。
从这一点出发,本发明的一个目的是提供一种手术辅助***,尤其是为了医疗介入或手术,以及一种用于产生手术辅助***的机器人运动学的语音控制的控制信号的相关方法,这种方法允许外科医生在执行手术的过程中,通过手术辅助***更精确和用户友好的完成语音控制医疗辅助器械的引导。这一目的通过具有权利要求1前序中特征的手术辅助***通过其特征来实现。另外,这种需求通过具有权利要求6前序特征的方法通过其特征来实现。
本发明手术辅助***的一个重要方面是,语音控制例程配置为检测和评估至少由第一和第二语音命令组成的语音命令组合,其中参考坐标系下的方向和速度信息被分配给第一语音命令,参考坐标系下的量信息被分配给第二语音命令,其中语音控制例程在预设的持续时间内检测和评估在时间上一个紧接跟随另一个的第一和第二语音命令,并且根据检测的语音命令组合的方向和速度信息及检测的量信息,确定至少一个相关的控制信号,通过该控制信号至少医疗辅助器械的在方向或者速度和量上的移动受到控制,其中方向信息指示辅助器械在笛卡尔参考坐标系中移动的方向,量信息指示在笛卡尔坐标系中沿着移动方向的路径长度或路线。尤其有利的,外科医生通过输入语音命令组合,可以同步设置移动的方向或者速度和相关量,因此能更精确的控制辅助器械的移动,其中尤其有利的是,所述方向信息指示辅助器械在笛卡尔坐标系中移动方向,量信息指示在笛卡尔坐标系中沿着移动方向的路径长度或路线。因此,更复杂的控制任务能够通过简单的语音命令来实现,由于简单语音命令的创造性组合,外科医生能够自己创建特定于应用的更复杂的控制命令,并不需要学习更多控制命令。
更进一步,语音控制例程有利地配置成在预设的时间内检测和评估一个紧接着一个的第一和第二语音命令。如果超出预设的时间间隔,两个连续的语音命令的序列就不能被识别为语音命令组合,而是分别作为独立的语音命令被彼此独立的检测和评估。
更有利的是,所述第一和第二语音命令组合包括一个或多个单词。这使得使用直观性描述单词和单词组合进行语音控制成为可能。
在一个优选实施例中,用语音控制例程进行语音控制只有当外科医生手动致动一个控制元件时起被激活,优选的,启动开关或按钮或者如果出现致动语音命令。
更进一步,辅助器械相对于参考坐标系的实际位置可以有利的以第三语音命令的方式记录,并且在稍后的某个时间点通过第四语音命令再次选择性的获取。
根据本发明,相关术语“近似”“大约”“或“大致”理解为与正确的值偏差在+/-10%,优选的+/-5%,和/或对与功能无关的变化形式的偏差。
以下描述的示例性实施例和附图中,还公开了本发明的进一步发展、优点和可能的应用。所有的描述和/或象征性描述特征原则上不管他们在权利要求中的概述或对其的引用如何,无论单独的还是随意组合的,都是本发明的主题。此外,权利要求的内容是说明书的一部分。
下面将通过附图利用示例性实施例来更详细地说明本发明。在附图中:
图1所示为手术辅助***示意性侧视图。
图2所示为患者身体的示意性剖视图,其中内窥镜摄像机至少部分地容纳在手术空间和医疗手术器械中。
图3所示为本发明用于检测医疗手术器械的移动数据的传感器单元的示意性框图。
图4a,b所示为包括不同移动和量信息的笛卡尔坐标系的xy平面或xz平面中的示意性俯视图。
图1举例说明手术辅助***1,所述手术辅助***1用于在患者身体10内或其上进行医疗介入或手术中引导医疗辅助器械20。根据本发明的医疗辅助器械20应当理解为特别是内窥镜摄像机,所述内窥镜摄像机主要由内窥镜21和置于其自由端的摄像机单元22组成。
这种内窥镜摄像机20通常用于微创手术,并且这些内窥镜摄像机通过一个小尺寸的第一手术开口11***到患者身体10上的手术空间12。用于执行医疗程序的医疗或手术器械30通过第二手术开口13***到患者身体10的手术空间12。在说明书中,第一手术开口11和第二手术开口13通常用“穿刺(Trocar)”或“穿刺点(Trocar points)”来表示。在图2中,基于穿过微创手术区域中的患者身体10的截面,通过示例示意性地示出了典型的手术情况。
使用内窥镜摄像机20或其摄像单元22,拍摄手术空间12的照片或图片,包括手术空间中医疗器械30尖端S的照片或图片,这些照片在医疗手术期间或者微创手术期间通过监视器单元显示给外科医生。通过显示在监视器单元的手术空间12当前的图片(实时图片),外科医生能监控操作过程和相应的引导医疗器械或手术器械30。为了总能看到手术空间12当前最佳的图像,特别是医疗器械或手术器械30,外科医生能够最佳激活或操作,特别是对准和/或调整内窥镜摄像机22是至关重要。
根据本发明的手术辅助***1使得外科医生能够通过“语音控制”以高精度和用户友好的方式操作和引导辅助器械,特别是内窥镜摄像机20。手术辅助***1包括例如基座单元2和机器人运动学,机器人运动学包括多个手臂的***,尤其是机器臂,其中,在本示例中机器人运动学由支撑柱3,第一机器臂4,第二机器臂5和辅助器械装载器6组成。例如,辅助器械装载器6这里通过倾斜铰链件7铰接在第二机器臂5上。辅助器械装载器6例如被配置为直接容纳医疗辅助器械,即内窥镜摄像机20,或者通过图中未标示的另外的辅助器械固定器间接地容纳内窥镜摄像机。以图1所示的手术辅助***1透视图,通过实例公开了描述的所述手术辅助***1中的机器人运动学的结构。
基座单元2进一步包括例如承载板2.1,优选的,多部件的基座壳2.2和至少一个紧固元件2.3,通过紧固件2.3,优选的,可以将便携手术辅助***1或者基座单元2可以横向地固定在手术台(图中没有示出)。基座壳2.2容纳至少一个控制装置8,以及根据需要容纳另外的功能单元,这些功能单元根据需要与未示出的计算机***协作。
支撑柱3包括上端部3’和下端部3”。手术辅助***1的基座单元2连接到机器人运动学的支撑柱3的下端部3”,以便以受控的方式围绕第一枢轴SA1转动。第一枢轴SA1垂直延伸到手术辅助***的安装平面或操作平面或手术台的平面。
第一机器臂4进一步包括第一端部4’和第二端部4”,其中第一机器臂4的第一端部4’连接到与基座单元2相对的支撑柱3的上端部3”,以便以受控的方式围绕第二枢轴SA2转动,并且第一机器臂4的第二端部4”连接到第二机器臂5的第一端部5’,以便以受控的方式围绕第三枢轴SA3转动。
第二机器臂5包括与第一端部5’相对的第二端部5”,在本示例性实施例中,在第二端部5”上放置了倾斜铰链片7,以便其可以绕第四枢轴SA4旋转。倾斜铰链件7被设置成容纳辅助器械装载器6的连接部分,这样可以绕第五枢轴SA5旋转并且可以拆卸。辅助器械装载器6的相对自由端形成仪器固定器。
第一枢轴SA1垂直延伸到安装平面或操作平面,第二和第三枢轴(SA2,SA3)相互平行运行,而第一枢轴SA1垂直定位于第二和第三枢轴(SA2,SA3)。
图中未示出的多个驱动单元被提供用于驱动手术辅助***1的机器人运动学,并且这些驱动单元被配置为经由控制装置8进行控制,优选的为彼此独立。这些驱动单元优选的为集成或容纳在基座单元2、支撑柱3和/或机器臂4至6中。例如,驱动单元可以由液压驱动或者电驱动形成,特别是线性马达单元或主轴电机单元。
优选的,至少一个控制装置8容纳在手术辅助***1的基座单元2中,并且用于产生控制信号,用来激活驱动或驱动单元,使机器人运动学以控制的机动方式围绕限定好的枢轴SA1至SA5转动和/或用于将机器人运动学保持在笛卡尔坐标系中限定的固定位置。
支撑柱3垂直延伸,即基本沿着第一枢轴SA1延伸,即其被设计成围绕以大约其自身的纵轴方向旋转。第一和第二机器臂4,5基本也沿着直线延伸,该直线优选的垂直于第二或第三枢轴SA2,SA3。在本示例实施例中,至少第一机器臂4是轻度弯曲的。
为了设置手术辅助***1的起始位置或相对于第一手术开口11或穿刺点校准控制装置8,通过校准医疗辅助器械20被***到手术空间,提供了一个配准例程,手术辅助***1通过其在手术之前配准,例如,图示中没有示出的配准探头被引导至已经在手术台上的病人的区域,在该区域中提供了医疗辅助器械20***的第一手术开口11。在校准后,手术辅助***1即准备好引导医疗辅助器械20,特别是内窥镜摄像机。
图2所示为内窥镜摄像机20通过第一手术开口11***患者身体10的手术空间12的示意性侧视图。此外,图2还示出了医疗器械或手术器械30通过第二手术开口13***手术空间12。例如,第二手术开口12这里形成了参考坐标系BKS的原点,其空间坐标轴为x,y,z。
在图2中,例如,笛卡尔参考坐标系BKS的x轴垂直于绘图平面延伸,笛卡尔参考坐标系BKS的y轴垂直延伸于医疗器械30的纵轴LI,而z轴沿着医疗器械30的纵轴LI延伸或与其重合。原点可以在第二手术开口12区域中找到。有利地,利用笛卡尔参考坐标系BKS的这种定位,绕医疗器械30的纵轴LI的旋转对应于围绕z轴的相应旋转,这允许简化对围绕医疗器械30的纵轴LI旋转运动的评估。
例如,医疗器械或手术器械30包括在其自由端30’包括至少一个,优选的,两个抓握元件31,例如,形式为两个各自带有邻近的连接轴相连的抓紧环。功能元件32,例如,抓握元件或切割元件被放置在与医疗器械或手术器械30的相对自由端30”的位置,可以通过至少一个抓取元件31致动。功能元件32构成医疗器械30的尖端S,功能元件在手术过程中处于手术空间12中,并且被内窥镜摄像机20记录。自由端30’处于患者身体10的外部,是医疗器械或手术器械30的抓握区域。
控制单元CU用于控制辅助元件20在手术空间12中的移动,通过该控制单元产生优选的相对于笛卡尔参考坐标系的控制信号SS。这些信号被传送到控制装置8,通过控制装置8分别控制机器人运动学的驱动或驱动单元,以电机控制的方式枢轴转动机器人运动学的支撑柱3和/或机器臂4,5,以便启动围绕限定的枢轴SA1至SA5旋转和/或枢转运动,和/或机器人运动学相对参考坐标系BKS在限定的固定位置停止。
本发明的控制单元CU包括至少一个语音控制例程SSR,用于在手术过程中通过外科医生的语音命令SB,SB1,SB2产生控制信号SS。
机器人运动学的这种“语音控制”,以及由此辅助元件20在手术空间12中的移动,允许外科医生借助于各自定义的语音命令SB,SB1,SB2使用辅助元件,尤其是内窥镜摄像机20,根据当前需求通过内窥镜摄像机20相应移动来跟踪医疗器械30和/或改变摄像单元22生成的手术空间12的图像。使用语音控制至少部分控制手术机器人是已知的,其中已知的***功能范围有限以及控制精确度相对较低。
这是本发明起始的原因,它允许外科医生执行更精确和用户友好的语音控制。根据本发明,语音控制例程SSR被配置为检测和评估由至少第一和第二语音命令SB1、SB2组成的语音命令组合SBK,其中至少方向信息RI或速度信息VI被分配给第一语音命令SB1和至少量信息BI被分配给第二语音命令SB2,每个信息都相对应于笛卡尔参考坐标系BKS。应当理解的语音命令组合SBK当然可以包含两条以上语音命令SB1、SB2等,从而例如,除了方向信息RI和速度信息和量信息BI外,以其他语音命令SB形式附加运动信息传递给语音控制例程SSR。但是本示例性实施例中,通过包括两条语音命令SB1、SB2的语音命令组合SBK来更详细的阐述本发明。但本发明并不限于此。
控制单元CU包括至少一个处理单元CPU和语音信号检测单元SEU和例如存储单元MU。语音信号检测单元SEU配置为用于检测由外科医生以例如包括一个或多个单词的语音信号的形式说出的控制命令SB,SB1,SB2。通过语音信号检测单元SEU相应的检测到语音信号形成语音控制命令SB,SB1,SB2,该控制命令被发送到处理单元CPU中运行的语音控制例程SSR。在控制单元CU中的存储单元MU中,由可用的控制命令SB1,SB2生成的任何有创造性的语音命令组合SBK,可以被分配有控制信号SS,从而通过控制装置8相应的控制机器人运动学。或者,可以基于检测和评估的控制命令SB1,SB2来确定合适的控制信号SS。
除了根据本发明的语音控制外,还可以提供手动致动的输入单元,例如以遥控控制,操纵杆或其他包括多个开关元件的输入单元的形式,通过这些输入单元,附加地或替换地给语音控制例程SSR生成所需的控制信号SS。外科医生可以在不同单元中进行选择。
根据本发明,外科医生生成的语音命令,即第一和第二语音命令SB1,SB2按时间顺序彼此之后直接跟随,在预定的持续时间内被检测和评估。根据通过语音命令组合SBK的语音命令SB1,SB2检测到的方向或速度信息RI,VI和附加的量信息BI,生成或确定至少一个控制信号SS,通过该控制信号,至少医疗辅助器械20的移动在方向和量上受到控制。
本发明所理解的第一或第二语音命令SB1,SB2,可以包括一个或多个单词或单词成分,这些单词可以单独的说出或者彼此跟随地组合说出,并且语音控制例程SSR为每个单词或单词组合分配方向信息RI或速度信息VI或量信息BI。
为了控制的目的,外科医生可以使用具有定义数量的不同方向信息RI或不同的速度信息的第一语音命令SB1和具有定义数量的不同量信息BI的第二语音命令SB2。起点始终是辅助器械20在参考坐标系BKS中当前现有实际位置,以便达到参考坐标系BKS中所定义的所需位置。
根据本发明,应当理解方向信息RI为辅助器械20在参考坐标系BKS中从实际位置到所需位置的定义的移动方向,优选地,其以方向矢量的形式限定,该方向矢量的方向是从实际位置到所需位置。
根据本发明,应当理解量信息BI为辅助器械20在沿着参考坐标系BKS中移动方向的移动总量,分别由方向信息RI或方向矢量定义,其中,该量基本上指定了从辅助器械20的实际位置开始,在移动期间移动的路径长度或路线,以便达到所需的位置。通过语音命令组合SBK中方向信息RI和量信息BI创造性的组合,使得所期望的参考坐标系BKS中的所需位置变得更加精确的方法成为可能,而且对外科医生来说更加用户友好。
根据本发明,应当理解速度信息为一个或多个定义的速度,用于指示移动的速度,根据该速度信息辅助器械20通过机器人运动学在笛卡尔参考坐标系中移动。
图4a和图4b以举例的方式示出了不同方向信息RI1-RI10和量信息BI1-BI10,它们是第一或第二语音命令的主体。
作为示例,图4a示出了参考坐标系BKS中x-y-平面的俯视图,图b示出了参考坐标系BKS中x-z-平面的俯视图,该参考坐标系BKS带有在本说明书中以例子描述的不同方向信息RI和量信息BI。
例如,图4a显示包含单词“RIGHT(右)”的第一语音命令SB1,分配有第一方向信息RI1,该命令与x-轴重合并指向x-方向的正向。另外,提供包含单词“LEFT(左)”的第一语音命令SB1,分配有第二方向信息RI2。然后,第二方向信息RI2对应于x轴方向,但指向x轴方向的负方向。类似的,提供包含单词“UP(上)”的第一语音命令SB1,带有第三方向信息RI3,和可替换的包含单词“DOWN(下)”的第一语音命令SB1,带有第四方向信息RI4。第三和第四方向信息RI3对应于y轴方向,一个指向y-轴正方向,另一个指向y轴负方向。最后,作为示例,以下提供给在x-y-平面的第一语音命令SB1:包含单词“UPRIGHT(上右)”并具有第五方向信息RI5,包含单词“UPLEFT(上左)”并具有第六方向信息RI6,包含单词“DONWRIGHT(下右)”并具有第七方向信息RI7,包含单词“DOWNLEFT(下左)”并具有第八方向信息RI8。第五方向信息RI5,从参考坐标系中心开始,分别作为正x-轴和y-轴的角平分线,指向正x-轴和正y-轴的正方向。第六方向信息RI6,从参考坐标系中心开始,分别作为负x-轴和正y-轴的角平分线,指向负x-轴方向和正y-轴方向。第七方向信息RI7,从参考坐标系中心开始,分别作为正x-轴和负y-轴的角平分线,指向正x-轴方向和负y-轴方向。第八方向信息RI8,从参考坐标系中心开始,分别作为负x-轴和负y-轴的角平分线,指向负x-轴和负y-轴的方向。因此,第五到第八方向信息RI5-RI8指示在参考坐标系BKS的x-y-平面上沿对角线延伸的运动方向。
最后,图4b以示例的方式示出了,第一语音命令SB1的其他两个选项。即分配给单词“OUT(出)”的第九方向信息RI9,该信息从坐标系BKS中的中心开始,与z轴重合,然后沿z轴负方向延伸,和被分配给单词“IN(进)”的第十方向信息RI10,其从参考坐标系BKS的中心的开始,也与z轴重合,但是沿z轴正方向延伸。因此,在本实施例中,外科医生可用10条不同的移动信息RI1-RI10,来控制辅助器械20或内窥镜摄像机的移动。每个移动信息包括一个或两个单词。
此外,根据本发明,语音命令组合SBK还包括量信息BI1-BI10,这些量信息可以分别各自与相应的方向信息RI1-RI10组合,其中量信息形成第二语音命令SB2,并且优选的遵循第一语音命令的措辞。本实施例中,提供了从第一到第十量信息BI1-BI10,每一条指示沿着各个方向信息RI1-RI10定义的移动方向的量或路径长度。
例如,可以将时间间隔分配给量信息BI10-BI10,它指示辅助器械沿着定义的移动方向移动的持续时间。优选的从匀速运动开始,也可以通过关联的语音命令SB再次设置速度,从而得出在该时间间隔移动的路线或路径长度。,在本实施例中描述优选方案,第一至第十量信息BI1-BI10分别对应预定参考路径长度或参考路线的倍数。即第一量信息BI1对应于一倍的参考路径长度,第二量信息BI2对应于2倍的参考路径长度等。相应地,第二语音命令SB2可以包括不同的措词。例如,在本实施例中,单词“ONE(1)”被分配给第一量信息BI1,单词“TWO(2)”被分配给第二量信息BI2,单词“THREE(3)”被分配给第三量信息BI3等。在图4a中,只示出了第一至第三,第五和第十量信息BI1-BI3,BI5和BI10。例如,因此外科医生说出的第二语音命令SB2的措词对应于英文中1-10的数字。关联的数字分别表示分配给第一量信息BI1的参考路径长度的倍数。
在一个图中未明确示出的替代方案中,可以提供量信息BI1-BI10,其不代表参考路径长度的倍数,但它可以单独固定的。优选的,具有不同量和路径长度或速度的至少两个量信息BI1-BI10可以与上述方向信息RI1-RI10组合。
代替时间间隔,量信息BI1-BI10还可以被分配一个具体的路径长度或路线,它可以单独选择或者通过外科医生为个性化***设置。
在一个图中未明确示出的替代方案中,可以提供至少一个速度信息VI作为第一语音命令SB1,具有分配到的单词“SPEED(速度)”以及被分配不同的定义参考速度。语音命令组合SBK的第二语音命令SB2可以类似于上述实施例,包括不同的信息BI1-BI10,其分别包含参考速度的倍数。
在一个优选的实施方案中,仅当外科医生启动启动元件,优选的启动开关或按钮时,或者当他发出定义的启动语音命令时,语音控制才通过语音控制例程SSR启动。
辅助器械20的当前实际位置也可以以笛卡尔参考坐标系通过语音控制命令SB存储在控制单元CU的存储MU中。通过输入另一个语音命令SB,存储的实际位置在之后的时间点可以再次及时地被选择获取。
上述已经通过示例性实施例描述了本发明。应该理解,在不脱离本发明构思的情况下,可以进行许多改变和修改。
参考标记表
1 手术辅助***
2 基座单元
2.1 装载板
2.2 基座壳
2.3 紧固件
3 支撑柱
3’ 下端部
3” 上端部
4 第一机器臂
4’ 第一端部
4” 第二端部
5 第二机器臂
5’ 第一端部
5” 第二端部
6 辅助器械装载器
7 倾斜铰链件
8 控制装置
10 患者身体
11 第一手术开口(穿刺)
12 手术空间
13 第二手术开口(穿刺)
20 辅助器械,特别是内窥镜摄像机
21 内窥镜
22 摄像单元
30 医疗器械
30’ 自由端/抓握区
30” 自由端
31 抓握元件
32 功能元件
BI 量信息
BI1至BI10 第一至第十量信息
BKS 笛卡尔参考坐标系
CU 控制单元
LI 纵轴
LK 纵轴
RI 方向信息
RI1至RI10 第一至第十方向信息
S 医疗器械顶部
SA1 第一枢轴
SA2 第二枢轴
SA3 第三枢轴
SA4 第四枢轴
SA5 第五枢轴
SB 控制命令
SB1 第一控制命令
SB2 第二控制命令
SBK 控制命令组合
SS 控制信号
VI 速度信息
x,y,z 笛卡尔参考坐标系中的空间轴
Claims (7)
1.一种用于引导医疗辅助器械(20)的手术辅助***,尤其用于内窥镜摄像机,所述内窥镜摄像机通过第一手术开口(11)至少部分的进入患者身体(10)的手术空间(12),并且以受控的方式移动,所述手术辅助***包括机器人运动学(3,4,5),通过辅助器械固定器(6)在其自由端上容纳所述医疗辅助器械(20),其中,通过控制单元(CU)产生的控制信号(SS),所述机器人运动学以电机控制的方式移动,以在所述手术空间(12)中引导所述医疗辅助器械(20),其中,所述控制单元执行至少一条语音控制例程(SSR),通过所述语音控制例程检测到和评估不同的语音命令(SB,SB1,SB2),并确定与其相关的控制信号(SS),其中,所述语音控制例程(SSR)配置用于检测和评估由至少一条第一和第二语音命令(SB1,SB2)组成的语音命令组合(SBK),其中,在参考坐标系(BKS)中的方向或速度信息(RI,VI,RI1至RI10)分配给所述第一语音命令(SB1),和量信息(BI,BI1至BI10)分配给所述第二语音命令(SB2),并根据所述检测到的语音命令组合(SBK)的方向或速度信息(RI,VI,RI1至RI10)和量信息(BI,BI1至BI10)确定至少一个相关的控制信号(SS),通过该控制信号至少所述医疗辅助器械(20)涉及方向或速度和量的移动受到控制,其中,所述方向信息(RI,RI1至RI10)表示所述医疗辅助器械在所述笛卡尔参考坐标系(BKS)中的移动方向和所述量信息(BI,BI1至BI10)表示在所述笛卡尔参考坐标系(BKS)中沿着移动方向的路径长度或路线。
2.根据权利要求1所述的手术辅助***,其特征在于,所述语音控制例程(SSR)设置用于检测或评估在预设时间段内按时序一个紧接另一个的第一和第二语音命令(SB1,SB2)。
3.根据权利要求1或2所述的手术辅助***,其特征在于,所述第一和第二语音命令(SB1,SB2)分别包含一个或多个单词。
4.根据权利要求1-3中任一所述的手术辅助***,其特征在于,仅当外科医生致动启动元件,优选的,启动开关或按钮,或者如果出现致动语音命令时,才通过所述语音控制例程(SSR)启动语音控制。
5.根据上述权利要求任一所述的手术辅助***,其特征在于,所述辅助器械(20)相对于所述参考坐标系(BKS)的实际位置以第三语音命令的方式存储,以及通过第四语音命令有针对性地再次获取。
6.一种产生控制信号(SS)的方法,用以控制引导医疗器械(20)的手术辅助***的、电机控制的可移动机器人运动学(3,4,5),尤其,所述手术辅助***用于引导内窥镜摄像头,其中,医疗辅助器械(20)通过辅助器械固定器(6)被安置在机器人运动学(3,4,5)上的自由端,其中,所述医疗辅助器械(20)至少部分的通过患者身体(10)的第一手术开口(11)进入手术空间(12),其中,通过控制单元(CU)至少执行一条语音控制例程(SSR)的方式来确定所述控制信号(SS),其特征在于,通过所述语音控制例程(SSR)检测和评估由至少一条第一和第二个语音命令(SB1、SB2)组成的语音命令组合(SBK),其中,在参考坐标系(BKS)中的方向或速度信息(RI,VI,RI1至RI10)被分配给所述第一语音命令(SB1)和量信息(BI,BI1至BI10)被分配给所述第二语音命令(SB2),以及,根据检测到的所述语音命令组合(SBK)中的方向或速度信息(RI,VI,RI1至RI10)和量信息(BI,BI1至BI10),确定至少一条相关的控制信号(SS),通过该控制信号至少医疗辅助器械(20)的移动在方向或速度和量方面得到控制,其中,所述方向信息(RI,RI1至RI10)表示所述医疗辅助器械在笛卡尔参考坐标系(BKS)中的移动方向和量信息(BI,BI1至BI10)表示在笛卡尔参考坐标系(BKS)中沿着移动方向的路径长度或路线。
7.根据权利要求6所述的方法,其特征在于,在预设的时间内,所述语音控制例程(SSR)检测和评估按时序一个紧接着另一个的第一和第二语音命令(SB1,SB2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017101782.8A DE102017101782A1 (de) | 2017-01-30 | 2017-01-30 | Operations-Assistenz-System und Verfahren zur Erzeugung von Steuersignalen zur Sprachsteuerung einer motorisch gesteuert bewegbaren Roboterkinematik eines derartigen Operations-Assistenz-Systems |
DE102017101782.8 | 2017-01-30 | ||
PCT/EP2018/052113 WO2018138325A1 (de) | 2017-01-30 | 2018-01-29 | Operations-assistenz-system und verfahren zur erzeugung von steuersignalen zur sprachsteuerung einer motorisch gesteuert bewegbaren roboterkinematik eines derartigen operations-assistenz-systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110234472A true CN110234472A (zh) | 2019-09-13 |
CN110234472B CN110234472B (zh) | 2023-01-06 |
Family
ID=61148207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880008886.0A Active CN110234472B (zh) | 2017-01-30 | 2018-01-29 | 一种手术辅助***和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11382703B2 (zh) |
EP (1) | EP3573792B1 (zh) |
CN (1) | CN110234472B (zh) |
DE (1) | DE102017101782A1 (zh) |
WO (1) | WO2018138325A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112894786A (zh) * | 2021-02-03 | 2021-06-04 | 天津智融创新科技发展有限公司 | 一种模块化机器人的自启动方法及装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10967510B2 (en) * | 2017-11-16 | 2021-04-06 | Industrial Technology Research Institute | Robot arm processing system and method thereof |
DE102020131232B4 (de) | 2020-11-25 | 2023-07-06 | Aktormed Gmbh | Operations-Assistenz-System und Verfahren zur Erzeugung von Steuersignalen zur Sprachsteuerung einer motorisch gesteuert bewegbaren Roboterkinematik eines derartigen Operations-Assistenz-Systems |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6591239B1 (en) * | 1999-12-09 | 2003-07-08 | Steris Inc. | Voice controlled surgical suite |
US20030216836A1 (en) * | 2002-04-05 | 2003-11-20 | Treat Michael R. | Robotic scrub nurse |
US20050033580A1 (en) * | 1994-09-22 | 2005-02-10 | Computer Motion, Inc. | Speech interface for an automated endoscope system |
CN1588535A (zh) * | 2004-09-29 | 2005-03-02 | 上海交通大学 | 嵌入式语音识别***的自动语音识别处理方法 |
US20080030317A1 (en) * | 2004-01-23 | 2008-02-07 | Bryant Terry K | Method of Improving Medical Apparatus in Order to Replace Ancillary Medical Assistance by Employing Audible Verbal Human Sounding Voices to Prompt Therapeutic Usage and Provide Guidance, Measurements, Encouragement and Response, As Needed, to the Patient, By Using Electronic Technology |
CN101594835A (zh) * | 2007-02-01 | 2009-12-02 | 奥林巴斯医疗株式会社 | 内窥镜手术装置 |
CN101980838A (zh) * | 2008-03-28 | 2011-02-23 | 阿克特梅德有限公司 | 用于引导外科辅助仪器的手术辅助*** |
US20130096575A1 (en) * | 2009-07-22 | 2013-04-18 | Eric S. Olson | System and method for controlling a remote medical device guidance system in three-dimensions using gestures |
KR20150008247A (ko) * | 2013-07-11 | 2015-01-22 | 현대중공업 주식회사 | 로봇 수술 안전구역 확보 시스템 |
CN104517608A (zh) * | 2013-09-30 | 2015-04-15 | 韦伯斯特生物官能(以色列)有限公司 | 使用清音无喉语音控制*** |
CN105658269A (zh) * | 2013-09-20 | 2016-06-08 | 柯惠有限合伙公司 | 计算机控制的可转向的顶端引导导管 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
JP2004275360A (ja) | 2003-03-14 | 2004-10-07 | Olympus Corp | 内視鏡システム |
DE102007019363B4 (de) | 2007-04-23 | 2009-06-25 | Jürgen Michael Knapp | Operations-Assistenz-System |
KR101946364B1 (ko) * | 2012-05-01 | 2019-02-11 | 엘지전자 주식회사 | 적어도 하나의 마이크 센서를 갖는 모바일 디바이스 및 그 제어방법 |
WO2013186794A2 (en) | 2012-06-15 | 2013-12-19 | Suresh DESHPANDE | A voice controlled operation theater automation system |
DE202013012276U1 (de) | 2012-09-30 | 2016-01-20 | M.S.T. Medical Surgery Technologies Ltd. | Vorrichtung zum unterstützen eines laparoskopischeneingriffs - lenk- und manövriergelenkwerkzeug |
US9653075B1 (en) * | 2015-11-06 | 2017-05-16 | Google Inc. | Voice commands across devices |
-
2017
- 2017-01-30 DE DE102017101782.8A patent/DE102017101782A1/de not_active Ceased
-
2018
- 2018-01-29 EP EP18702652.1A patent/EP3573792B1/de active Active
- 2018-01-29 WO PCT/EP2018/052113 patent/WO2018138325A1/de unknown
- 2018-01-29 US US16/478,294 patent/US11382703B2/en active Active
- 2018-01-29 CN CN201880008886.0A patent/CN110234472B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050033580A1 (en) * | 1994-09-22 | 2005-02-10 | Computer Motion, Inc. | Speech interface for an automated endoscope system |
US6591239B1 (en) * | 1999-12-09 | 2003-07-08 | Steris Inc. | Voice controlled surgical suite |
US20030216836A1 (en) * | 2002-04-05 | 2003-11-20 | Treat Michael R. | Robotic scrub nurse |
US20080030317A1 (en) * | 2004-01-23 | 2008-02-07 | Bryant Terry K | Method of Improving Medical Apparatus in Order to Replace Ancillary Medical Assistance by Employing Audible Verbal Human Sounding Voices to Prompt Therapeutic Usage and Provide Guidance, Measurements, Encouragement and Response, As Needed, to the Patient, By Using Electronic Technology |
CN1588535A (zh) * | 2004-09-29 | 2005-03-02 | 上海交通大学 | 嵌入式语音识别***的自动语音识别处理方法 |
CN101594835A (zh) * | 2007-02-01 | 2009-12-02 | 奥林巴斯医疗株式会社 | 内窥镜手术装置 |
CN101980838A (zh) * | 2008-03-28 | 2011-02-23 | 阿克特梅德有限公司 | 用于引导外科辅助仪器的手术辅助*** |
US20130096575A1 (en) * | 2009-07-22 | 2013-04-18 | Eric S. Olson | System and method for controlling a remote medical device guidance system in three-dimensions using gestures |
KR20150008247A (ko) * | 2013-07-11 | 2015-01-22 | 현대중공업 주식회사 | 로봇 수술 안전구역 확보 시스템 |
CN105658269A (zh) * | 2013-09-20 | 2016-06-08 | 柯惠有限合伙公司 | 计算机控制的可转向的顶端引导导管 |
CN104517608A (zh) * | 2013-09-30 | 2015-04-15 | 韦伯斯特生物官能(以色列)有限公司 | 使用清音无喉语音控制*** |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112894786A (zh) * | 2021-02-03 | 2021-06-04 | 天津智融创新科技发展有限公司 | 一种模块化机器人的自启动方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018138325A1 (de) | 2018-08-02 |
US20190365488A1 (en) | 2019-12-05 |
US11382703B2 (en) | 2022-07-12 |
EP3573792B1 (de) | 2022-09-14 |
CN110234472B (zh) | 2023-01-06 |
DE102017101782A1 (de) | 2018-08-02 |
EP3573792A1 (de) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11819301B2 (en) | Systems and methods for onscreen menus in a teleoperational medical system | |
KR102437404B1 (ko) | 수술 기구를 제어하는 시스템 및 방법 | |
Buess et al. | A new remote-controlled endoscope positioning system for endoscopic solo surgery: The FIPS endoarm | |
US10646295B2 (en) | Rotating needle driver and apparatuses and methods related thereto | |
US5410638A (en) | System for positioning a medical instrument within a biotic structure using a micromanipulator | |
US9713500B2 (en) | Surgical robot control apparatus | |
US20180028269A1 (en) | Method and device to assist with the operation of an instrument | |
US20160235489A1 (en) | Control Device and Method for Controlling a Robot with a System by Means of Gesture Control | |
CN110087559A (zh) | 具有可选运动控制断联场的机器人外科*** | |
CN110234472A (zh) | 用于产生以语音控制手术辅助***的电机控制方式移动的机器人运动学的控制信号的手术辅助***和方法 | |
CN106456935A (zh) | 使用可操控管心针和柔性针的设备、***以及方法 | |
CN107753109B (zh) | 同心管机器人装置及其控制方法 | |
KR101630794B1 (ko) | 수술 로봇 시스템 및 이에 구비되는 액티브 가이드 유닛 | |
JP2020065904A (ja) | 手術支援装置 | |
EP1843713A1 (en) | Robotized system for the control and micrometric actuation of an endoscope | |
US11324561B2 (en) | Remote manipulator system and method for operating a remote manipulator system | |
Wu et al. | Prototype development of a hand-held robotic light pipe for intraocular procedures | |
Jaspers et al. | Design and feasibility of PASSIST, a passive instrument positioner | |
US7641650B2 (en) | Remote control device for a medical probe | |
CN109788990B (zh) | 医疗用臂组件 | |
EP3954319A1 (en) | Surgical operation system and method for controlling surgical operation system | |
Tang et al. | A laparoscopic robot with intuitive interface for gynecological laser laparoscopy | |
CN112040879A (zh) | 用于一医疗器材的控制单元 | |
CN221083747U (zh) | 一种单悬臂结构的肺穿刺激光引导辅助机构 | |
Polski et al. | A new partially autonomous camera control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 13 Nungablonze Street, New Troplin, Bavaria, Germany Applicant after: AKTORMED GmbH Address before: Babin Bosigstros, Germany Applicant before: AKTORMED GmbH |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |