CN109069207B - 机器人***及其控制单元和计算机可读存储介质 - Google Patents

Abstract

一种用于机器人***的控制单元，所述机器人***包括图像采集设备以及具有刚性近端部分和柔性远端部分的机器人，所述刚性近端部分具有远程运动中心(RCM)。控制单元包括处理器，所述处理器：从图像采集设备接收图像；基于图像生成通往第一目标位置的第一部署路径；基于图像生成从第一目标位置到第二目标位置的第二部署路径；生成第一引导信息，以用于沿着第一部署路径定位刚性近端部分；生成第二引导信息，以用于沿着第二部署路径定位柔性远端部分；并且将第一引导信息部署到刚性近端部分以将刚性近端部分引导到第一目标位置，并且将第二引导信息部署到柔性远端部分以将柔性远端部分引导到第二目标位置。

Description

机器人***及其控制单元和计算机可读存储介质

背景技术

可操纵设备常常用在微创外科手术中，以改善外科医师在患者内的灵巧性。一种已知的可操纵设备包括远端端部处的多个关节和肌腱及近端端部处的驱动***。还能够使用机器人***定位所述设备。机器人定位允许对相对于解剖结构的设备运动的跟踪。

在外科手术中使用的另一类型的可操纵设备是外科手术图像采集设备，诸如具有偏转尖端的内窥镜，或机器人内窥镜。这种内窥镜是细长的相机组件，其允许临床医师查看患者的内部解剖结构，而无需为了直接查看以外科手术的方式暴露解剖结构。内窥镜能够穿过狭窄的自然孔口(orifices)或皮肤中的小切口进行，这与不借助内窥镜的可视化和介入相比导致对患者的减少的创伤。

对已知的灵巧设备的控制具有挑战性。临床医师(例如，外科医师或其他使用者)必须组合通常围绕支点(例如，针对身体的入口点)的非灵巧的近端端部的运动与身体内的复杂的灵巧的运动。针对该问题的方法是灵巧的设备的机器人定位，这增加了操作室中的占用空间(footprint)并且增加了外科手术的成本和持续时间。如果近端端部不在成像设备的视场内，则该问题被放大(例如，内窥镜仅在患者的内部拍摄图像，并且在诸如C型臂的便携式成像***中的视场太小而不能对整个设备进行成像，并且能够导致对操作者的辐射暴露)。此外，一旦利用灵巧的设备达到该位置，手的震颤和手的不自主运动就会引起未对准。

例如，主动脉瓣置换是用假体(人造)瓣膜置换患者的心脏瓣膜的流程。用于瓣膜置换的微创外科手术包括通过胸部中的小切口的患者的跳动的心脏中的人造瓣膜的部署。用于主动脉瓣置换的常规流程部分地包括：创建从心脏的外部通过患者的左心室壁的穿刺；通过穿刺将导引器护套***；使球囊导管穿过导引器护套进入左心室中；并且使用推动器和套筒推进球囊导管和安装在其上的假体瓣膜，使得假体瓣膜被定位在主动脉瓣环内。然而，常规流程假设从在患者肋骨之间的患者的表面(在小切口处)，通过心脏，并且到主动脉瓣(在跳动的心脏中)的对瓣膜的手动直线部署。出于多种原因，这是非常具有挑战性的。例如，直线是解剖环境的差的近似。即，对于主动脉瓣置换有三个主要的感兴趣位置：患者入口位置、心脏入口位置和瓣膜本身的位置。这三个主要位置不是共线的。而且，沿直线的部署可能受到诸如肋骨、心肌、心脏内的小梁形成(trabeculation)等的其他解剖特征的约束。此外，对于外科医师而言难以映射所有的解剖标志，以便规划直线路径，尤其是在差的视觉反馈和解剖结构不断移动(例如，心脏跳动和瓣膜拍动)的情况下。此外，X射线和超声的视场通常被限制于仅对心脏进行成像，因此心脏外部没有图像引导。

因此，可能期望提供一种用于使用医学图像和跟踪信息的组合控制具有刚性近端部分和柔性远端部分的外科手术机器人的装置、***、方法和计算机可读存储介质。

发明内容

根据代表性实施例，提供了一种用于机器人***的控制单元，所述机器人***包括机器人和图像采集设备，所述机器人具有刚性近端部分和柔性远端部分，所述刚性近端部分具有远程运动中心(RCM)。控制单元包括处理器，所述处理器：从图像采集设备接收图像；基于所述图像生成到第一目标位置的第一部署路径；基于所述图像生成从第一目标位置到第二目标位置的第二部署路径；生成用于沿着第一部署路径定位刚性近端部分的第一引导信息；生成用于沿着第二部署路径定位柔性远端部分的第二引导信息；并且将第一引导信息部署到刚性近端部分以将刚性近端部分引导到第一目标位置，并且将第二引导信息部署到柔性远端部分以将柔性远端部分引导到第二目标位置。

根据另一代表性实施例，机器人***包括机器人、控制单元和至少一个图像采集设备。机器人包括柔性远端部分和具有远程运动中心(RCM)的刚性近端部分。控制单元被配置为：从至少一个图像采集设备接收图像，基于所述图像生成到第一目标位置的第一部署路径，基于所述图像生成从第一目标位置到第二目标位置的第二部署路径，生成用于沿着第一部署路径定位刚性近端部分的第一引导信息，并且生成用于沿着第二部署路径定位柔性远端部分的第二引导信息。

根据另一代表性实施例，提供了一种非暂态计算机可读存储介质，其中已经存储有机器可读指令，所述机器可读指令被配置为由处理器执行以控制机器人***。机器人***具有控制单元、机器人和至少一个图像采集设备，所述机器人具有柔性远端部分和带有RCM的刚性近端部分。机器可读指令被配置为执行控制机器人的刚性近端部分和柔性远端部分以接近目标的方法，所述方法包括：生成到患者的外科手术部位内的感兴趣区域的用于刚性近端部分的第一部署路径；生成第一引导信息，以沿着所述第一部署路径定位所述刚性近端部分；基于所述第一引导信息在第一部署路径上将刚性近端部分移动到感兴趣区域；通过刚性近端部分部署柔性远端部分；跟踪感兴趣区域内的柔性远端部分的位置；生成到目标的用于柔性远端部分的第二部署路径；生成第二引导信息，以沿着所述第二部署路径定位所述柔性远端部分；并且基于所述第二引导信息在第二部署路径上将柔性远端部分移动到目标。

附图说明

当结合附图阅读时，从下面的详细描述中最好地理解代表性实施例。要强调的是，各种特征不一定按比例绘制。事实上，为了讨论的清楚起见，尺度可以任意增大或减小。在适用和实际的情况下，相似的附图标志指代相似的元件。

图1A是图示根据代表性实施例的外科手术机器人***的示意性框图。

图1B是根据代表性实施例的外科手术机器人***中的机器人的柔性远端部分的透视图。

图2A是图示根据代表性实施例的操作在图1A中示出的外科手术机器人***中的机器人的细节的示意图。

图2B是图示根据代表性实施例的操作在图1A中示出的外科手术机器人***中的机器人的细节的示意图。

图3是根据代表性实施例的用于接近患者心脏的外科手术机器人***的透视图。

图4是图示根据代表性实施例的控制机器人的刚性近端部分和柔性远端部分以接近目标的方法中的各种操作的流程图。

具体实施方式

在下面的详细描述中，为了解释而非限制的目的，阐述了公开具体细节的代表性实施例，以便提供对本教导的透彻理解。然而，对于受益于本公开的本领域普通技术人员而言将显而易见的是，与本文公开的具体细节偏离的根据本教导的其他实施例仍然在所附权利要求的范围内。此外，可以省略对公知的装置和方法的描述，以免使代表性实施例的描述不清楚。这些方法和装置显然在本教导的范围内。

应该理解的是，本文使用的术语仅出于描述特定实施例的目的，而并非旨在进行限制。除了在本教导的技术领域中通常理解和接受的定义术语的技术和科学含义之外，还可以有任何定义的术语。

如说明书和所附权利要求中所使用的，除非上下文另有明确说明，否则术语“一”、“一个”和“所述”包括单数和复数指示物。因此，例如，“设备”包括一个设备和多个设备。

如本文所使用的，两个或更多个部件或部件“耦合”的表述应意味着部件直接或间接地(即通过一个或多个中间零件或部件)连接或一起操作，只要链接发生。

如附图所示，可以使用方向术语/短语和相对术语/短语来描述各个元件彼此之间的关系。这些术语/短语旨在涵盖除了附图中描绘的方位之外的设备和/或元件的不同方位。

如附图所示的，诸如“在...之上”、“在...之下”、“顶部”、“底部”、“上部”和“下部”的相对术语可以用于描述各个元件彼此之间的关系。除了附图中描述的方位之外，这些相对术语旨在包含设备和/或元件的不同方位。例如，如果设备相对于附图中的视图是倒置的，则例如被描述为在另一元件“上方”的元件现在将在该元件“下方”。类似地，如果设备相对于附图中的视图旋转了90°，则在另一个元件“之上”或“之下”描述的元件现在将与另一个元件“相邻”；其中“相邻”是指邻接另一个元件，或者在元件之间具有一个或多个层、材料、结构等。

如说明书和权利要求中所使用的，并且除了它们的普通含义之外，术语“实质”或“实质上”意味着具有可接受的限制或程度。例如，“实质上取消”意味着本领域普通技术人员会认为取消是可接受的。

首先参考图1A和1B，将描述根据本教导的特征的外科手术机器人***100。具体地，外科手术机器人***100可以用于医学流程，包括但不限于，微创心脏外科手术，诸如冠状动脉旁路移植术和二尖瓣置膜置换；微创腹部外科手术，诸如为了进行***切除术或胆囊切除术的腹腔镜检查；以及例如，自然孔口经腔内窥镜外科手术。

图1A示意性图示了包括混合机器人101的外科手术机器人***100，所述混合机器人101具有刚性近端部分102和柔性远端部分103。通常，刚性近端部分102通过在患者身体的表面上的第一入口位置E1推进到患者P的体腔中。使用影像将刚性近端部分102引导到外科手术部位S处的感兴趣区域ROI(例如，内部器官，诸如患者心脏)，并且通过第二入口位置E2(也称为第一目标位置)将柔性远端部分103从刚性近端部分102部署到感兴趣区域ROI中。然后使用影像将柔性远端部分103引导到感兴趣区域ROI中的目标T(例如，存在于内部器官中的特征或对象，诸如患者心脏的主动脉瓣)(也称为第二目标位置)。一旦到达目标T，柔性远端部分103能够执行各种诊断、外科手术或处置流程(例如，诸如主动脉瓣置换)。机器人101的刚性近端部分102和柔性远端部分103可以如以下讨论的在控制单元106的控制下***作，或者在实施例中，刚性近端部分102可以是手动定位在针对患者P的身体的第一入口位置E1处并由临床医师(用户)操纵的手持导引器。

机器人101的刚性近端部分102可以具有在第一入口位置E1处的远程运动中心(RCM)，使得刚性近端部分102能够围绕第一入口位置E1(“枢转点”)枢转。换言之，RCM被定位于患者P的身体的表面处，并且被配置用于沿着多个自由度移动。在备选实施例中，机器人101的刚性近端部分102可以具有在第二入口位置E2处的RCM，使得所述RCM被定位于RIO的表面处，从而实现沿着多个自由度的移动。在RCM被定位于身体P的表面处的实施例中，第一入口位置E1处的开口可以比RCM被定位于RIO的表面处的实施例中更小。这是因为，当RCM被定位于RIO的表面处时，刚性近端部分102在患者P内部枢转，并且因此在第一入口位置E1处必须有空间以供刚性近端部分102在患者P的身体的表面处移动这样的距离，其对应于移动的角度，以及在第一入口位置E1和第二入口位置E2之间的距离。在各种实施例中，刚性近端部分102通过来自控制单元106的、经由输入/输出(I/O)电路108接收的指令操纵，或由临床医师手动操纵，以将刚性近端部分102引导到外科手术部位S中的期望的感兴趣区域ROI。

根据本教导，跟踪刚性近端部分102的移动，并且基于该移动，能够将远端部分103的位置调节为确保远端部分103相对于目标T的准确位置。近端部分102说明性地包括管状部分，能够通过所述管状部分来引导柔性远端部分103以及在实现特定外科手术或治疗流程中有用的部件。通过范例，这样的部件可以包括各种端部执行器、成像设备、以及能够通过近端部分102馈送的其他部件或设备(例如，假体心脏瓣膜或支架)。

外科手术机器人***100包括显示器104，显示器104提供患者P内的机器人101的刚性近端部分102和柔性远端部分103的至少部分的位置的实时图像。显示器104可以经由I/O电路108和/或处理器130从图像采集设备114接收实时图像，如下文更全面描述的。图像采集设备114可以被配置为采集近端部分102和柔性远端部分103、柔性远端部分103、感兴趣区域ROI(例如，解剖对象，诸如心脏或另一器官)和/或在外科手术部位S处的目标T(例如解剖对象内的位置或解剖对象的部分)的一幅或多幅实况图像。

图像采集设备114可以例如包括C型臂，其是成像扫描器增强器，因其C配置而得名。C型臂具有射线照相能力，并且可以在外科手术流程期间用于透视成像，如对于本领域技术人员来而言将显而易见的。更一般地，图像采集设备114可以包括本领域普通技术人员知识范围内的各种术中成像设备之一，以提供实况成像。如下所述，这些实时(即，术中)图像可以与术前图像结合使用以实现配准。用于第二图像采集设备114的预期成像设备包括但不限于计算机断层摄影(CT)设备、超声成像设备、磁共振成像(MRI)设备、正电子发射断层摄影(PET)设备、单光子发射计算机断层摄影(SPECT)成像设备。可以实时采集这些图像。

通常，柔性远端部分103包括至少两个连杆，以及在它们之间的至少一个关节。如下文结合代表性实施例更全面描述的，机器人101在结构上被配置为控制柔性远端部分103的一个或多个关节，以例如在感兴趣区域ROI内以一个或多个运动程度(degrees ofmotion)进行操纵。说明性地，柔性远端部分103可以是多个设备中的一个，包括但不限于双连杆、一个关节设备、蛇形设备或可操纵导管。在实践中，如本领域技术人员将意识到的，柔性远端部分103被配置为以一个或多个自由度进行移动。通常，柔性远端部分103线性推进(即，一个自由度)，在平面中移动(即，两个自由度)，并且进行旋转。更一般地，柔性远端部分103可以具有多个自由度，例如，在蛇状机器人的情况下为六(6)个或更多。

通过范例，柔性远端部分103包括多个连杆和关节，它们被控制为使柔性端部分103的远端端部103’适当地定位于期望的位置(例如，目标T)中。在图1B中描绘了作为多连杆、多关节设备的柔性远端部分103的范例。

参考图1B，根据代表性实施例，柔性远端部分103是机器人101的蛇形机器人部分，包括多个连杆141，每个连杆通过相应的关节142连接。多个连杆141中的每个包括刚性分段，并且关节142中的每个可以包括齿轮组件。说明性地，每个关节142能够在一个和三个自由度(滚动、俯仰和偏转)之间实施。如下文更全面描述的，控制单元106被配置为执行电机控制并且收集柔性远端部分103的位置和取向数据。备选地，柔性远端部分103可以是导管机器人，例如由过Wallace等人的美国专利US8404136(2013年4月2日)所描述的，具体地通过引用将其公开内容并入本文。

如将意识到的，柔性远端部分103可以包括端部执行器(未示出)，如针对具体机器人流程期望的。通过范例，连接到柔性远端部分103的端部执行器可以包括夹具或工具保持器。类似地，柔性远端部分103可以包括诸如腹腔镜检查仪器、腹腔镜、用于螺钉放置的工具、前视相机或用于活组织检查或治疗的针的工具。在本领域普通技术人员的知识范围内的其他外科手术设备和工具也被预期与柔性远端部分103一起使用。

显示器104包括适于显示图像和数据的输出设备和/或用户接口，如本文更全面描述的。显示器104可以包括一个或多个显示器，其可以共同位于邻近外科手术机器人***100的各个元件被定位的临床医师附近。显示器104被配置为显示例如通过图像采集设备114提供的外科手术部位S的实况和/或术前图像。显示器104可以输出视觉、声学和/或触觉数据。显示器104的范例包括但不限于计算机监测器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子体显示板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器(HMD)。

控制单元106被配置为接收来自外科手术机器人***100的各种部件的输入，并向其提供输出(例如，指令或命令)。控制单元106包括I/O电路108，其从外科手术机器人***100的各种部件接收输入，并向处理器130提供输出和从处理器130接收输入，如下文更全面描述的。处理器130还包括用于实现处理的存储器134和计算机可读介质(CRM)136(其可以是相同或单独的存储器)。处理器130总体上被配置为经由I/O电路108例如从图像采集设备114接收图像，并且处理所采集的图像并将所采集的图像存储在存储器134和/或CRM 136中。处理器130因此能够建立实质上视觉地映射由图像采集设备114捕获的患者P的内部部分的数据库。在备选实施例中，可以包括额外的图像采集设备以提供内部图像。这样的额外的图像采集设备可以包括例如经食管超声心动图(TEE)探头或内窥镜，并且内部图像可以包括由额外的图像采集设备穿过的患者P的内部部分。由处理器130建立的数据库可以用于确定从第一入口位置E1到第二入口位置E2的路径(例如，到第一目标位置的第一部署路径DP1)，以及从第二入口位置E2到感兴趣区域ROI内的目标T的路径(例如，到第二目标位置的第二部署路径DP2)。处理器130经由I/O电路108将图像发送至显示器104以进行显示。

当额外的图像采集设备包括内窥镜(未示出)时，其提供内窥镜图像。内窥镜可以由内窥镜控制器控制，独立地***作或在控制单元106的控制下***作。在特定代表性实施例中，内窥镜可以包括管，以及用于照射在检查中的器官或对象的光递送***，例如，光源通常在身体外部，光通常经由光纤***引导。还可以包括将图像从物镜发送到观察者的透镜***，通常在刚性内窥镜的情况下是中继透镜***，或者在纤维镜的情况下是一束光纤。还预期没有目镜的光纤视镜，其中，相机将图像发送至用于图像捕获的屏幕(例如，显示器104)。内窥镜的额外的通道可以允许医学仪器或操纵器的进入。

用于本发明目的的内窥镜的范例包括但不限于柔性的或刚性的任何类型的镜(scope)(例如，内窥镜、关节窥镜、支气管窥镜、胆道镜、结肠镜、膀胱内部检验镜、十二指肠镜、胃镜、子宫镜、腹腔镜、喉镜、神经镜(neuroscope)、耳镜、推进式肠镜、鼻喉镜、乙状结肠镜、鼻窦镜(sinuscope)、胸部镜(thorascope)等)以及类似于配备有图像***的镜的任何设备。成像是局部的，并且可以利用光纤、透镜或(例如基于CCD的)小型化成像***光学地获得表面图像。

额外的图像采集设备可以连接到控制单元106，并且可以是控制单元106的部件。额外的图像采集设备提供最终被提供给显示器104的图像，并且可以包括具有前向光学视图或者倾斜光学视图的任何类型的相机，并且能够以预定的帧速率(例如，每秒30帧)采集二维数字视频帧的序列，并且能够经由I/O电路108将每个数字视频帧提供给控制单元106。具体地，额外的图像采集设备可以被定位和取向为使其能够在其视场内捕获柔性远端部分103的图像。在一些实施例中，额外的图像采集设备包括由电机致动的相机，并且能够沿着用于机器人101的规划仪器路径被定位。

处理器130可以包括可以使用软件(例如，微代码)编程的一个或多个微处理器，以执行本文所讨论的各种功能。值得注意的是，处理器130可以包括一个以上的处理器或处理核心。处理器130可以例如是多核处理器。控制单元106还可以包括单个计算机***(未示出)内的处理器集合，或者分布在与外科手术机器人***100相关联的多个计算机***(未示出)之间。如将意识到的，许多程序具有由可以在同一计算设备内或者甚至可以分布在多个计算设备上的处理器130执行的它们的指令。可以用作本公开的各种实施例中的处理器130的部件的范例包括但不限于常规微处理器、微控制单元、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。

存储器134和/或CRM 136可以被配置为存储在外科手术机器人***100的各种部件的功能的过程期间收集的各种类型的数据。如下文更全面描述的，这些数据包括所收集的图像数据和跟踪数据。存储器134和/或CRM 136还可以存储诸如术前图像数据的术前数据。如下文更全面描述的，这些数据能够用于在机器人101的操作期间跟踪刚性近端部分102和柔性远端部分103的位置。此外，存储器134和CRM 136中的每个包括非暂态计算机可读介质，其存储被配置为由处理器130执行以控制外科手术机器人***100的机器可读指令，并且存储各种数据，包括图像数据和跟踪数据。通过范例，这些指令(程序)被编码在存储器134中，并且当在处理器130上执行时，执行本文所讨论的功能中的至少一些。应当注意，术语“程序”或“计算机程序”在本文中以一般含义使用，以指代能够用于对控制单元106进行编程的各种类型的计算机代码(例如，软件或微代码)。

存储器134和CRM 136可以包括非易失性计算机存储器或易失性计算机存储器或两者，包括但不限于：诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、通用串行总线(USB)驱动器、软盘、高密度磁盘(CD)、光盘、磁带等)、智能卡、数字视频光盘(DVD)、CD-ROM和固态硬盘驱动。诸如存储器134的各种存储介质例如可以固定在处理器130内，或者可以是可移动的，从而使存储在其上的一个或多个程序能够加载到处理器130中，从而实施本文所讨论的本教导的各个方面。

机器人101引入了额外的坐标系，并且因此机器人101与一些期望的参考系的对准(位置和取向)难以确保和维持，因为它利用工作空间和运动约束来定位。如下文更全面描述的，独立坐标***的未对准，使得不需要由临床医师在心理上进行相同的对准，使用已知的配准方法和装置来实现。为此，存在各种当前的方法和装置来将机器人101及其具体部件配准到成像***。通过范例，能够通过将图像中可见的柔性远端部分103的特征与术前收集的对应的特征进行匹配来执行配准。可以由临床医师或外科医师通过在图像中标记目标T的位置来识别目标T。在另一实施例中，能够借助于本领域已知的特征匹配和对象识别来自动检测目标T。然后可以使用配准从图像到机器人坐标***计算目标T。配准的范例在以下中进行了描述：由Popovic共同拥有的美国专利US9095252(2015年8月4日)；和Trovato等人的美国专利申请公开US2011/0282151(2011年11月17日)、Thienphrapa等人的US2014/0212025(2014年7月31日)、Popovic等人的US2015/0010225、Popovic等人的US2015/0073265(2015年1月8日)、US2015/0126859(2015年5月7日)，以及Elhawary等人的US2015/0202015(2015年7月23日)，通过引用将所有这些明确地并入本文。

跟踪***120被配置为生成关于机器人101的刚性近端部分102和柔性远端部分103的跟踪信息。如本领域普通技术人员将意识到的，跟踪***120可以是光学跟踪***、机械跟踪***、电磁跟踪***和形状感测跟踪***中的一个或多个。诸如射频(RF)传感器、LED传感器、无源标记、反射标记的传感器或标签可以包括在机器人101的近端部分102处，或者在柔性远端部分103的端部103’附近，或者这两处以与跟踪***120协作。例如，Ramamurthy等人的美国专利US9186046描述了形状感测跟踪***，通过引用将该公开明确并入本文。

跟踪***120向控制单元106提供信息以提供刚性近端部分102和柔性远端部分103的当前位置的反馈。这允许刚性近端部分102相对于感兴趣区域ROI的位置的调节，以及柔性远端部分103相对于目标T的位置的调节。通过刚性近端部分102和柔性远端部分103的跟踪，以及来自由图像采集设备114实现的配准的数据，处理器130被配置为最终确定柔性远端部分103相对于目标T的位置。应当注意，存储器132中的软件例如使得能够由处理器130计算柔性远端部分103相对于目标T的当前位置。基于这些计算，处理器130向柔性远端部分103提供指令/命令，以根据需要移动到相对于目标T的更好的位置中。在一个实施例中，这些命令用于补偿刚性近端部分102中的或来自临床医师的手的震颤引起的运动，以补偿(并且实质上取消)柔性远端部分103的任何不期望的移动。

外科手术机器人***100包括用户接口110。如显示器104的用户接口110示意性地经由硬件接口(未示出)和I/O电路108耦合到控制单元106。硬件接口使得处理器130能够与外科手术***的各种部件交互，以及控制外部计算设备(未示出)和/或装置。硬件接口可以允许处理器将控制信号或指令发送到外科手术机器人***100的各种部件，以及外部计算设备和/或装置。硬件接口还可以使得处理器能够与外科手术机器人***100的各种部件以及外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。

用户接口110允许临床医师通过计算机(未示出)或计算机***(未示出)与外科手术机器人***100交互。用户接口110可以包括例如触摸屏、键盘、鼠标、轨迹球和/或触摸板。总体上，用户接口110可以向临床医师提供信息或数据和/或从临床医师接收信息或数据。用户接口110可以被配置为从临床医师接收要由计算机接收的输入，并且可以从计算机向用户提供输出。换言之，并且如将变得更清楚的，用户接口110可以被配置为使操作者能够控制或操纵计算机，并且用户接口110可以被配置为允许计算机指示临床医师的控制或操纵的效果。显示器104或其图形用户接口上的数据或信息的显示是向临床医师提供信息的范例。通过触摸屏、键盘、鼠标、轨迹球、触摸板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、耳机、齿轮杆、方向盘、有线手套、无线遥控器和加速度计的数据的接收都是用户接口110的部件的范例，其使得能够从操作者接收信息或数据。

如上所述，控制单元106包括I/O电路108。在其他功能中间，I/O电路108控制与控制单元106外部的元件和设备的通信。I/O电路108用作包括必要逻辑的接口，以解释去往/来自处理器130的输入和输出信号或数据。例如，I/O电路108可以包括：第一输入，其被配置为接收诸如来自图像采集设备114的、与在外科手术部位S处的或附近的机器人101的刚性近端部分102和柔性远端部分103相关的医学影像；以及第二输入，其被配置为从跟踪***120接收机器人101的近端部分102和柔性远端部分103的跟踪信息。I/O电路108可以包括输出，其被配置为将与机器人101相关的医学影像提供给显示器104的显示器。

代表性实施例还可以涉及在其中已经存储了机器可读指令的非暂态计算机可读存储介质(例如，存储器134/CRM 136)，所述机器可读指令被配置为由处理器130执行以控制包括机器人101的外科手术机器人***100，所述机器人具有要被定位在患者身体的入口处的近端部分102和要被定位在患者身体内的外科手术部位S处的柔性远端部分103。机器可读指令存储在存储器132中并且被配置为执行方法500以补偿手持式导引器102的运动。

为了图示目的，可以假设感兴趣区域ROI例如是患者的心脏。在这种情况下，柔性远端部分103的端部103’的位置可以由临床医师通过在显示器104处提供的图像来确定。这样一来，设置在端部103’处的端部执行器可以用于在第二入口位置E2处的心脏(感兴趣区域ROI)的精确定位处制造切口。然后，临床医师还能够将柔性远端部分103的端部103’引导到要置换的主动脉瓣(目标T)的位置。然后可以置换瓣膜，再次，心脏的精确位置由控制单元106使用上述各种图像采集和配准方法来确定。

仅基于来自跟踪***120的数据，或者与来自第二图像采集设备114的数据相结合，处理器130能够通过对机器人101的柔性远端部分103的命令来补偿近端部分102的(例如，由临床医师震颤引起的)偶发移动，使得柔性远端部分103的实质上无效的移动能够抵消柔性远端部分103的端部103’处的震颤。在代表性实施例中，在位置补偿模式下，与柔性远端部分103相关的图像使用图像采集设备114来拍摄。如上所述，图像可以是X射线图像、锥形射束CT图像、超声图像或内窥镜图像。柔性远端部分103的形状和姿势、和/或在外科手术部位S内的配准由此被确定，并且可以示出在显示器104上。例如，相对于术前手术规划的外科手术工具的实时跟踪和涉及基于图像的配准和工具跟踪配准的术中图像在上文所引用的美国专利和专利申请公开中公开了。由于解剖结构在图像中是可见的，因此柔性远端部分103相对于解剖结构的相对位置也是已知的，并且柔性远端部分103能够用于使用由控制单元106计算的位置到达解剖目标T(在该范例中，要置换的瓣膜的位置)。

为了以上述方式在诸如活组织检查或心脏消融的流程的持续时间内将柔性远端部分103保持在相同位置中，控制单元106使用来自跟踪***120的跟踪信息连续更新来自跟踪***120，以及可能来自图像采集设备114的机器人101的近端部分102的位置。换言之，控制柔性远端部分103在患者P内部移动以补偿刚性近端部分102在患者P外部的运动。

在代表性实施例中，控制单元106可以响应于定义的入口位置、定义的第二部署路径DP2和解剖目标T而计算柔性远端部分103的关节(例如，关节142)的机器人101运动参数。这些参数可以使柔性远端部分103与心肌的定义的第二入口位置E2和规划的第二部署路径DP2对准。控制单元106可以响应于计算出的关节运动参数而产生控制命令，其将柔性远端部分103与规划的第二入口位置E2和第二部署路径DP2对准，并将机器人控制命令传递给机器人101。

处理器130可以使用硬件、软件和固件的组合来执行所描述的功能和操作。处理器130被配置为处理与外科手术部位S处或附近的刚性近端部分102和柔性远端部分103相关的诸如来自图像采集设备114的图像，以将柔性远端部分103与对应的解剖结构配准。如结合图2A和图2B所描述的，处理器130被配置为处理来自跟踪***120的机器人101的近端部分102的跟踪信息，以确定RCM周围的运动。处理器130还可以被配置为经由I/O电路108将图像发送至显示器104。

如能够从上述描述意识到的，通过图像采集设备114、跟踪***120、存储在存储器134/CRM 136中的各种数据和软件以及处理器130的动作的协调功能，控制单元106被配置为提供一个或多个控制命令，以控制与外科手术部位S处的外科手术机器人101的柔性远端部分103和目标T相关的实况和术前图像的采集和处理，并且使用与机器人101的近端部分102和/或柔性远端部分103相关的跟踪信息来相对于目标T进一步控制柔性远端部分103。在下文所描述的说明性范例中，还将描述代表性实施例的外科手术机器人***100的各种特征。应当注意，这些范例仅是说明性的，决不是旨在为限制。

图2A和图2B是根据代表性实施例图示操作在图1A中示出的外科手术机器人***中的机器人的细节的示意图。具体地，图2A图示了其中刚性近端部分102的RCM被定位于患者身体的表面处的机器人的操作，图2B图示了其中刚性近端部分102的RCM被定位于感兴趣区域ROI(例如，内部器官)的表面处的机器人的操作。

参考图2A，机器人101的刚性近端部分102通过第一入口位置E1(例如，外科手术端口)在控制单元106的控制下或者手动地***患者P中。刚性近端部分102的RCM被定位于患者身体的表面上的第一入口位置E1处，使得刚性近端部分102能够相对于患者身体的表面在各种角度(例如，A1和A2)中间枢转，从而将刚性近端部分102定位为适应通过柔性远端部分103对感兴趣区域ROI(例如，内部器官)中的目标T的接近。刚性近端部分102可以通过第二入口位置E2***感兴趣区域ROI中。一旦被***，柔性远端部分103被部署为接近目标T。

在实施例中，处理器(例如，图1A中的处理器130)从至少一个图像采集设备(例如，图像采集设备114)接收图像，至少部分地基于所接收的用于刚性近端部分102的图像生成第一部署路径(例如，第一部署路径DP1)，以从第一入口位置E1跟随到第二入口位置E2，并且提供用于控制器(例如，控制单元106)的指令，以沿着第一部署路径部署刚性近端部分102。处理器还至少部分基于针对柔性远端部分103的接收到的图像生成第二部署路径(例如，第二部署路径DP2)，以从第二入口位置E2跟随到目标T，并且提供用于控制器的指令，以从刚性近端部分102的端部沿着第二部署路径部署柔性远端部分103。

参考图2B，操作是类似的，除了刚性近端部分102围绕第二入口位置E2枢转，需要来自第一入口位置E1的更大的切口，以适应刚性近端部分102在患者身体的表面处的枢转移动。即，机器人101的刚性近端部分102通过第一入口位置E1在控制单元106的控制下或者手动地***患者P中。刚性近端部分102的RCM被定位于患者身体内的感兴趣区域ROI(例如，内部器官)的表面上的第二入口位置E2处，使得刚性近端部分102能够相对于感兴趣区域ROI的表面在各个角度(例如B1和B2)中间进行枢转，从而将刚性近端部分102定位为适应通过柔性远端部分103对感兴趣区域ROI中的目标T的接近。

如上所述，在实施例中，处理器(例如，处理器130)从至少一个图像采集设备(例如，图像采集设备114)接收图像，至少部分地基于针对刚性近端部分102的接受到的图像来生成第一部署路径，以从第一入口位置E1跟随到第二入口位置E2，并且提供用于控制器(例如，控制单元106)的指令，以沿着第一部署路径部署刚性近端部分102。处理器还至少部分地基于针对柔性远端部分103的接收到的图像生成第二部署路径以从第二入口位置E2跟随到目标T，并且提供用于控制器的指令，以从刚性近端部分102的端部沿着第二部署路径部署柔性远端部分103。

图3是根据代表性实施例的用于接近患者心脏的外科手术机器人***的透视视图，其中，外科手术机器人***用于主动脉瓣置换。主动脉瓣置换是实施外科手术机器人***101的范例，其可以用于其他类型的医学流程和外科手术而不脱离本教导的范围。

参考图3，外科手术机器人***301包括具有刚性近端部分102和柔性远端部分103的机器人101。在所描绘的实施例中，刚性近端部分102的RCM处于患者P的身体的表面处。刚性近端部分102例如通过控制器或手动操纵通过第一入口位置E1(例如，在两根肋骨之间做出初始切口)并且通过第二入口位置E2进入心脏301。柔性远端部分103通过刚性近端部分102部署，并且用于将假体瓣膜部署到心室305中。

外科手术机器人***301还包括图像采集设备314，图像采集设备314是具有图像探测器314-1和源314-2的C型臂成像***。图像采集设备314提供心脏310和机器人101的实况和/或术前图像。图像数据与来自跟踪***(例如，跟踪***120)的跟踪数据一起使处理器(例如，处理器130)能够确定并监测供刚性近端部分102从第一入口位置E1跟随到第二入口位置E2的部署路径，以及供柔性远端部分103从第二入口位置E2跟随到心室305(目标)的部署路径。在所描绘的实施例中，还包括具有探头311和换能器312的经食道超声心动图(TEE)探头310，以提供心脏301的实况成像。

图4是图示根据代表性实施例的可以由外科手术机器人***100执行的控制和引导的方法400的操作的流程图。为了在下面的描述中提供范例，将假设方法400由图1A中图示的外科手术机器人***100的版本执行，因此，在图4中描绘的操作的全部或部分可以通过处理器130执行或者在处理器130的控制下执行。但是，可以使用外科手术机器人***的其他实施例来实施所述方法，而不脱离本教导的范围。

在该实施例中，假设刚性近端部分102被配置为使得RCM被定位在到患者P的第一入口点E1处(例如，肋骨之间)。这种配置使对肋骨和胸部肌肉的损伤最小化，但在某种程度上将刚性近端部分102的运动限制为在部署柔性远端部分103之前被执行。在操作401中，确定刚性近端部分102(在患者身体上)的初始位置。刚性近端部分102例如由临床医师使用刚性近端部分的手动或主/从控制与初始位置对准，以通过第一入口点E1将刚性近端部分102定位在体腔中。

朝向外科手术部位S通过体腔推进刚性近端部分102。一旦刚性近端部分102在诸如X射线图像的由图像采集设备114提供的(一幅或多幅)图像中是可见的，使用任何方法(包括本文提供的配准方法)将刚性近端部分102配准到感兴趣区域ROI(例如，在该范例中，患者的心脏)。例如，在Popovic共同拥有的美国专利申请公开US2012/0294498(2012年11月22日)中公开了相对于术前外科手术规划的外科手术工具的实时跟踪以及涉及基于图像的配准和工具跟踪配准的术中图像，通过引用将其明确地并入本文。

在操作403中，生成用于刚性近端部分102的从RCM(例如，第一入口位置E1)到感兴趣区域ROI的入口点(例如，第二入口位置E2)的第一部署路径DP1。第一部署路径DP1可以由处理器130基于第一入口位置E1的已知位置和感兴趣区域ROI的边界的位置来生成，例如通过由图像采集设备114提供的图像。在实施例中，第一部署路径DP1可以由临床医师例如使用由处理器130和/或图像采集设备114提供的数据和/或图像来确定。

在操作404中，使用控制单元106控制下的自动部署，通过机器人101的操作，使刚性近端部分102沿着所确定的第一部署路径DP1移动，直到刚性近端部分102通过第二入口位置E2被推进到感兴趣区域ROI中。例如，可以生成第一引导信息，以沿着第一部署路径DP1定位刚性近端部分102。通常，引导信息包括机器人101到图像采集设备114的配准，并且可以对应于在患者P内所确定的部署路径以及将机器人操纵到坐标的命令提供诸如三维空间中的坐标的数据。备选地，临床医师可以例如使用来自图像采集设备114的实况图像手动沿着所确定的第一部署路径DP1移动刚性近端部分102。

在操作405中，柔性远端部分103通过刚性近端部分102部署到感兴趣区域ROI内。因为，在本范例中，柔性远端部分103被引入心脏中，所以在X射线和超声下是可见的。柔性远端部分103可以使用例如可从Philips Electronics获得的

配准到来自图像采集设备114的X射线，以及来自诸如上文讨论的TEE探头310的超声TEE探头(任选的)的超声波，以便提供心脏的近距离实况成像。

在操作406中，在感兴趣区域ROI内跟踪柔性远端部分的位置。在操作407中生成针对柔性远端部分103的从柔性远端部分103的跟踪位置到目标T(例如，心肌)的第二部署路径DP2。第二部署路径DP2可以由处理器130基于第二入口位置E2的已知位置和目标T的位置来生成，例如通过由图像采集设备114提供的图像。

在操作408中，柔性远端部分103的远端尖端沿着第二部署路径DP2移动到目标T。例如，可以为了定位柔性远端部分103沿着第二部署路径DP2生成第二引导信息，以便移动柔性远端部分103。在本范例中，可以在X射线和超声图像中的至少一个中检测心脏的主动脉瓣的瓣膜环，以生成第二部署路径DP2和/或第二引导信息，并且可以使用这样的实况图像来控制机器人101的柔性远端部分，以将柔性远端部分的远端尖端定位在环处或垂直于环。一旦到达位置，就部署治疗设备。如上所述，治疗设备可以包括球囊导管和通过心脏的左心室的假体瓣膜，并且使用推动器和套管推进球囊导管和安装在其上的假体瓣膜，以便将假体瓣膜适当地定位在主动脉环内。

在备选实施例中，刚性近端部分102被配置为使得RCM被定位在感兴趣区域ROI(例如，心脏)的第二入口位置E2处。在该实施例中，胸腔处的第一入口位置E1必须是较大的切口，以允许刚性近端部分102的小的运动。这使得一旦部署就能够重新定位柔性远端部分103。

部署操作与上文参考图4所讨论的实施例中的相同。然而，在本实施例中，添加最后的操作，以便于重新定位柔性远端部分103。例如，如果用于第二部署路径DP2的规划产生不可到达的路径，则机器人101的刚性近端部分102可以通过围绕到感兴趣区域ROI的第二入口位置E2进行枢转将柔性远端部分设备重新定位到可到达的位置。

在特定实施例中，方法400还可以包括将医学影像发送到显示器104。显示器布置在本文中广义地定义为在任何合适的技术下在结构上被配置用于显示图像和跟踪外科手术工具和其他端部执行器的任何设备。显示器的范例包括计算机监测器、电视屏幕、触摸屏、投影仪和头戴式显示器(HMD)。

本教导是朝向智能***和设备的技术发展的一部分。可能的应用包括具有术前CT、外科手术导航的实况视频的增强现实，尤其是在工作空间被遮挡查看的微创手术，以及发现解剖目标和肿瘤中。

鉴于本公开，应当注意，各种结构和部件可以以各种方式实施。此外，各种材料、结构和参数仅通过范例被包括，而不是以任何限制性意义。鉴于本公开，本领域技术人员能够在确定其自己的应用和实施这些应用所需的材料和设备中实施本教导，同时保持在权利要求的范围内。

Claims (21)

1.一种用于机器人***的控制单元，所述机器人***包括至少一个图像采集设备以及具有刚性近端部分和柔性远端部分的机器人，所述刚性近端部分具有远程运动中心（RCM），所述控制单元包括：

处理器，其被配置为：

接收来自所述至少一个图像采集设备的图像；

基于接收到的图像来生成到第一目标位置的第一部署路径；

基于所述接收到的图像来生成从所述第一目标位置到第二目标位置的第二部署路径；

生成第一引导信息，以沿着所述第一部署路径定位所述刚性近端部分；

生成第二引导信息，以沿着所述第二部署路径定位所述柔性远端部分；并且

将所述第一引导信息部署到所述刚性近端部分以将所述刚性近端部分引导到所述第一目标位置，并且将所述第二引导信息部署到所述柔性远端部分以将所述柔性远端部分引导到所述第二目标位置。

2.根据权利要求1所述的控制单元，其中，所述第一目标位置包括通向患者内的外科手术部位中的感兴趣区域的入口位置。

3.根据权利要求2所述的控制单元，其中，所述第二目标位置包括所述外科手术部位中的所述感兴趣区域内的目标。

4.根据权利要求3所述的控制单元，其中，所述感兴趣区域包括所述患者的内部器官，并且所述目标包括所述器官内的位置或者所述器官的部分。

5.根据权利要求3所述的控制单元，其中，所述远程运动中心被定位于所述患者的身体的入口位置处。

6.根据权利要求4所述的控制单元，其中，所述远程运动中心被定位于所述外科手术部位处的所述器官的所述入口位置处。

7.根据权利要求1所述的控制单元，其中，第一部署路径是线性的，并且所述第二部署路径是非线性的。

8.根据权利要求1所述的控制单元，其中，所述第一引导信息和所述第二引导信息包括所述机器人与所述至少一个图像采集设备的配准。

9.一种机器人***，包括：

机器人，其包括：

刚性近端部分，其具有远程运动中心（RCM）；和

柔性远端部分；

至少一个图像采集设备；以及

控制单元，其被配置为：

接收来自所述至少一个图像采集设备的图像；

基于所述图像来生成到第一目标位置的第一部署路径；

基于所述图像来生成从所述第一目标位置到第二目标位置的第二部署路径；

生成第一引导信息，以沿着所述第一部署路径定位所述刚性近端部分；并且

生成第二引导信息，以沿着所述第二部署路径定位所述柔性远端部分。

10.根据权利要求9所述的机器人***，其中，第一部署路径是线性的，并且所述第二部署路径是非线性的。

11.根据权利要求9所述的机器人***，其中，所述第一目标位置是患者的外科手术部位内的感兴趣区域的入口位置，并且所述第二目标位置是所述感兴趣区域内的目标的位置。

12.根据权利要求11所述的机器人***，其中，所述刚性近端部分的所述远程运动中心被定位于所述患者的身体的入口位置处。

13.根据权利要求11所述的机器人***，其中，所述远程运动中心被定位于所述感兴趣区域的所述入口位置处。

14.根据权利要求11所述的机器人***，其中，所述感兴趣区域是所述患者的心脏，并且所述目标是要利用假体瓣膜置换的主动脉瓣。

15.根据权利要求14所述的机器人***，其中，所述至少一个图像采集设备包括：

经食道超声心动图（TEE）探头，其具有探头和被定位为邻近所述心脏的换能器，以提供对所述心脏的实况成像；以及

C型臂，其包括用于对所述外科手术部位进行成像的X射线。

16.一种非暂态计算机可读存储介质，在其中存储有机器可读指令，所述机器可读指令被配置为由处理器运行以控制机器人***，所述机器人***具有控制单元、机器人和至少一个图像采集设备，所述机器人具有刚性近端部分和柔性远端部分，所述刚性近端部分具有远程运动中心（RCM），所述机器可读指令被配置为执行控制所述机器人的刚性近端部分和所述柔性远端部分以接近目标的方法，所述方法包括：

生成针对所述刚性近端部分通向患者的外科手术部位内的感兴趣区域的第一部署路径；

生成第一引导信息，以沿着所述第一部署路径定位所述刚性近端部分；

基于所述第一引导信息在所述第一部署路径上将所述刚性近端部分移动到所述感兴趣区域；

通过所述刚性近端部分来部署所述柔性远端部分；

跟踪所述感兴趣区域内的所述柔性远端部分的位置；

生成针对柔性远端部分通向所述目标的第二部署路径；

生成第二引导信息，以沿着所述第二部署路径定位所述柔性远端部分；并且

基于所述第二引导信息在所述第二部署路径上将所述柔性远端部分移动到所述目标。

17.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述方法还包括：

初始地确定所述刚性近端部分相对于所述患者的初始位置；并且

将所述刚性近端部分配准到所述患者的所述外科手术部位中的所述感兴趣区域，

其中，所述第一部署路径是基于所述刚性近端部分的所述配准来生成的。

18.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述第一部署路径是由处理器基于所述刚性近端部分进入所述患者的身体中的第一入口位置的已知位置和所述感兴趣区域的边界的已知位置来生成的，所述刚性近端部分进入所述患者的身体中的第一入口位置的所述已知位置和所述感兴趣区域的边界的所述已知位置基于由所述至少一个图像采集设备提供的图像。

19.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述第二部署路径是由所述处理器基于所述刚性近端部分进入所述感兴趣区域中的第二入口位置的已知位置和所述目标的已知位置来生成的，所述刚性近端部分进入所述感兴趣区域中的第二入口位置的所述已知位置和所述目标的所述已知位置基于由所述至少一个图像采集设备提供的图像。

20.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述方法还包括：

将由所述至少一个图像采集设备提供的所述图像发送到显示器。

21.根据权利要求16所述的非暂态计算机可读存储介质，其中，跟踪所述感兴趣区域内的所述柔性远端部分的所述位置包括以下中的至少一项：光学跟踪、机械跟踪、电磁跟踪***和形状感测跟踪。

Images