CN107624193A - 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和*** - Google Patents

Abstract

公开了一种用于语义分割腹腔镜和内窥镜2D/2.5D图像数据的方法和***。为图像中的每个像素提取集成了2D/2.5D腹腔镜或内窥镜图像的2D图像通道和2.5D深度通道的统计图像特征。然后使用经过训练的分类器来执行腹腔镜或内窥镜图像的语义分割，从而基于提取的统计图像特征，相对于目标器官的语义对象类对图像中的每个像素进行分类。可使用由腹腔镜或内窥镜图像序列的多个帧的语义分割生成的分割图像掩码来引导特定器官的帧的3D拼接以生成目标器官的3D模型。

Description

腹腔镜和内窥镜2D/2.5D图像数据中语义分割的方法和***

技术领域

本发明涉及腹腔镜或内窥镜图像数据中的解剖对象的语义分割，具体而言，涉及用2D/2.5D腹腔镜或内窥镜图像数据对目标解剖对象的3D模型进行分割。

背景技术

在微创外科手术过程中，采集的图像序列用于引导外科手术的腹腔镜或内窥镜图像。可采集多个2D图像并拼接在一起以生成用来观测器官的有用的3D模型。然而，由于照相机和器官运动的复杂性，精确的3D拼接很困难，因为这种3D拼接需要稳定地估计腹腔镜或内窥镜图像序列的连续帧之间的对应关系。

发明内容

本发明提供了一种用于术中图像，例如腹腔镜或内窥镜图像的语义分割的方法和***。本发明的实施例提供了术中图像序列的各个帧的语义分割，这允许对捕获的图像序列内解剖结构复杂运动的理解。这样的语义分割提供了结构特定的信息，该信息可用于改进通过拼接在一起的术中图像序列的帧而生成的目标解剖结构的精准3D模型。本发明的实施例利用由腹腔镜或内窥镜装置提供的通道的各种低级特征，例如2D外观和2.5深度信息来执行语义分割。

在本发明的一个实施例中，接收了包括2D图像通道和2.5D深度通道的术中图像。为术中图像中的多个像素的每一个像素从2D图像通道和2.5D深度通道中提取统计特征。使用经过训练的分类器基于为多个像素的每一个像素提取的统计特征，相关于目标器官的语义对象类来对术中图像中的多个像素的每一个像素进行分类。

在本发明的另一个实施例中，接收了术中图像序列的多个帧，其中每个帧是包括2D图像通道和2.5D深度通道的2D/2.5D图像。对术中图像序列的每个帧执行语义分割，相关于目标器官的语义对象类将每个帧的多个像素的每一个像素进行分类。通过使用在各个帧中的目标器官的语义对象类中分类的像素之间的对应关系，将多个帧的各个帧拼接在一起，生成目标解剖对象的3D模型。

通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域普通技术人员将是显而易见的。

附图说明

图1示出了根据本发明的实施例用于从2D/2.5D术中图像生成目标解剖对象的术中3D模型的方法；

图2示出了根据本发明的实施例执行2D/2.5D术中图像的语义分割的方法；

图3示出了肝脏的示例性扫描和由肝脏扫描生成的对应的2D/2.5D帧；

图4示出了肝脏的示例性腹腔镜图像；

图5示出了肝脏腹腔镜图像的语义分割的示例性结果；和

图6是能够实施本发明的计算机的高位框图。

具体实施方式

本发明涉及一种用于在腹腔镜和内窥镜图像数据中进行语义分割以及基于语义分割进行3D对象拼接的方法和***。本文描述了本发明的实施例以给出对语义分割和3D对象拼接的方法的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。本文中通常在识别和操作对象的方面对对象的数字表示进行描述。这样的操作是在计算机***的存储器或其他电路/硬件中实现的虚拟操作。相应地，应当理解可使用存储在计算机***内的数据在计算机***内执行本发明的实施例。

根据本发明的一个实施例，将2D腹腔镜或内窥镜图像的序列辅以2.5D图像日期(深度日期)作为输入，并且为图像域中的每个像素输出语义类的概率。然后可使用该分割语义信息来改进2D图像数据的拼接以生成一个或多个目标解剖对象的3D模型。由于2D腹腔镜或内窥镜图像中的相关图像区域的分割，可通过适应特定器官及其运动特征来改进拼接过程。本发明的实施例利用训练阶段，该训练阶段使用监督的机器学习概念来基于标记的训练数据训练分类器，并且利用测试阶段，在测试阶段中经过训练的分类器被应用于新输入的腹腔镜或内窥镜图像以执行语义分割。对于训练和测试，可使用有效的随机决策树分类器或任何其他机器学习技术来学习和分类一组提取的特征。这些强大的分类器固有地多类，并且可以在外科手术中为测试阶段提供实时功能。本发明的实施例可应用于具有与每个图像相关联的相应2.5D深度信息的2D术中图像，诸如腹腔镜或内窥镜图像。应当理解，术语“腹腔镜图像”和“内窥镜图像”在本文中可互换使用，并且术语“术中图像”是指在外科手术或干预期间采集的任何医学图像数据，包括腹腔镜图像和内窥镜图像。

图1示出了根据本发明的实施例用于从2D/2.5D术中图像生成目标解剖对象的术中3D模型的方法。图1的方法变换了表示患者解剖的术中图像数据，以执行术中图像数据的每个帧的语义分割并生成目标解剖对象的3D模型。图1的方法可应用于生成目标器官的术中3D模型，以引导在目标器官中进行的外科手术。在示例性实施例中，图1的方法可用于生成患者肝脏的术中3D模型，用于引导肝脏上的外科手术，例如肝脏切除术以从肝脏去除肿瘤或损伤。

参考图1，在步骤102，接收了术中图像序列的多个帧。例如，术中图像序列可以是通过腹腔镜采集的腹腔镜图像序列或经由内窥镜采集的内窥镜图像序列。根据有利的实施例，术中图像序列的每个帧是2D/2.5D图像。也就是说，术中图像序列的每个帧包括为多个像素的每一个像素提供典型的2D图像外观信息的2D图像通道和提供与在2D图像通道内的多个像素的每一个像素相对应的深度信息的2.5D深度通道。例如，术中图像序列的每个帧可包括RGB-D(红色，绿色，蓝色+深度)图像数据，该图像数据包括RGB图像，其中每个像素具有RGB值和深度图像(深度图)，其中每个像素的值对应于像素至图像采集装置的照相机(例如，腹腔镜或内窥镜)的深度或距离。用于采集术中图像的图像采集装置(例如，腹腔镜或内窥镜)可配备有照相机或摄像机以采集每个时间帧的RGB图像，以及深度传感器以采集每个时间帧的深度信息。可直接地从图像采集装置接收术中图像序列的帧。例如，在有利的实施例中，当由图像采集装置采集时，可实时地接收术中图像序列的帧。或者，可通过加载先前采集的存储在计算机***的存储器或贮存器上的术中图像来接收术中图像序列的帧。

根据本发明的实施例，可由使用图像采集装置(例如腹腔镜或内窥镜)执行目标器官的完全扫描的用户(例如，医生，技术人员等)采集术中图像序列的多个帧。在这种情况下，当图像采集装置连续地采集图像(帧)时，用户移动图像采集装置，使得术中的帧覆盖目标器官的完整表面。这可在外科手术的开始执行，以在当前的变形下获得目标器官的完整图像。

在步骤104，使用经过训练的分类器对术中图像序列的每个帧执行语义分割。特别的2D/2.5D术中图像的语义分割确定了图像域中每个像素的语义类的概率。例如，可确定图像帧中的每个像素是目标器官的像素的概率。基于从每个像素的2D图像外观信息和2.5D深度信息提取的统计图像特征，使用经过训练的分类器来执行语义分割。

图2示出了根据本发明的实施例执行2D/2.5D术中图像的语义分割的方法。图2的方法可以用于实现图1的步骤104。例如，在图1的步骤104中，可以对目标器官的完全扫描产生的术中图像序列的多个帧中的每一个帧独立地执行图2的方法。在有利的实施方式中，可在接收到术中图像的每个帧时，实时或接近实时地执行图2的方法。然而，图2的方法不仅限于这种用途，并且可应用于执行任何2D/2.5D术中图像的语义分割。

参考图2，在步骤202，接收了术中图像序列的当前帧。根据可能的实施方式，可以在外科手术期间从例如腹腔镜或内窥镜的图像采集装置实时地接收术中图像序列的当前帧。当前帧是包括2D图像通道和2.5D深度通道的2D/2.5D图像。例如，当前帧的RGB-D图像数据可包括RGB图像，其中每个像素具有RGB值，以及相应的深度图像，其中每个像素的值对应于距离图像采集装置的照相机的深度或距离。RGB图像中的像素和深度图像彼此对应，使得RGB值和深度值与当前帧中的每个像素相关联。如上面结合图2的步骤102所述，当前帧可以是在目标器官的完全扫描期间获得的术中图像序列的多个帧中的一个帧。图3示出了由肝脏扫描产生的肝脏和相应的2D/2.5D帧的示例性扫描。如图3所示，图像300示出了肝脏的示例性扫描，其中腹腔镜在多个位置302、304、306、308和310处定位并且获取了腹腔镜相关于肝脏312方位的每个位置和肝脏312的对应的腹腔镜图像(帧)。图像320示出了具有RGB通道322和深度通道324的腹腔镜图像序列。腹腔镜图像序列320的每个帧326、328和330分别包括RGB图像326a、328a和330a以及相应的深度图像326b、328b和330b。

返回到图2，在步骤204，从当前帧的2D图像通道和2.5D深度通道中提取了统计图像特征。本发明的实施例利用经过训练的分类器，例如随机森林分类器，学***均值和方差的统计，并且可以通过考虑通道来计算图像块中每对特征通道之间的协方差。具体而言，所涉及的通道之间的协方差提供了辨别力，例如在肝脏分割中，纹理和颜色之间的相关性有助于区分可见的肝脏段与周围的胃区域。深度信息计算的统计特征提供了与当前图像中的表面特征相关的附加信息。除了RGB图像的颜色通道和来自深度图像的深度数据之外，RGB图像和/或深度图像可由各种滤波器处理，并且滤波器响应也可被集成并用于计算附加的统计特征(例如，均值，方差，协方差)。例如，如导数滤波器、滤波器组的滤波器。例如，除了对纯RGB值进行操作之外，可以使用任何种类的滤波(例如，导数滤波器、滤波器组等)。可使用整体结构有效地计算并且并行化统计特征，例如使用图形处理单元(GPU)或通用GPU(GPGPU)的大规模并行架构，其能够允许为语义分割提供交互式响应时间，使得图2的方法可用于在外科手术期间采集术中图像时提供实时或接近实时的语义分割。以特定像素为中心的图像块的统计特征组成特征向量。每个像素的向量化特征描述符描述了以该像素为中心的图像块。

图4示出了肝脏的示例性腹腔镜图像。如图4所示，图像402和404是示出肝脏视觉外观的示例性腹腔镜图像。可以使用协方差特征来集成各种低级特征通道，例如RGB、滤波器响应和用于辨别力的深度信息。可以从围绕每个像素的图像块提取这些特征，并将其组织成每个像素的相应特征向量。

返回到图2，在步骤206，使用经过训练的分类器基于提取的统计图像特征来执行当前帧的语义分割。经过训练的分类器在基于注释的训练数据的离线训练阶段进行训练。由于像素级分类，训练数据的注释或标注可通过使用诸如鼠标或触摸屏等输入设备的用户输入的敲击来注释器官以快速完成。用于训练分类器的训练数据应包括来自不同采集和不同场景特征如不同视点、照明等的训练图像。上述统计图像特征是从训练图像中的各种图像块和特征向量中提取的为了用于训练分类器的图像块。在训练期间，向特征向量分配语义标签(例如，肝脏像素对背景)，并且用于训练基于机器学习的分类器。在有利的实施例中，基于训练数据训练随机决策树分类器，但是本发明不仅限于此，也可使用其他类型的分类器。经过训练的分类器被存储在例如计算机***的存储器或贮存器中，并且用于在线测试以对给定图像执行语义分割。

为了执行术中图像序列的当前帧的语义分割，对围绕当前帧的每个像素的图像块提取了特征向量，如上文在步骤204中所描述的。经过训练的分类器评估与每个像素相关联的特征向量并为每个像素计算每个语义对象类的概率。基于所计算的概率，也可将标签(例如，肝脏或背景)分配给每个像素。在一个实施例中，经过训练的分类器可以是仅具有目标器官或背景的两个对象类别的二进制分类器。例如，经过训练的分类器可以计算出每个像素是肝脏像素的概率，并且基于所计算的概率，将每个像素分类为肝脏或背景。在另一实施例中，经过训练的分类器可以是多类分类器，其针对与多个不同解剖结构和背景对应的多个类来计算每个像素的概率。例如，可以训练随机森林分类器将像素分割成胃、肝脏和背景。

图5示出了肝脏腹腔镜图像的语义分割的示例性结果。如图5所示，图像500是肝脏的腹腔镜图像，并且图像510示出了经过训练的分类器将腹腔镜图像500二进制分割成肝脏和背景的像素级响应。如图像510所示，图像中的每个像素被分类为肝脏512或背景514。

返回到图2，在步骤208，基于当前帧的语义分割生成了语义图。一旦使用经过训练的分类器计算每个语义类的概率，并且每个像素都用语义类标记，则可使用基于图表的方法来提炼针对RGB图像结构例如器官边界的像素标记，同时记录每个语义类的每个像素的置信度(概率)。基于图表的方法可基于条件随机域公式(CRF)，该公式使用为当前帧中的像素计算的概率和使用另一分割技术在当前帧中提取的器官边界来提炼当前帧的像素标记。生成了表示当前帧的语义分割的图表。该图表包括多个节点和连接节点的多个边缘。图的节点表示当前帧中的像素和每个语义类的相应置信度。边缘的权重是从对2.5D深度数据和2D RGB数据执行的边界提取过程导出的。基于图表的方法将节点组合成表示语义标签的组，并且找到节点的最佳分组，以最小化基于每个节点的语义类概率的能量函数，其用作为用于越过提取的器官边界的边缘连接节点的惩罚函数。这获得当前帧的提炼的语义图。参考图5，当图5的图像510示出了经过训练的分类器针对二进制肝脏分割问题的原始像素级响应时，图像520示出了使用像素级语义分割510基于图表的提炼生成的相对于主要器官边界的语义图。如图像520所示，语义图520相对于像素级语义分割510提炼了标记为肝脏522和背景524的像素。

除了用于3D拼接过程之外，包括由步骤208产生的语义图和/或由步骤206产生的像素级语义分割的语义分割结果可以这样输出，例如通过将语义分割结果显示在计算机***的显示装置上。如上所述，可以对于术中图像序列的多个帧重复图2的方法。在可能的实施方式中，在帧到帧运动相对较小的情况下，可使用关于图像内容的附加的先前信息来提炼和改进语义分割，例如使用在线学习和适应技术。

返回到图1，在步骤106，基于语义分割结果通过拼接术中图像序列的帧来生成目标器官的术中3D模型。一旦采集了与目标器官的完全扫描对应的术中图像序列的多个帧，并且对每个帧执行语义分割，则可使用语义分割结果来引导帧的3D拼接以生成目标器官的术中3D模型。3D拼接可通过基于不同帧中的对应关系将各个帧彼此对齐来执行。在有利的实施方式中，可使用语义分割的帧中的目标器官的像素的连接区域(例如，肝脏像素的连接区域)来估计帧之间的对应关系。相应地，可通过基于帧中的目标器官的语义分割连接区域将多个帧拼接在一起来生成目标器官的术中3D模型。每个考虑的对象类的概率可以在语义上添加到拼接的术中3D模型中，根据用于生成3D模型的拼接帧的语义分割结果将所述的概率映射到3D模型。在示例性实施方式中，概率图可用于通过为每个3D点分配类标签来对3D模型进行“着色”。这可通过快速查找使用从拼接过程已知的3D到2D投影来完成。然后可基于类标签将颜色分配给每个3D点。

在步骤108，输出了目标器官的术中3D模型。例如，可通过在计算机***的显示装置上显示目标器官的术中3D模型来输出目标器官的术中3D模型。

一旦生成了目标器官的术中3D模型，例如在外科手术开始时，可将目标器官的术前3D模型登记到目标器官的术中3D模型中。可根据诸如计算机断层扫描(CT)或磁共振成像(MRI)的成像模式生成术前3D模型，该成像模式与术中图像相比提供了额外的细节。目标器官的术前3D模型和目标器官的术中3D模型可通过计算刚性配准，然后进行非线性变形来登记。例如，在腹部吹入气体之前登记目标器官(例如肝脏)的3D术前模型的该登记过程是在目标器官因为手术过程中腹部吹入气体而被变形之后的、具有目标器官的术中3D模型的手术过程。在可能的实施方式中，可以在该登记过程中使用已被映射到术中3D模型的语义类概率。一旦目标器官的术前3D模型被登记到目标器官的术中3D模型中，则可将变形的术前3D模型覆盖在新采集的术中图像上(即，新采集的术中图像序列的帧)，以便向执行外科手术的用户提供指导。在本发明的有利实施例中，图2的方法可用于在外科手术中对每个新采集的术中图像执行语义分割，并且可以将每个术中图像的语义分割结果用于将变形的术前3D模型与当前的术中图像对齐，以便将术前3D模型的覆盖引导到当前的术中图像上。然后可以将重叠的图像显示给用户以引导外科手术。

上述用于语义分割和生成解剖对象的3D模型的方法可在使用知名的计算机处理器、存储器单元、贮存器设备、计算机软件和其他组件的计算机上实施。这种计算机的高级框图在图6中示出。计算机602包含处理器604，其通过执行定义这种操作的计算机程序指令来控制计算机602的整体操作。当期望执行计算机程序指令时，计算机程序指令可以存储在贮存器设备612(例如，磁盘)中并被加载到存储器610中。因此，图1和图2的方法的步骤可以由存储在存储器610和/或贮存器612中的计算机程序指令定义，并由处理器604执行计算机程序指令控制。诸如腹腔镜、内窥镜等图像采集装置620可以连接到计算机602以将图像数据输入到计算机602。图像采集装置620和计算机602可通过网络无线地通信。计算机602还包括用于经由网络与其他设备通信的一个或多个网络接口606。计算机602还包括使得用户能够与计算机602进行交互的其它输入/输出设备608(例如，显示器、键盘、鼠标、扬声器、按钮等)。这样的输入/输出设备608可与一组计算机程序结合使用，作为注释装置来注释从图像采集装置620接收的量。本领域技术人员将认识到，实际计算机的实施可包含其他组件以及图6是用于说明目的的这种计算机的一些组件的高级表示。

上述具体实施方式应被理解为在各方面都是说明性和示例性的而不是限制性的，并且本文公开的本发明的范围不是从详细描述中确定，而是从根据专利法允许的广度解释的权利要求来确定。应当理解，本文示出和描述的实施例仅仅是本发明的原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实施各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实施各种其他特征组合。

Claims (42)

1.一种用于术中图像的语义分割的方法，包括：

接收包括2D图像通道和2.5D深度通道的术中图像；

为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征；以及

使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于目标器官的语义对象类将所述术中图像中的所述多个像素的每一个像素进行分类。

2.根据权利要求1所述的方法，其中为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取所述统计特征包括：

为所述术中图像中的所述多个像素的每一个像素，从围绕像素的图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征。

3.根据权利要求2所述的方法，其中从围绕像素的所述图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征包括：

提取将所述2D图像通道和所述2.5D深度通道集成在围绕像素的所述图像块中的至少一个图像特征。

4.根据权利要求3所述的方法，其中提取将所述2D图像通道和所述2.5D深度通道集成在围绕像素的所述图像块中的至少一个图像特征包括：

提取围绕像素的所述图像块中的所述2D图像通道和所述2.5D深度通道之间的协方差。

5.根据权利要求2所述的方法，其中所述术中图像是包括RGB图像和相应的深度图像的RGB-D图像，并且从围绕像素的所述图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征包括：

计算将包括所述RGB图像的颜色通道和所述深度图像的深度数据的特征通道组集成在围绕像素的所述图像块中的统计特征。

6.根据权利要求5所述的方法，其中计算将包括所述RGB图像的颜色通道和所述深度图像的深度数据的特征通道组集成在围绕像素的所述图像块中的统计特征包括：

计算所述图像块中每个特征通道的相应平均值；以及

计算所述图像块中每对所述特征通道之间的协方差。

7.根据权利要求6所述的方法，其中所述特征通道组还包括使用一个或多个滤波器的所述RGB图像或所述深度图像中的至少一个的滤波器响应。

8.根据权利要求1所述的方法，其中使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，将所述术中图像中的所述多个像素的每一个像素关于目标器官的语义对象类进行分类包括：

使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，计算所述术中图像中的所述多个像素的每一个像素的所述目标器官的所述语义对象类的概率。

9.根据权利要求8所述的方法，其中使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，来计算所述术中图像中的所述多个像素的每一个像素的所述目标器官的所述语义对象类的概率包括：

为所述术中图像中的所述多个像素的每一个像素，使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，计算所述目标器官的所述语义对象类和一个或多个其他语义对象类的相应概率。

10.根据权利要求1所述的方法，其中所述经过训练的分类器是经过训练的随机森林分类器。

11.根据权利要求1所述的方法，还包括：

使用基于图表的方法，通过对所述术中图像中的多个像素的分类进行提炼，生成用于所述术中图像的提炼的语义图，其中所述基于图表的方法是基于由所述经过训练的分类器为所述术中图像的多个像素计算的所述目标器官的所述语义对象类的所述概率以及从所述术中图像提取的所述目标器官的主要器官边界。

12.根据权利要求1所述的方法，其中所述术中图像是腹腔镜图像或内窥镜图像中的其中一个。

13.根据权利要求1所述的方法，其中响应于在外科手术中获得所述术中图像，实时地执行以下步骤：接收术中图像、提取统计特征以及

对所述术中图像中的所述多个像素的每一个像素进行分类。

14.根据权利要求1所述的方法，其中所述目标器官是肝脏。

15.一种从术中图像序列生成目标器官的3D模型的方法，包括：

接收所述术中图像序列的多个帧，其中每个所述帧是包括2D图像通道和2D深度通道的2D/2.5D图像；

对所述术中图像序列的每个所述帧执行语义分割，以相对于所述目标器官的语义对象类对每个所述帧中的多个像素的每一个像素进行分类；以及

通过使用在各个帧中的所述目标器官的所述语义对象类中分类的像素之间的对应关系，将所述多个帧的各个帧拼接在一起，生成目标解剖对象的3D模型。

16.根据权利要求15所述的方法，其中所述术中图像序列是腹腔镜图像序列或内窥镜图像序列中的其中一个，并且所述多个帧对应于使用腹腔镜或内窥镜中其中一个对所述目标器官的扫描。

17.根据权利要求15所述的方法，其中对所述术中图像序列的每个所述帧执行语义分割，以相对于所述目标器官的语义对象类对每个所述帧中的多个像素的每一个像素进行分类包括：

针对所述术中图像序列中的所述多个帧中的每一个帧：

为所述帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征；以及

使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对所述帧中的所述多个像素的每一个像素进行分类。

18.根据权利要求17所述的方法，其中为所述帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征包括：

为所述帧中的所述多个像素的每一个像素，提取将来自所述2D图像通道的信息和来自所述2.5D深度通道的信息集成在围绕像素的图像块中的所述统计特征。

19.根据权利要求17所述的方法，其中使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对所述帧中的所述多个像素的每一个像素进行分类包括：

使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，计算所述帧中的所述多个像素的每一个像素的所述目标器官的所述语义对象类的概率。

20.根据权利要求17所述的方法，其中所述经过训练的分类器是经过训练的随机森林分类器。

21.根据权利要求17所述的方法，其中对所述术中图像序列的每个帧执行语义分割，以相关于所述目标器官的所述语义对象类对每个所述帧中的所述多个像素的每一个像素进行分类还包括：

使用基于图表的方法，对所述术中图像中的多个像素的分类进行提炼，所述基于图表的方法是基于由所述经过训练的分类器为所述术中图像的多个像素计算的所述目标器官的所述语义对象类的所述概率以及从所述术中图像提取的所述目标器官的主要器官边界。

22.根据权利要求15所述的方法，还包括：

借助生成的所述目标器官的3D模型登记所述目标器官的术前3D模型；

接收所述术中图像序列的新帧；以及

将所述目标器官的登记的所述术前3D模型覆盖在所述术中图像序列的所述新帧上。

23.根据权利要求22所述的方法，其中将所述目标器官的登记的所述术前3D模型覆盖在所述术中图像序列的所述新帧上包括：

对所述术中图像序列的所述新帧执行语义分割，以相关于所述目标器官的所述语义对象类对所述新帧中的多个像素的每一个像素进行分类；以及

基于在所述术中图像序列的所述新帧中的所述目标器官的所述语义对象类中分类的像素，将所述目标器官的登记的所述术前3D模型与所述术中图像序列的所述新帧对齐。

24.根据权利要求15所述的方法，其中所述目标器官是肝脏。

25.一种用于术中图像的语义分割的装置，包括：

用于接收包括2D图像通道和2.5D深度通道的术中图像的装置；

为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征的装置；以及

使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于目标器官的语义对象类对所述术中图像中的所述多个像素的每一个像素进行分类的装置。

26.根据权利要求25所述的装置，其中为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征的装置包括：

用于从围绕所述多个像素的每一个像素的相应图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征的装置。

27.根据权利要求26所述的装置，其中提取用于从围绕所述多个像素的每一个像素的相应图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征的装置包括：

用于提取在围绕所述多个像素的每一个像素的相应图像块中集成所述2D图像通道和所述2.5D深度通道的至少一个图像特征的装置。

28.根据权利要求25所述的装置，还包括：

基于由所述经过训练的分类器为所述术中图像的多个像素计算的所述目标器官的所述语义对象类的所述概率以及从所述术中图像提取的所述目标器官的主要器官边界，通过对所述术中图像中的多个像素的分类进行提炼，生成用于所述术中图像的提炼的语义图的装置。

29.一种用于从术中图像序列生成目标器官的3D模型的装置，包括：

用于接收术中图像序列的多个帧的装置，其中每个帧是包括2D图像通道和2D深度通道的2D/2.5D图像；

用于对所述术中图像序列的每个帧执行语义分割，以相关于所述目标器官的语义对象类对每个帧中的多个像素的每一个像素进行分类的装置；以及

用于通过使用在各个帧中的所述目标器官的所述语义对象类中分类的像素之间的对应关系，将多个帧的各个帧拼接在一起来生成目标解剖对象的3D模型的装置。

30.根据权利要求29所述的装置，其中用于对所述术中图像序列的每个帧执行语义分割，以相关于所述目标器官的语义对象类对每个帧中的多个像素的每一个像素进行分类的装置包括：

用于为每个帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道提取统计特征的装置；以及

用于使用经过训练的分类器基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对每个帧中的所述多个像素的每一个像素进行分类的装置。

31.根据权利要求30所述的装置，其中用于为所述帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道提取所述统计特征的装置包括：

用于提取在每个帧中围绕所述多个像素的每一个像素的相应图像块中集成来自所述2D图像通道的信息和来自所述2.5D深度通道的信息的所述统计特征的装置。

32.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储了用于术中图像的语义分割的计算机程序指令，所述计算机程序指令在由处理器执行时使所述处理器执行操作，所述操作包括：

接收包括2D图像通道和2.5D深度通道的术中图像；

为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道提取统计特征；以及

使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于目标器官的语义对象类对所述术中图像中的所述多个像素的每一个像素进行分类。

33.根据权利要求32所述的非暂时计算机可读介质，其中为所述术中图像中的多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取所述统计特征包括：

为所述术中图像中的所述多个像素的每一个像素，从围绕像素的图像块中的所述2D图像通道和所述2.5D深度通道提取所述统计特征。

34.根据权利要求33所述的非暂时性计算机可读介质，其中在围绕像素的所述图像块中从所述2D图像通道和所述2.5D深度通道提取所述统计特征包括：

提取围绕所述像素的所述图像块中的所述2D图像通道和所述2.5D深度通道集成的至少一个图像特征。

35.根据权利要求32所述的非暂时性计算机可读介质，其中使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对所述术中图像中的所述多个像素的每一个像素进行分类包括：

使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，计算所述术中图像中所述多个像素的每一个像素的所述目标器官的所述语义对象类的概率。

36.根据权利要求32所述的非暂时性计算机可读介质，还包括：

使用基于图表的方法，通过对所述术中图像中的所述多个像素的分类进行提炼，生成所述术中图像的提炼的语义图，所述基于图表的方法是基于由所述经过训练的分类器为所述术中图像中的所述多个像素计算的所述目标器官的所述语义对象类的概率和从所述术中图像提取的所述目标器官的主要器官边界。

37.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储了用于从术中图像序列生成目标器官的3D模型的计算机程序指令的，所述计算机程序指令在由处理器执行时使所述处理器执行操作，所述操作包括：

接收术中图像序列的多个帧，其中每个所述帧是包括2D图像通道和2D深度通道的2D/2.5D图像；

对所述术中图像序列的每个所述帧执行语义分割，以相关于目标器官的语义对象类对每个所述帧中的多个像素的每一个像素进行分类；以及

通过使用在各个帧中的所述目标器官的所述语义对象类分类的像素之间的对应关系，将所述多个帧的各个帧拼接在一起来生成目标解剖对象的3D模型。

38.根据权利要求37所述的非暂时性计算机可读介质，其中对所述术中图像序列的每个所述帧执行语义分割，以相关于所述目标器官的所述语义对象类对每个所述帧中的多个像素的每一个像素进行分类包括：

针对所述术中图像序列中的所述多个帧中的每一个帧：

为所述帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征；以及

使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对所述帧中的所述多个像素的每一个像素进行分类。

39.根据权利要求38所述的非暂时性计算机可读介质，其中为所述帧中的所述多个像素的每一个像素从所述2D图像通道和所述2.5D深度通道中提取统计特征包括：

为所述帧中的所述多个像素的每一个像素，提取将来自所述2D图像通道的信息和来自所述2.5D深度通道的信息集成在围绕像素的图像块中的所述统计特征。

40.根据权利要求38所述的非暂时性计算机可读介质，其中使用经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，相关于所述目标器官的所述语义对象类对所述帧中的所述多个像素的每一个像素进行分类包括：

使用所述经过训练的分类器，基于为所述多个像素的每一个像素提取的所述统计特征，计算所述帧中的所述多个像素的每一个像素的所述目标器官的所述语义对象类的概率。

41.根据权利要求37所述的非暂时性计算机可读介质，其中所述操作还包括：

借助生成的所述目标器官的3D模型登记所述目标器官的术前3D模型；

接收所述术中图像序列的新帧；以及

将所述目标器官的登记的所述术前3D模型覆盖在所述术中图像序列的所述新帧上。

42.根据权利要求41所述的非暂时性计算机可读介质，其中将所述目标器官的登记的所述术前3D模型覆盖在所述术中图像序列的所述新帧上包括：

对所述术中图像序列的所述新帧执行语义分割，以相关于所述目标器官的所述语义对象类对所述新帧中的多个像素的每一个像素进行分类；以及

基于在所述术中图像序列的所述新帧中的所述目标器官的所述语义对象类中分类的像素，将所述目标器官的登记的所述术前3D模型与所述术中图像序列的所述新帧对齐。