CN110738635A - 一种特征追踪方法及装置 - Google Patents

Abstract

本申请适用于医学成像技术领域，提供了一种特征追踪方法及装置，包括：获取待追踪的磁共振图像；将磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的磁共振图像，神经网络用于为输入的磁共振图像标记特征点。

Description

一种特征追踪方法及装置

技术领域

本申请属于医学影像技术领域，尤其涉及一种特征追踪方法及装置。

背景技术

随着磁共振成像技术的飞速发展，针对磁共振图像的特征追踪技术，成为心房的应变评估的重要手段。针对磁共振图像的特征追踪技术是指在磁共振图像中标记特征点，根据特征点的位置变化，获得心肌应变参数。进而基于心肌应变参数信息评估心烦房应变。

目前，在标记磁共振图像中的特征点时，一般采用人工标记法，由医护人员对心脏电影中的每一帧磁共振图像进行特征点标记。这种方法一般非常耗费人力和时间。尤其对于数据量较大的电影图像，容易造成医生视觉疲劳，导致标记出错。

发明内容

本申请实施例提供了一种特征追踪方法及装置，可以解决特征点标记的效率低，误差率高的问题。

第一方面，本申请实施例提供了一种特征追踪方法，包括：获取待追踪的磁共振图像；将磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的磁共振图像，神经网络用于为输入的磁共振图像标记特征点。

采用本申请提供的特征追踪方法，通过训练好的神经网络标记磁共振图像中指定的特征点，而无需通过人工标记。因此，节省了人力，提高了特征点标记的效率，并避免由于人工误差导致特征点标记出现误差的问题。

可选的，磁共振图像为心脏磁共振图像；特征点包括至少一个房室交界点和/或左心房后壁中点。

可选的，心脏磁共振图像为心脏电影中的图像，该方法还包括：当对心脏电影中的每一帧心脏磁共振图像完成特征点标记后，根据特征点在每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

第二方面，本申请提供一种特征追踪装置，包括：获取模块，用于获取待追踪的磁共振图像；标记模块，用于将获取模块获取的磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的磁共振图像，神经网络用于为输入的磁共振图像标记特征点。

可选的，磁共振图像为心脏磁共振图像；特征点包括至少一个房室交界点和/或左心房后壁中点。

可选的，心脏磁共振图像为心脏电影中的图像，特征追踪装置还包括：

处理模块，用于在标记模块对心脏电影中的每一帧心脏磁共振图像完成特征点标记后，根据特征点在每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

基于第一方面或第二方面，可选的，神经网络基于预设数据集训练所得，数据集包括预采集的多个磁共振图像和被人工标记了该特征点的多个磁共振图像。

示例性的，预采集到多个磁共振图像后，分别对每个磁共振图像进行人工标记特征点。然后在对该神经网络进行训练的过程中，将预采集的多个磁共振图像作为该神经网络的输入，将标记了特征点的该多个磁共振图像作为该神经网络的输出。

可选的，神经网络为残差密度网络(Residual Dense Network,RDN)。

基于该可选方式，通过利用RDN，能够能够融合不同深度的局部及全局的特征，使得整个网络的特征均得到有效的利用，从而提高磁共振图像中特征点标记的准确性。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一可选方式所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面的任一可选方式所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任一可选方式所述的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的特征追踪方法的流程示意图一；

图2是本申请一实施例提供的特征点提取流程示意图；

图3是本申请一实施例提供的RDN网络的处理流程图；

图4是本申请一实施例提供的特征追踪方法的流程示意图二；

图5是本申请另一实施例提供的特征追踪装置的结构示意图；

图6是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。例如，“A和/或B”是指单独存在“A”，或者单独存在“B”，或者同时存在“A和B”这三种可能。

还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请提供的特征追踪方法，通过利用神经网络实现对磁共振图像的特征点自动标记，以节省人力，提高特征点标记的效率和准确性。

下面结合具体实施例，对本申请提供的特征追踪方法进行示例性的说明。

参见图1，为本申请提供的一种特征追踪方法的一个实施例的流程图，该方法包括：

步骤S101，终端设备获取待追踪的磁共振图像。

步骤S102，终端设备将磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的磁共振图像。

其中，神经网络为经过训练后，能够标记磁共振图像中指定特征点的神经网络。

示例性的，磁共振图像为心脏电影中的心脏磁共振图像，指定特征点可以包括至少一个房室交界点和/或左心房后壁中点。例如，参见图2，训练好的神经网络用于标记心脏磁共振图像中的两个房室交界点和左心房后壁中点。将心脏磁共振图像输入到训练好的神经网络后，神经网络通过对心脏磁共振图像中的两个房室交界点和左心房后壁中点进行提取，从而输出标记了房室交界点1、房室交界点2以及左心房后壁中点的心脏磁共振图像。

在本申请中，使用的神经网络可以包括但不限于U型网络(U_Net)、生成性对抗网络(Generative Adversarial Networks，GAN)、RDN等神经网络中的任意一种。

可以利用预先建立的数据集，对选择搭建的神经网络进行训练，使得所搭建的神经网络具备标记指定特征点的功能。

其中，数据集可以包括预采集的多个磁共振图像和被人工标记了特征点的多个磁共振图像。既先采集一定数量的磁共振图像，然后对采集到的磁共振图像上的特征点分别进行人工标记，获取由采集到的磁共振图像和标记了特征点的磁共振图像构成的数据集。

将预采集的多个磁共振图像作为该神经网络的输入，将标记了特征点的该多个磁共振图像作为该神经网络的输出，在对该神经网络进行训练。其中，包括训练神经网络中涉及到的超参数，例如，学习率、优化器、损失函数等，使得神经网络的超参数达到最有效果。之后将训练好的神经网络配置在终端设备中，以供终端设备使用该训练好的神经网络标记磁共振图像中的特征点。

示例性的，以RDN为例，对上述步骤102进行示例性的说明。RDN能够融合不同深度的局部特征和全局的特征，使得整个神经网络中提取到的特征均得到有效的利用。其中，RDN包括浅层特征提取网络(Shallow feature extraction net，SFEnet)、n(n≥2)个残差密度模块(Residual Dense Block,RDB)、全局特征融合(Global feature fusion)、全局残差学习(Global residual learning)和深层特征提取五个部分。

参见图3，为终端设备使用训练好的RDN对心脏磁共振图像进行特征点标记的处理流程示意图。

将心脏磁共振图像输入RDN后，RDN首先通过浅层特征提取网络对心脏磁共振图像进行浅层的特征提取。其中，浅层特征提取网络包括两个三维(3D)卷积层(如图3所示Conv表示)。假设第一层3D卷积层对心脏磁共振图像进行卷积操作后，提取的浅层特征为特征a。第二层3D卷积层对特征a进行卷积操作后，提取的浅层特征为特征b。

其次，将特征b输入到n个RDB中进行局部特征融合。其中，n个RDB中的每个RDB包括多层3D卷积层、连接(concatenate)层(如图3所示concat)、1*1*1的3D卷积层和一个残差链接。以RDB1的处理流程为例，假设RDB1包括3层3D卷积层。特征b输入到第一层3D卷积层计算后，输出特征c11；特征b和特征c11输入到第二层3D卷积层计算后，提取特征c12；特征b、特征c11、特征c12输入到第三层3D卷积层计算后，提取特征c13。然后通过连接层将特征b、特征c11、特征c12和特征c13连接，输入到1*1*1的3D卷积层中计算，完成三层3D卷积层的特征融合，得到融合后的特征c14。最后，将RDB1的输入特征b和融合结果特征c14经过残差连接的相加处理，得到特征c1，特征c1为RDB1输出的局部特征融合结果。与RDB1的处理流程类似，特征c1输入到RDB2中处理后，RDB2输出的局部特征融合结果为特征c2。以此类推，RDBn输出的局部特征融合结果为特征cn。

接下来，对n个RDB输出的局部特征融合结果(包括特征c1、特征c2、……特征cn)进行全局特征融合。即如图3所示，将特征c1、特征c2、……特征cn通过连接层连接，输入到1*1*1的3D卷积层中计算，完成n个RDB输出的融合，得到全局融合结果特征d。

下一步，对特征d进行全局残差学习。即将特征d输入到一个3D卷积层中计算，得到特征e。然后将特征a与特征e经过残差连接的相加处理，完成全局残差学习，得到特征f。

最后，对特征f进行深层特征提取，得到标记有房室交界点1、房室交界点2以及左心房后壁中点的心脏磁共振图像。将特征f输入到放大卷积(upscale)层，将特征f放大，得到特征g。然后将特征g输入到一个3D卷积层计算，得到标记有房室交界点1、房室交界点2以及左心房后壁中点的心脏磁共振图像。

在一个实施例中，当磁共振图像为心脏电影中的心脏磁共振图像，基于同样的方式，终端设备利用训练好的神经网络对心脏电影中的每一帧心脏磁共振图像进行特征点标记。基于图1，如图4所示，该方法还包括：

步骤S103，当终端设备对心脏电影中的每一帧心脏磁共振图像完成特征点标记后，根据特征点在每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

示例性，终端设备可以根据特征点在每一帧心脏磁共振图中的位置提取特征点在心脏电影中的运动轨迹，例如，计算特征点在相邻帧的心脏磁共振图的位置的距离。然后，利用特征点在心脏电影中的运动轨迹计算心肌应变参数信息。

其中，心肌应变参数信息可以为心肌的整体心肌参数和/或局部的心肌参数。例如，心肌应变参数信息可以包括不同方向(周向、径向和/或纵向)的应力、应力随时间的变化曲线和/或应变率。

采用本申请提供的特征追踪方法，一方面，能够通过训练好的神经网络，自动且快速的标记磁共振图像中指定的特征点，无需使用人工标记，提高了特征点提取的效率和准确率。

另一方面，由于磁共振图像中的特征点能够实时且迅速标记磁共振图像的特征点，因此可以基于特征点的位置，能够实现心肌应变参数信息的实时获取。

对应于上文实施例所述的特征追踪方法，图5示出了本申请实施例提供的特征追踪装置的结构框图，为了便于说明，图5仅示出了与本申请实施例相关的部分。

参照图5，该特征追踪装置50包括：

获取模块501，用于获取待追踪的磁共振图像.

标记模块502，用于将获取模块501获取的磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的磁共振图像，神经网络用于为输入的磁共振图像标记特征点。

可选的，磁共振图像为心脏磁共振图像；特征点包括至少一个房室交界点和/或左心房后壁中点。

可选的，心脏磁共振图像为心脏电影中的图像，特征追踪装置50还包括：

处理模块503，用于在标记模块502对心脏电影中的每一帧心脏磁共振图像完成特征点标记后，根据特征点在每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

该特征追踪装置50可以为上述实施例中执行本申请提供的特征追踪方法的终端设备、该终端设备中的芯片或者集成在该终端设备中的功能模块。

需要说明的是，该特征追踪装置50中的各个模块的执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见上述方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述特征追踪装置50的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备60，该终端设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，还可以是磁共振成像***中的控制台。参见图6，该终端设备60包括：至少一个处理器601以及存储器602、。至少一个处理器601通过总线603与存储器602相连。存储器602存储有可在该至少一个处理器601上运行的计算机程序604，处理器601执行计算机程序604时实现上述任意各个方法实施例中的步骤。本领域技术人员可以理解，图6仅仅是终端设备60的举例，并不构成对终端设备60的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接口等。

其中，处理器601可以是中央处理单元(Central Processing Unit，CPU)，该处理器601还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器602在一些实施例中可以是终端设备60的内部存储单元，例如终端设备60的硬盘或内存。存储器602在另一些实施例中也可以是终端设备60的外部存储设备，例如终端设备60上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器602还可以既包括终端设备60的内部存储单元也包括外部存储设备。存储器602用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序604的程序代码等。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种特征追踪方法，其特征在于，所述方法包括：

获取待追踪的磁共振图像；

将所述磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的所述磁共振图像，所述神经网络用于为输入的磁共振图像标记所述特征点。

2.根据权利要求1所述的特征追踪方法，其特征在于，所述磁共振图像为心脏磁共振图像；

所述特征点包括至少一个房室交界点和/或左心房后壁中点。

3.根据权利要求2所述的特征追踪方法，其特征在于，所述心脏磁共振图像为心脏电影中的图像，所述方法还包括：

当对所述心脏电影中的每一帧心脏磁共振图像完成所述特征点标记后，根据所述特征点在所述每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

4.根据权利要求1-3任一项所述的特征追踪方法，其特征在于，所述神经网络基于预设数据集训练所得，所述数据集包括预采集的多个磁共振图像和被人工标记了所述特征点的所述多个磁共振图像。

5.根据权利要求1-3所述的方法，其特征在于，所述神经网络为残差密度网络RDN。

6.一种特征追踪装置，其特征在于，包括：

获取模块，用于获取待追踪的磁共振图像；

标记模块，用于将所述获取模块获取的所述磁共振图像输入到训练好的神经网络中处理，得到标记有预设特征点的所述磁共振图像，所述神经网络用于为输入的磁共振图像标记所述特征点。

7.根据权利权利要求6所述的特征追踪装置，其特征在于，所述磁共振图像为心脏磁共振图像；

所述特征点包括至少一个房室交界点和/或左心房后壁中点。

8.根据权利要求7所述的特征追踪装置，其特征在于，所述心脏磁共振图像为心脏电影中的图像，所述特征追踪装置还包括：

处理模块，用于在所述标记模块对所述心脏电影中的每一帧心脏磁共振图像完成所述特征点标记后，根据所述特征点在所述每一帧心脏磁共振图中的位置，确定心肌应变参数信息。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。

Images