CN113781517A - 用于运动估计的***和方法 - Google Patents

用于运动估计的***和方法 Download PDF

Info

Publication number
CN113781517A
CN113781517A CN202111095261.2A CN202111095261A CN113781517A CN 113781517 A CN113781517 A CN 113781517A CN 202111095261 A CN202111095261 A CN 202111095261A CN 113781517 A CN113781517 A CN 113781517A
Authority
CN
China
Prior art keywords
image
motion
motion field
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111095261.2A
Other languages
English (en)
Inventor
孙善辉
余瀚超
陈潇
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN113781517A publication Critical patent/CN113781517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本文描述了与估计解剖结构的运动相关联的基于神经网络的***、方法和装置。运动估计可以使用与多个图像尺度相对应的特征金字塔和/或运动金字塔来执行。运动估计可以使用神经网络和参数来执行，参数经由涉及学生网络和教师网络的训练过程来学习，教师网络被预训练有应用渐进运动补偿的能力。

Description

用于运动估计的***和方法
技术领域
本申请涉及人体解剖结构运动估计领域。
背景技术
人体解剖结构的运动可以提供与结构健康有关的有价值的信息。例如，心脏运动可以用于计算心肌的受试者特定的肌肉应力，并且促进诸如心律失常、局部缺血、心肌病、瓣膜疾病等的多种心脏疾病的治疗。诸如人类心脏的解剖结构的时变运动可以使用基于深度学习或非基于深度学习的技术来估计，以分析在不同时间点记录的结构的图像(例如，如在视频中)并检测和/或跟踪从一个图像到下一个图像的变化。常规的运动估计技术可能需要大量的分割工作或注释努力，并且可能非常耗时。这些常规技术的准确度也可能低于期望，例如，当存在大参数空间要探索时或者当目标解剖结构周围的组织或器官与目标结构具有相似之处时。因此，非常期望改进常规的运动估计技术，以提高估计的准确度和/或减少完成估计任务所需的时间。
发明内容
本文描述了与运动估计相关联的基于神经网络的***、方法和装置。本文所述的运动估计设备可以包括一个或多个处理器，其被配置为接收或导出解剖结构的源图像和解剖结构的参考图像(例如，从心脏电影)，并且基于源图像和参考图像确定运动场，该运动场指示解剖结构在源图像与参考图像之间的运动。运动场可以使用对应于多个图像尺度(例如，多个图像分辨率)的特征金字塔(feature pyramid)和/或运动金字塔(motionpyramid)来确定。例如，在多个图像尺度中的每一个图像尺度下，一个或多个处理器可以(例如，独立地)从源图像生成特征的第一表征(representation)，从参考图像生成特征的第二表征，并且基于特征的第一表征和特征的第二表征来生成运动场。与多个图像尺度相关联的特征的相应第一表征和特征的相应第二表征可以形成特征金字塔，并且与多个图像尺度相关联的相应运动场可以形成运动金字塔。一个或多个处理器可使用特征金字塔确定初步运动场，然后基于运动金字塔细化或改善初步运动场。例如，一个或多个处理器可通过以下方式来细化或改善(refine)初步运动场：对与多个图像尺度相关联的相应运动场进行上采样，并且将相应上采样的运动场与初步运动场融合，以获得细化或改善的运动场。
运动估计设备可以被配置为使用一个或多个人工神经网络来确定本文所述的运动场。一个或多个人工神经网络的参数可以使用学生神经网络(例如，包括运动估计设备的人工神经网络的副本)经由训练过程来学习。训练过程可以由教师神经网络指导，该教师神经网络被预训练成具有在基于解剖结构的图像预测运动场时应用渐进运动补偿的能力。例如，可以对教师神经网络进行预训练，以基于源训练图像和参考训练图像来预测第一运动场，基于参考训练图像和使用源图像和第一运动场获得的扭曲图像来预测第二运动场，然后基于第一运动场和第二运动场来导出细化或改善的运动场。学生神经网络可以基于解剖结构的两个图像来预测运动场，并且至少部分地基于由学生神经网络预测的运动场与由教师神经网络预测的细化或改善的运动场之间的差异来调节学生神经网络的参数。为了进一步提高学生神经网络的性能，可以迭代地进行本文所述的训练过程，例如，通过使用经由预测的第一迭代获得的参数来指导预测的第二迭代。
附图说明
从以下结合附图通过示例的方式给出的描述中，可以获得本文所公开示例的更详细理解。
图1是例示了心脏运动估计和运动跟踪的示例的框图。
图2是例示了本文所述的示例运动估计***的框图。
图3是例示了用于学习参数的示例过程的框图，这些参数可以使图2的运动估计***能够应用渐进运动补偿。
图4是例示了用于训练神经网络的示例过程的流程图，该神经网络可以包括在图2的运动估计***中。
图5是例示了图2的运动估计***的示例部件的框图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。本文可以使用诸如人类心脏(例如，心肌)的一个或多个特定的人类解剖结构作为示例来描述实施例，但是应当注意，本文所公开的技术不限于示例解剖结构，并且也可以用于估计和/或跟踪其他解剖结构的运动。
图1是例示了心脏运动估计的示例的框图。运动估计可以基于诸如电影MRI的心脏的磁共振成像(MRI)视频来执行，该电影MRI包括在不同时间点(例如，沿着时间轴t的连续时间点)记录的心脏的多个图像。电影MRI可以描绘心脏收缩和舒张的一个或多个周期(例如，完整或部分周期)。例如，图1中的图像帧示出了从舒张开始到收缩然后回到舒张的心脏运动。由此可见，从电影MRI的第一图像帧102开始，心脏(例如心肌)在第一图像帧102与第二图像帧104之间的运动可以通过以下方式来估计：比较两个图像帧，并且识别在记录第一图像帧102的时间与记录第二图像帧104的时间之间发生的变化。然后，可以将第二图像帧104用作新的参考帧，并且可以对剩余帧(例如，帧106等)重复估计过程以获得心脏在完整心动周期内的运动信息。
可以使用各种技术来估计心肌在两个图像之间的运动。在示例中，运动估计***可以首先分割图像以识别图像中的心肌，然后将特征跟踪应用于分割结果(例如，二元分割掩模)以确定两个图像之间的差异。训练这种基于分割的运动估计***可能需要大量的有注释数据。并且由于心肌内部和/或外部的图像特征在分割过程期间(例如，在应用特征跟踪之前)可能被漏掉或丢失，所以运动估计的准确度可能受到影响。在其他示例中，运动估计***可以被配置为使用基于深度学习的模型和/或方法直接从图像(例如，基于图像特征)确定心肌的运动。由于可能难以获得心肌运动的金标准数据，因此可以以自监督的方式(例如，如以下更详细描述的)训练这种基于图像内容的运动估计***。
图2例示了可以被配置为基于解剖结构(例如，心肌)的图像来估计和/或跟踪解剖结构的运动的示例***200。如图所示，***200可接收或导出(例如，从心脏电影MRI)心肌的源图像202s和参考图像202r。源图像202s和参考图像202r可以在不同的时间点(例如，沿着时间轴的连续时间)捕获，并且可以描绘心肌在这些时间的相应状态。***200还可以包括诸如编码器204的特征提取部件，其被配置为接收源图像202s和参考图像202r，并且从图像中提取相应的视觉特征。编码器204可以包括卷积神经网络和/或全连接神经网络，各个神经网络包括多个层，诸如一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。编码器204可被训练为通过穿过包括在编码器204中的神经网络的层执行一系列卷积运算和下采样操作来分别从源图像202s和参考图像202r中提取特征。例如，编码器204的各个卷积层可以包括多个卷积核或过滤器(例如，具有3×3或5×5的核尺寸),其被配置为从源图像202s和参考图像202r提取特定特征。卷积运算之后可以是批归一化和/或非线性激活函数，并且可以通过一个或多个池化层对由卷积层提取的特征(例如，为一个或多个特征图或特征向量的形式)进行下采样(例如，使用2×2窗口以及2的步幅)，以按各种系数(例如，按系数2、4等)减少特征的冗余和/或尺寸。
编码器204可以在多个图像尺度(例如，对应于不同的图像分辨率、不同的抽象级别等)中的每一个图像尺度下从源图像202s和参考图像202r中提取特征。例如，多个图像尺度可以通过本文所述的下采样操作来获得。编码器204可以生成在多个图像尺度中的每一个图像尺度下从源图像202s和参考图像202r提取的特征的相应表征(例如，特征图或特征向量)。例如，在多个图像尺度中的每一个图像尺度下，编码器204可以生成从源图像202s提取的特征的第一表征(例如，第一特征图或特征向量)和从参考图像202r提取的特征的第二表征(例如，第二特征图或特征向量)。共同地，与多个图像尺度相关联的特征的相应第一表征和特征的相应第二表征可以形成特征金字塔206，其中特征金字塔的各个层对应于相应图像尺度并且包括在该图像尺度下从源图像202s和参考图像202r提取的特征的相应第一表征和第二表征。
***200还可以包括运动估计部件，诸如解码器208(例如，多尺度解码器)，其可以被配置为接收特征金字塔206，分析(例如，比较)与源图像202s和参考图像202r相关联的相应特征表征，并且预测指示解剖结构从源图像202s到参考图像202r的变化(例如，运动)的初始或初步运动场210(例如，流场)。解码器208可以包括卷积神经网络和/或全连接神经网络，各个神经网络包括多个层，诸如一个或多个卷积层、一个或多个非池化层和/或一个或多个全连接层。通过这些层，解码器208可以对特征金字塔206中包括的相应特征表征(例如，在由特征金字塔206表征的多个图像尺度下)执行一系列上采样操作和/或转置卷积(例如，反卷积)运算。例如，解码器208可以经由一个或多个非池化层(例如，基于由编码器204提供的池化索引)和一个或多个卷积层(例如，使用3×3或5×5转置卷积核和/或步幅2)对特征金字塔206中包括的特征表征进行上采样，以获得特征表征的上采样(例如，密集)版本(例如，特征表征可以被上采样到相同的尺寸)。解码器208然后可以串接上采样的特征表征，并基于串接的特征表征导出初始或初步运动场210。初始或初步运动场210可以包括指示源图像202s和参考图像202r之间的特征的差异或位移的向量场、向量网格、向量值函数等。
除了运动场210之外，***200还可被配置为例如基于为本文所述的多个图像尺度中的每一个图像尺度生成的特征表征来预测该图像尺度下的相应运动场。这些附加运动场可以使用解码器208来确定。比如，解码器208还可以被配置为在本文所述的多个图像尺度中的每一个图像尺度下，从特征金字塔206的对应层获得与该图像尺度相关联的源图像202s的特征的第一表征和参考图像202r的特征的第二表征，并且基于第一表征和第二表征来确定运动场。解码器208可以使用与本文所述的用于导出运动场210的类似技术来确定多个图像尺度中的每一个图像尺度下的运动场(例如，解码器208可以是多尺度解码器)。与多个图像尺度相关联的相应运动场可以彼此独立地确定(例如，可以在不依赖于第二图像尺度的运动场的情况下确定第一图像尺度的运动场)，由此确定的运动场可以形成运动金字塔212，其中，在运动金字塔212的各个层处的运动场可以指示解剖结构从源图像202s到参考图像202r在对应图像尺度下的变化(例如，运动)。
***200可被配置为使用运动金字塔212来细化或改善初始或初步运动场210。例如，***200可以包括融合部件214，并且解码器208可以对运动金字塔212的相应运动场(例如，对应于本文所述的多个图像尺度)进行上采样，并且将上采样的运动场提供给融合部件214。融合部件214可以包括一个或多个神经网络层，诸如一个或多个卷积层，并且可以被配置为将由解码器208提供的上采样的运动场与初始或初步运动场210融合，以获得指示解剖结构从源图像202s到参考图像202r的运动的细化或改善的运动场216。在示例中，融合操作可以通过确定上采样的运动场和初始运动场210的平均值并基于该平均值确定细化或改善的运动场216来执行。在示例中，融合操作可以通过以下方式来执行：(例如，在对运动金字塔中的运动场进行上采样之后)将相应的缩放因子应用到(例如，乘以)上采样的运动场(例如，以确保运动场彼此可比较)，和/或执行一个或多个卷积运算以改进融合的结果。在示例中，融合操作可以基于能量最小化来执行。
本文参考编码器204、解码器208和融合部件214描述了运动估计技术。然而，应当注意，所提出的运动估计技术不限于使用这些示例结构或部件，并且可以使用其他类型的神经网络和/或机器学习模型来实施，而不影响技术的效率和/或有效性。
***200(例如，***200的神经网络)可以被训练为以自监督(例如，无监督)的方式执行本文所述的运动估计任务。例如，***200的训练可以使用在源图像202s和参考图像202r中描绘的解剖结构(例如，心肌)的源图像和参考图像来进行。在训练期间，源训练图像可被下采样到不同尺度，以获得源训练图像的多个下采样版本218。类似地，参考训练图像可被下采样到相同的尺度，以获得参考训练图像的多个下采样版本220。***200可以使用初步神经网络参数(例如，与各种神经网络过滤器相关联的权重)来预测运动金字塔222(例如，类似于本文描述的运动金字塔212)。然后，可以利用预测的运动金字塔222对源训练图像的下采样版本218进行扭曲，以生成扭曲图像224，并且可以基于扭曲图像224与参考训练图像的下采样版本220之间的差异或损失226来调节***200的神经网络参数。例如，这种差异可以基于扭曲图像224与下采样的参考图像220之间的均方误差(MSE)来确定。在示例中，MSE可以与平滑度损失(例如，约束从源训练图像到参考训练图像的变化的预测的二阶平滑度损失)一起使用，并且如下例示的一个或多个(例如，所有)图像尺度的总损失Ltotal可以用于指导***200的神经网络参数的调节，其中，l可以表示包括在总损失确定中的各个图像尺度，并且λ可以表示在各个图像尺度下分配给平滑度损失的权重(例如，诸如胡贝尔(Huber)损失权重)。
Ltotal＝∑L(l) MSE+∑λL(l) smooth
本文所述的平滑度损失可能限制***200(例如，***200的神经网络)可以搜索最佳参数以适应解剖结构的宽范围的运动变化的空间。放松平滑度约束可以扩展***200的参数空间，但是扩展可能增加***200对诸如源图像和参考图像中的噪声和突然强度变化的干扰的灵敏度。考虑应对干扰，***200可以被配置为例如应用渐进运动补偿，以防止在解剖学上不切实际的预测，同时维持运动跟踪准确度(例如，即使在显著运动变化的情况下)。作为渐进运动补偿的示例，可基于多个小的中间预测来预测大运动。例如，给定解剖结构的源图像IA和参考图像IB，不是直接预测运动场FAB以指示解剖结构从源图像到参考图像的运动，而是可以预测一个或多个中间运动场FAC和FCB(例如，在相应的步骤1和步骤2中以满足平滑度约束)，然后将它们组合，以导出运动场FAB(例如，细化或改善的运动场)。为了例示，假设x0＝(x；y)是源图像IA中的像素，x2是参考图像IB中的对应像素。中间像素x1(例如，在扭曲的中间图像IC中)可以被导出为x1＝FAC(x0)+x0，并且像素x2可以被导出为x2＝FCB(x1)+x1。在后一个方程中，用x0代替x1，可以导出如下：FAB(x0)＝FAC(x0)+FCB(FAC(x0)+x0)前述导出基于前向扭曲(例如，使用FAB来扭曲源图像IA)。使用后向扭曲(例如，使用FAB来扭曲参考图像IB)可以实现相同的结果。进一步地，即使本文中描述了两步过程，也可以执行多于两个的中间运动场预测(例如，多于两个的中间预测步骤)以完成期望的运动补偿。
本文所述的渐进运动补偿技术可提高运动估计的准确度，但还可能导致增加的推断时间，例如，归因于预测过程中涉及的多个中间预测或多个步骤。***200(例如，***200的神经网络)可以学习参数(例如，学习预测模型)，以便实现期望的渐进运动补偿结果，而不实际执行多个中间预测。这些参数(例如，预测模型)可以经由训练过程(例如，机器学习过程)来获取，该训练过程利用预训练的教师神经网络来经由渐进运动补偿基于解剖结构的两个图像预测运动场。图3例示了这种过程300。
训练过程300可以至少使用学生神经网络302和教师神经网络304来进行。学生神经网络302可以包括与图2所示的***200的神经网络大致类似的部件和/或结构(例如，包括编码器204和/或解码器208)。例如，学生神经网络302可以包括神经网络306，其包括***200的编码器204的副本和解码器208的副本(例如，除了学生神经网络302尚未学习神经网络306的参数以便基于解剖结构的图像来预测运动场之外)。教师神经网络304可以被预训练，以基于解剖结构(例如，心肌)的图像经由渐进运动补偿来预测运动场。例如，教师神经网络304可以包括至少第一神经网络304a和第二神经网络304b，各个神经网络又可以包括编码器网络和解码器网络(例如，类似于***200的编码器204和解码器208)。在预训练期间，第一神经网络304a可以获取用于基于源训练图像和参考训练图像来预测第一运动场(例如，诸如本文所述的运动场FAC)的参数，并且第二神经网络304b可以获取用于基于由第一神经网络304a预测的第一运动场和使用源训练图像和第一运动场导出(例如，类似于本文所述的扭曲图像IC的导出)的扭曲图像来预测第二运动场(例如，诸如本文所述的运动场FCB)的参数。基于第一运动场和第二运动场，然后可以导出细化或改善的运动场，例如，类似于本文所述的运动场FAB的导出。
教师神经网络304(例如，其参数经由预训练获取)可以在训练过程300期间指导(例如，约束)学生神经网络302。例如，学生神经网络302和教师神经网络304都可以在训练过程300期间接收源训练图像310s和参考训练图像310r。基于源训练图像310s和参考训练图像310r，教师神经网络304可以经由第一神经网络304a(例如，使用在预训练期间获取的参数)预测第一运动场314。然后，教师神经网络304可以基于源训练图像310s和第一运动场314来导出扭曲图像316。使用扭曲图像316和参考训练图像310r作为输入，教师神经网络304然后可以经由第二神经网络304b(例如，使用在预训练期间获取的参数)预测第二运动场318。并且基于第一运动场314和第二运动场318，教师神经网络304可以确定细化或改善的运动场320，例如，如本文所述。
作为训练过程300的另一部分，学生神经网络302可以经由神经网络306(例如，使用可以从神经网络304a或304b的参数复制的或者从一个或多个概率分布采样的初始参数)基于源训练图像310s和参考训练图像310r来预测运动场334。学生神经网络302然后可以以自监督的方式调节其参数，例如，基于运动场334与由教师神经网络304确定的细化或改善的运动场320之间的差异。这种差异可以例如使用诸如Lflow＝||ft AB-fs AB||2的运动损失函数336来确定，其中，ft AB可以表示由教师神经网络304确定的细化或改善的运动场320，并且fs AB可以表示由学生神经网络302确定的运动场334。在示例中，学生神经网络302还可以在调节神经网络306的参数时考虑第二损失338(例如，LMSE)。该第二损失338可以例如基于参考训练图像310r与基于运动场334和源训练图像310s导出的扭曲图像340之间的差异(例如，MSE)来确定。在示例中，当调节神经网络306的参数以确保从源训练图像到参考训练图像的预测运动不超过特定阈值时，学生神经网络302还可以考虑平滑度损失Lsmooth(例如，二阶平滑度损失，并且未在图3中示出)。当考虑所有三种损失时，总损失可以表达如下：
Ltotal＝Lflow+μLMSE+γLsmooth
其中，μ和γ可以分别表示分配给MSE损失和平滑度损失的权重。
由此，通过教师神经网络304的指导和/或监督，学生神经网络302可以在训练过程300期间学习参数，这些参数可以使得学生神经网络(例如，并且由此本文所述的***200)能够获得教师神经网络304的渐进推断能力(例如，多步渐进运动补偿)。为了进一步改进学生神经网络的推断能力，在某些实施例中可以进行循环训练，在循环训练期间，当教师神经网络和学生神经网络(例如，运动场320和运动场336)的预测结果收敛时，可以将神经网络306的参数复制到教师神经网络304的神经网络304a和/或304b，或者可以由神经网络306替换教师神经网络304的神经网络304a和/或304b。这样，在进行新一轮教师-学生训练之前，学生神经网络可以扮演教师神经网络的角色，并且可以通过循环(例如，自学)学习过程来持续地改进学生神经网络302的性能。
估计的运动可以用于计算各种临床参数或指标。例如，估计的心脏运动可以用于确定沿着心肌的径向和/或周向的应力，并且对于其他解剖结构，解剖结构在特定方向上的运动可以类似地提供与解剖结构的健康状况有关的有价值的信息。因此，可以沿着某些方向评估运动估计中的误差，以更好地与临床关注对齐和/或促进验证、质量评价和神经网络训练(例如，可以包括方向误差作为训练损失的一部分)。使用心脏运动估计作为示例，可以在径向和/或周向上分解估计误差。比如，心肌区域的中心可以被确定为
Figure BDA0003268979470000101
心肌内的一个或多个点(例如，每个点)的径向可以被计算为d(xi)＝xi-xc并且被归一化到单位向量。xi处的端点误差向量ei可以被确定为
Figure BDA0003268979470000111
(例如，表示估计结果与金标准之间的差)，并且沿着如下所示的径向(εrr)和周向(εcc)分解。然后，可以使用至少一个误差来指导对本文所述的神经网络参数的调节。
ε(i) rr＝ei·d(xi)，并且ε(i) cc＝ei-ε(i) rr
本文所述的各个神经网络可以包括多个层，并且各个层可以对应于具有相应权重的多个过滤器(例如，核)。权重(例如，本文所述的参数)可以通过训练过程来学习，该训练过程包括：将来自一个或多个训练数据集的大量图像输入到神经网络，基于损失函数(诸如MSE、L1/L2范数、基于余量的损失等)计算预测结果与金标准(例如，预期结果)之间的差异或损失，以及更新分配给过滤器的权重，以最小化差异或损失(例如，基于损失函数的随机梯度下降)。
图4是可以在本文所述的神经网络的训练期间实施和执行的示例过程400的流程图。过程400可以由位于一个或多个位置的一个或多个计算机(例如，一个或多个处理器)的***执行。过程400可以在402处开始，并且在404处，***可以初始化神经网络的操作参数(例如，与神经网络的一个或多个层相关联的权重)。例如，***可以基于来自具有类似架构的另一神经网络的一个或多个概率分布或参数值的样本来初始化参数。在406处，***可以使用当前分配给层的参数值处理一个或多个训练图像。作为处理的结果，可以进行预测，并且在408处，***可以例如基于目标函数或损失函数以及函数的梯度下降来确定对当前参数值的更新。如本文所述，目标函数或损失函数可以被设计为使预测结果与预期结果(例如，金标准)之间的差异最小化。目标函数可以使用例如均方误差、L1和/或L2范数等来实现。在410处，***可以例如通过反向传播过程来更新神经网络参数的当前值。在412处，***可以确定是否满足一个或多个训练终止准则。例如，如果***已经完成预定次数的训练迭代，或者如果损失函数的值在两个训练迭代之间的变化低于预定阈值，则***可以确定训练终止准则被满足。如果在412处确定不满足训练终止准则，则***可以返回到406。如果在412处确定满足训练终止准则，则***可以在414处结束训练过程400。
本文所述的运动估计***(例如，图2中的***200)可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图5是例示了本文所述的示例运动估计***500的框图。如图所示，运动估计***500可以包括处理器(例如，一个或多个处理器)502，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。运动估计***500还可以包括通信电路504、存储器506、大容量储存装置508、输入装置510和/或通信链路512(例如，通信总线)，图5所示的一个或多个部件可以通过该通信链路交换信息。通信电路504可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器506可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被实行时，使得处理器502执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置508可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器502的操作。输入装置510可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收运动估计***500的用户输入。
应当注意，运动估计***500可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图5中仅示出了各个部件的一个实例，本领域技术人员也将理解，运动估计***500可以包括图中示出的一个或多个部件的多个实例。此外，尽管本文参考各种类型的神经网络、各种类型的层、和/或由某些类型的神经网络或层执行的各种任务来描述示例，但是这些参考仅出于例示性目的而作出，并且不旨在限制本公开的范围。另外，本文以特定顺序描绘和描述了示例运动估计***的操作。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。并且不是运动估计***能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由***执行。
为了说明的简单起见，示例***的操作在本文中以特定顺序描绘和描述。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，应当注意，不是***能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由***执行。
尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机***或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机***的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机***存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种包括一个或多个处理器的运动跟踪设备，其中，所述一个或多个处理器被配置为：
导出解剖结构的源图像和所述解剖结构的参考图像；
在多个图像尺度中的每一个图像尺度下，从所述源图像生成特征的第一表征，从所述参考图像生成特征的第二表征，并且基于所述特征的第一表征和所述特征的第二表征来生成运动场，所述运动场指示所述解剖结构从所述源图像到所述参考图像的变化，其中，与所述多个图像尺度相关联的所述特征的相应第一表征和所述特征的相应第二表征形成特征金字塔，并且与所述多个图像尺度相关联的所述相应运动场形成运动金字塔；
基于所述特征金字塔确定初步运动场；并且
基于所述运动金字塔细化或改善所述初步运动场，以获得细化或改善的运动场。
2.根据权利要求1所述的设备，其中，所述多个图像尺度对应于相应图像分辨率。
3.根据权利要求1所述的设备，其中，与所述多个图像尺度相关联的所述运动场彼此独立地确定。
4.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为基于所述运动金字塔细化或改善所述初步运动场包括：所述一个或多个处理器被配置为对与所述多个图像尺度相关联的所述相应运动场进行上采样，并且将所述相应上采样的运动场与所述初步运动场融合，以获得所述细化或改善的运动场。
5.根据权利要求4所述的设备，其中，所述一个或多个处理器被配置为基于所述运动金字塔细化或改善所述初步运动场还包括：所述一个或多个处理器被配置为在将所述上采样的运动场与所述初步运动场融合之前将相应的缩放因子应用到所述上采样的运动场。
6.根据权利要求1所述的设备，其中，与所述多个图像尺度中的每一个图像尺度相关联的所述运动场使用一个或多个人工神经网络来确定，并且其中，所述一个或多个人工神经网络的参数经由由教师神经网络指导的训练过程来学习，其中，所述教师神经网络被预训练为经由渐进运动补偿基于所述解剖结构的两个图像来生成运动场，其中，所述两个图像包括源训练图像和参考训练图像，并且其中，所述教师神经网络被预训练为经由渐进运动补偿来预测所述运动场包括：所述教师神经网络被预训练为：
基于所述源训练图像和所述参考训练图像来预测第一运动场；
基于所述参考训练图像和使用所述源图像和所述第一运动场获得的扭曲图像来预测第二运动场；并且
基于所述第一运动场和所述第二运动场生成细化或改善的运动场，其中，在所述训练过程期间，使用学生神经网络来学习所述一个或多个人工神经网络的参数，并且在所述训练过程期间，所述学生神经网络被配置为基于解剖结构的所述两个图像来预测运动场，并且至少部分地基于由所述学生神经网络预测的所述运动场与由所述教师神经网络生成的所述细化或改善的运动场之间的差异来调节所述参数。
7.根据权利要求6所述的设备，其中，所述训练过程包括预测的多个迭代，并且经由预测的第一迭代获得的所述参数用于指导预测的第二迭代。
8.根据权利要求6所述的设备，其中，所述解剖结构包括心肌，并且其中，在所述一个或多个人工神经网络的训练期间，运动估计误差被分解为沿着径向的第一误差和沿着周向的第二误差，并且所述一个或多个人工神经网络的所述参数基于所述第一误差或所述第二误差中的至少一个来调节。
9.一种用于跟踪解剖结构的运动的方法，所述方法包括：
接收解剖结构的源图像和所述解剖结构的参考图像；
在多个图像尺度中的每一个图像尺度下，从所述源图像生成特征的第一表征，从所述参考图像生成特征的第二表征，并且基于所述特征的第一表征和所述特征的第二表征来生成运动场，所述运动场指示所述解剖结构从所述源图像到所述参考图像的变化，其中，与所述多个图像尺度相关联的所述特征的相应第一表征和所述特征的相应第二表征形成特征金字塔，并且与所述多个图像尺度相关联的所述相应运动场形成运动金字塔；
基于所述特征金字塔确定初步运动场；以及
基于所述运动金字塔细化或改善所述初步运动场，以获得细化或改善的运动场。
10.一种用于训练一个或多个人工神经网络以预测解剖结构的运动的方法，所述方法包括：
训练教师神经网络，以基于所述解剖结构的源训练图像和所述解剖结构的参考训练图像来预测运动场，其中，在所述训练期间，所述教师神经网络被配置为：
基于所述源训练图像和所述参考训练图像来预测第一运动场；
基于所述源训练图像和所述第一运动场来获得扭曲图像；并且
基于所述源训练图像和所述扭曲图像来预测第二运动场；
使用所述一个或多个人工神经网络基于所述解剖结构的所述源训练图像和所述解剖结构的所述参考训练图像来预测运动场；以及
基于由所述人工神经网络预测的所述运动场与由所述教师神经网络预测的所述运动场之间的差异来调节所述一个或多个人工神经网络的参数。
CN202111095261.2A 2020-09-30 2021-09-17 用于运动估计的***和方法 Pending CN113781517A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/039,279 2020-09-30
US17/039,279 US11734837B2 (en) 2020-09-30 2020-09-30 Systems and methods for motion estimation

Publications (1)

Publication Number Publication Date
CN113781517A true CN113781517A (zh) 2021-12-10

Family

ID=78852011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095261.2A Pending CN113781517A (zh) 2020-09-30 2021-09-17 用于运动估计的***和方法

Country Status (2)

Country Link
US (1) US11734837B2 (zh)
CN (1) CN113781517A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581493A (zh) * 2022-03-04 2022-06-03 三星电子（中国）研发中心 双向光流估计方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422037A1 (en) * 2017-06-27 2019-01-02 Koninklijke Philips N.V. Method and device for determining a motion field from k-space data
CN112380392A (zh) * 2020-11-17 2021-02-19 北京百度网讯科技有限公司 用于分类视频的方法、装置、电子设备及可读存储介质
CN114612503A (zh) * 2022-05-13 2022-06-10 深圳市巨力方视觉技术有限公司 一种基于机器视觉的图像处理式运动监测***
FR3143800A1 (fr) * 2022-12-16 2024-06-21 Commissariat A L'energie Atomique Et Aux Energies Alternatives Méthode d’apprentissage non supervisé d’un modèle d’estimation de flux optique

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617425A (zh) * 2013-12-11 2014-03-05 西安邮电大学 用于监测极光活动的变化轨迹的生成方法
GB201400875D0 (en) * 2008-10-15 2014-03-05 Spinella Ip Holdings Inc Digital processing method and system for determination of optical flow
US20140071125A1 (en) * 2012-09-11 2014-03-13 The Johns Hopkins University Patient-Specific Segmentation, Analysis, and Modeling from 3-Dimensional Ultrasound Image Data
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测
US20200090345A1 (en) * 2018-09-14 2020-03-19 Siemens Healthcare Gmbh Method and System for Deep Motion Model Learning in Medical Images
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111386550A (zh) * 2017-11-15 2020-07-07 谷歌有限责任公司 图像深度和自我运动预测神经网络的无监督学习
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN111582483A (zh) * 2020-05-14 2020-08-25 哈尔滨工程大学 基于空间和通道联合注意力机制的无监督学习光流估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207491A1 (en) * 2004-03-17 2005-09-22 Bin Zhang Estimating motion trials in video image sequences
US7929729B2 (en) * 2007-04-02 2011-04-19 Industrial Technology Research Institute Image processing methods
JP5323795B2 (ja) * 2010-10-12 2013-10-23 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US10424069B2 (en) * 2017-04-07 2019-09-24 Nvidia Corporation System and method for optical flow estimation
US10986325B2 (en) * 2018-09-12 2021-04-20 Nvidia Corporation Scene flow estimation using shared features
WO2020150264A1 (en) * 2019-01-15 2020-07-23 Portland State University Feature pyramid warping for video frame interpolation
DE112020000369T5 (de) * 2019-03-16 2021-10-21 Nvidia Corporation Objekterfassung unter verwendung von verzerrten polygonen, die zur parkplatzerfassung geeignet ist
CN111340844B (zh) * 2020-02-24 2023-05-02 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法
KR102097738B1 (ko) * 2020-03-03 2020-04-06 주식회사 휴런 인공지능 기반 파킨슨 병 진단 장치 및 방법
CN114339260A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 图像处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201400875D0 (en) * 2008-10-15 2014-03-05 Spinella Ip Holdings Inc Digital processing method and system for determination of optical flow
US20140071125A1 (en) * 2012-09-11 2014-03-13 The Johns Hopkins University Patient-Specific Segmentation, Analysis, and Modeling from 3-Dimensional Ultrasound Image Data
CN103617425A (zh) * 2013-12-11 2014-03-05 西安邮电大学 用于监测极光活动的变化轨迹的生成方法
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测
CN111386550A (zh) * 2017-11-15 2020-07-07 谷歌有限责任公司 图像深度和自我运动预测神经网络的无监督学习
US20200090345A1 (en) * 2018-09-14 2020-03-19 Siemens Healthcare Gmbh Method and System for Deep Motion Model Learning in Medical Images
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN111582483A (zh) * 2020-05-14 2020-08-25 哈尔滨工程大学 基于空间和通道联合注意力机制的无监督学习光流估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. LIU ET AL.: "Learning by Analogy: Reliable Supervision From Transformations for Unsupervised Optical Flow Estimation", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 5 August 2020 (2020-08-05), pages 6488 - 6497 *
李帅等: "序列图像运动自适应V1—MT光流估计算法", 工程科学学报, vol. 39, no. 08, 31 August 2017 (2017-08-31), pages 1238 - 1243 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581493A (zh) * 2022-03-04 2022-06-03 三星电子（中国）研发中心 双向光流估计方法和装置

Also Published As

Publication number Publication date
US20220101537A1 (en) 2022-03-31
US11734837B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
US11393092B2 (en) Motion tracking and strain determination
CN113781517A (zh) 用于运动估计的***和方法
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
CN111557020A (zh) 基于完全卷积神经网络的心脏cta解剖结构分割***
CN110930416A (zh) 一种基于u型网络的mri图像***分割方法
CN114004817B (zh) 一种分割网络半监督训练方法、***、设备及存储介质
Zhu et al. Arbitrary scale super-resolution for medical images
EP3298579B1 (en) Visual data processing using energy networks
CN111667027B (zh) 多模态图像的分割模型训练方法、图像处理方法及装置
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
Mouches et al. Unifying brain age prediction and age-conditioned template generation with a deterministic autoencoder
CN113269754B (zh) 用于运动估计的神经网络***和方法
Ossenberg-Engels et al. Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
CN113888520A (zh) 用于生成牛眼图的***和方法
CN112990359A (zh) 一种影像数据处理方法、装置、计算机及存储介质
CN112734798B (zh) 神经网络的在线自适应***和方法
US12013452B2 (en) Multi-contrast MRI sampling and image reconstruction
Upendra et al. Motion extraction of the right ventricle from 4D cardiac cine MRI using a deep learning-based deformable registration framework
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
Arega et al. Using polynomial loss and uncertainty information for robust left atrial and scar quantification and segmentation
CN112419283A (zh) 估计厚度的神经网络及其方法
CN106504254B (zh) 一种基于空间混合模型的颅脑磁共振图像分割方法
US20230169659A1 (en) Image segmentation and tracking based on statistical shape model
US20230206428A1 (en) Tubular structure segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination