CN113034642A - 图像重建方法及装置、图像重建模型的训练方法及装置 - Google Patents

图像重建方法及装置、图像重建模型的训练方法及装置 Download PDF

Info

Publication number
CN113034642A
CN113034642A CN202110341995.8A CN202110341995A CN113034642A CN 113034642 A CN113034642 A CN 113034642A CN 202110341995 A CN202110341995 A CN 202110341995A CN 113034642 A CN113034642 A CN 113034642A
Authority
CN
China
Prior art keywords
images
image
sequence
image sequence
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110341995.8A
Other languages
English (en)
Other versions
CN113034642B (zh
Inventor
于朋鑫
孙晶华
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110341995.8A priority Critical patent/CN113034642B/zh
Publication of CN113034642A publication Critical patent/CN113034642A/zh
Application granted granted Critical
Publication of CN113034642B publication Critical patent/CN113034642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像重建方法及装置、图像重建模型的训练方法及装置，该图像重建方法包括：基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；基于第一影像序列和第二影像序列确定薄层影像序列。本申请的技术方案能够重建高分辨率和高精确度的薄层影像序列。

Description

图像重建方法及装置、图像重建模型的训练方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像重建方法及装置、图像重建模型的训练方法及装置。
背景技术
计算机断层扫描摄影(Computed Tomography，CT)技术具有无创、高对比度、高分辨率以及多平面(如冠状面、矢状面)等特性，因而在医学领域具有广泛的应用，例如，医学诊断、图像引导手术以及放射治疗等等。
相较于厚层CT图像，薄层CT图像因具有较小的层间距，所以具有较高的空间分辨率。即，薄层CT图像中包含更多信息。基于薄层CT图像可以实现更精确的诊断。但是，薄层CT图像的数据量巨大，对于数据的传输、存储都造成了很大的挑战。
因此，亟待提供一种可以方便获取薄层CT图像的方法。
发明内容
有鉴于此，本申请实施例提供了一种图像重建方法及装置、图像重建模型的训练方法及装置，能够重建高分辨率和高精确度的薄层影像序列。
第一方面，本申请的实施例提供了一种图像重建方法，包括：基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；基于第一影像序列和第二影像序列确定薄层影像序列。
在本申请某些实施例中，基于第一影像序列和第二影像序列确定薄层影像序列，包括：去除位于第一影像序列外侧的第二图像，以获得调整后的第二影像序列；基于第一影像序列和调整后的第二影像序列确定薄层影像序列。
在本申请某些实施例中，基于厚层影像序列确定第一影像序列，包括：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像，其中，基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：对多个第一图像进行特征得取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像。
在本申请某些实施例中，该图像重建方法还包括：基于第二影像序列确定第三影像序列，其中，第三影像序列包括多个第三图像，第一图像对应多个第三图像中的两个第三图像，两个第三图像位于第一图像的两侧，并且分别位于两个第二图像远离第一图像的一侧，其中，基于第一影像序列和第二影像序列确定薄层影像序列，包括：基于第一影像序列、第二影像序列和第三影像序列确定薄层影像序列。
在本申请某些实施例中，基于厚层影像序列确定第一影像序列，包括：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像，其中，基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：对多个第一图像进行特征提取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像，其中，基于第二影像序列确定第三影像序列，包括：对多个第二图像进行特征提取，得到多个第二图像的第三特征图；结合多个原始图像的第一特征图、多个第一图像的第二特征图和多个第二图像的第三特征图，得到第二拼接特征图；对第二拼接特征进行图像重建，得到多个第三图像。
在本申请某些实施例中，基于第一影像序列、第二影像序列和第三影像序列确定薄层影像序列，包括：去除位于第一影像序列外侧的第二图像和第三图像，以获得调整后的第二影像序列和调整后的第三影像序列；基于第一影像序列、调整后的第二影像序列和调整后的第三影像序列确定薄层影像序列。
第二方面，本申请的实施例提供了一种图像重建模型的训练方法，包括：基于样本厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于样本厚层影像序列，样本厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；基于第一影像序列和第二影像序列确定预测薄层影像序列；基于预测薄层影像序列确定第一内容特征图；基于所述第一内容特征图确定损失函数；基于损失函数调整深度学习模型的参数，以获得图像重建模型。
在本申请某些实施例中，基于第一内容特征图确定损失函数，包括：确定第一内容特征图上第一位置与第二位置的第一相似度；基于第一相似度确定损失函数。
在本申请某些实施例中，该图像重建模型的训练方法，还包括：确定第一内容特征图上第一位置与第三位置的第二相似度，其中，基于第一相似度确定损失函数，包括：基于第一相似度和第二相似度的差确定损失函数。
在本申请某些实施例中，该图像重建模型的训练方法还包括：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度，其中，基于第一相似度和第二相似度的差确定损失函数，包括：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
第三方面，本申请的实施例提供了一种图像重建模型的训练方法，包括：将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列；基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度；基于第一相似度确定损失函数；基于损失函数调整深度学习模型的参数，以获得图像重建模型。
第四方面，本申请的实施例提供了一种图像重建装置，包括：第一确定模块，用于基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；第二确定模块，用于基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；第三确定模块，用于基于第一影像序列和第二影像序列确定薄层影像序列。
第五方面，本申请的实施例提供了一种图像重建模型的训练装置，包括：第一确定模块，用于基于样本厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于样本厚层影像序列，样本厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；第二确定模块，用于基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；第三确定模块，用于基于第一影像序列和第二影像序列确定预测薄层影像序列；第四确定模块，用于基于预测薄层影像序列确定第一内容特征图；第五确定模块，用于基于第一内容特征图确定损失函数；调整模块，用于基于损失函数调整深度学习模型的参数，以获得图像重建模型。
第六方面，本申请的实施例提供了一种图像重建模型的训练装置，包括：输入模块，用于将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列；第一确定模块，用于基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度；第二确定模块，用于基于第一相似度确定损失函数；调整模块，用于基于损失函数调整深度学习模型的参数，以获得图像重建模型。
第七方面，本申请的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述的图像重建方法或图像重建模型的训练方法。
第八方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述的图像重建方法或图像重建模型的训练方法。
本申请实施例提供了一种图像重建方法及装置、图像重建模型的训练方法及装置，通过基于厚层影像序列的多个原始图像获取高信噪比的多个第一图像以构成第一影像序列，并基于多个第一图像获取多个第二图像以构成第二影像序列，进而基于第一影像序列和第二影像序列可以获得高分辨率的薄层影像序列。此外，本申请实施例通过获取与原始图像空间位置一一对应的第一图像，并通过由近到远的方式基于任一第一图像获取该第一图像两侧的第二图像，这样，可以更好地利用厚层影像序列内部的空间一致性和连续性，从而可以重建高分辨率和高精确度的薄层影像序列。
附图说明
图1所示为本申请实施例提供的一种实施环境的示意图。
图2所示为本申请一示例性实施例提供的图像重建方法的流程示意图。
图3所示为本申请另一示例性实施例提供的图像重建方法的流程示意图。
图4a所示为本申请一示例性实施例提供的图像重建模型的网络结构示意图。
图4b所示为本申请一示例性实施例提供的重建的薄层影像序列中相邻两个Match层之间的结构示意图。
图5所示为本申请一示例性实施例提供的图像重建模型的训练方法的流程示意图。
图6所示为本申请另一示例性实施例提供的图像重建模型的训练方法的流程示意图。
图7所示为本申请另一示例性实施例提供的图像重建模型的训练方法的流程示意图。
图8所示为本申请一示例性实施例提供的图像重建装置的结构示意图。
图9所示为本申请一示例性实施例提供的图像重建模型的训练装置的结构示意图。
图10所示为本申请另一示例性实施例提供的图像重建模型的训练装置的结构示意图。
图11所示为本申请一示例性实施例提供的用于执行图像重建方法或图像重建模型的训练方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
由于薄层CT图像具有高分辨率的特点，因此其适用于小尺寸病灶的观察。越薄的CT图像可以观察到的病灶尺寸越小。但是由于薄层CT图像需要占用大量的存储空间，因此在实际使用中，往往使用薄层CT图像用于临床诊断，而使用厚层CT图像进行患者数据的长期存储。
然而，厚层CT图像的缺点很明显，即层间与层内分辨率具有显著差异。厚层CT扫描的层内分辨率通常在1mm左右，但厚层CT的层厚可以达到5-10mm。这意味着厚层CT图像中的每个体素是各向异性的，并且差距很大。这对于基于感兴趣区域进行分析的任务十分不利，也会极大地影响医学图像三维重建的效果。
本申请实施例提供了一种图像重建方法及装置，可以基于厚层CT图像生成薄层CT图像，从而综合利用两者的优势。
示例性***
图1所示为本申请实施例提供的一种实施环境的示意图。该实施环境包括计算机设备110以及CT扫描仪120。
CT扫描仪120用于对人体组织进行扫描，得到人体组织的CT图像。计算机设备110可以从CT扫描仪120处获取厚层CT图像。计算机设备110可以对厚层CT图像进行特征提取，并基于提取的特征生成薄层CT图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。本申请实施例对计算机设备110的数量和设备类型不加以限定。
在一些实施例中，计算机设备110可以是服务器，即CT扫描仪120直接与服务器通信连接。
在另一些实施例中，计算机设备110可以分别与CT扫描仪120以及服务器通信连接，并将从CT扫描仪120获取的厚层CT图像发送至服务器，以便服务器基于该厚层CT图像执行图像重建方法。
示例性方法
图2所示为本申请一示例性实施例提供的图像重建方法的流程示意图。图2的方法可由电子设备，例如，由图1的计算机设备或服务器来执行。如图2所示，该图像重建方法包括如下内容。
210：基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应。
厚层影像序列可以是由多层二维图像构成的三维图像，其可以是基于CT扫描技术获取的原始影像序列，或基于其他摄影技术获得的原始影像序列。即，本申请对厚层影像序列的获取方式、厚层影像序列的类型不做限定，只要厚层影像序列是由多层二维图像构成的三维图像即可。
下面为了描述的方便，以厚层影像序列为厚层CT图像为例，对本申请实施例提供的图像重建方法进行详细的描述。
具体地，厚层影像序列包括多个原始图像，每个原始图像为二维图像。多个原始图像排列构成厚层影像序列。多个原始图像的层间距可以为固定值d。
第一影像序列包括多个第一图像，每个第一图像也为二维图像。多个第一图像排列构成第一影像序列。多个第一图像与多个原始图像在空间上一一对应，即，多个第一图像的层间距也为d。
厚层影像序列中原始图像的个数为N，即在CT扫描时，扫描获得的全部数据压缩在N层的厚层影像序列中，因此厚层影像序列的噪声会比较大，分辨率低，呈现出来的图像模糊。
通过厚层影像序列获取信噪比高的第一影像序列，可以降低影像序列的噪声，便于后续获取分辨率高的薄层影像序列。换句话说，压缩在第一图像中的信息少于压缩在原始图像的信息，因此第一图像的噪声小、分辨率高。
这里，第一影像序列的获取可以通过机器学习模型或深度学习模型获取。例如将厚层影像序列输入机器学习模型或深度学习模型，机器学习模型或深度学习模型基于厚层影像序列提取特征，并基于提取的特征生成第一影像序列。深度学习模型(或机器学习模型)可以通过训练获得，本申请对其类型不做限制。
220：基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间。
具体地，第一图像的个数为N，基于每个第一图像确定两个第二图像，即第二图像的个数为2N。2N个第二图像可以构成第二影像序列。
第一图像对应的两个第二图像分别位于该第一图像的两侧，这样相邻两个第一图像之间包括两个第二图像。本实施例基于第一图像向第一图像的外侧生成两个第二图像，即通过由近到远(渐进式)的方式获取第二图像。
基于相邻两个第一图像的特征和/或特征的变化趋势可以获取两个第一图像之间的两个第二图像。
230：基于第一影像序列和第二影像序列确定薄层影像序列。
对第一影像序列和第二影像序列进行排序，使得第一图像位于该第一图像对应的两个第二图像之间，可以缩小相邻层的图像之间的间距，由此可以获得薄层影像序列。薄层影像序列的层数为3N，即CT扫描获得的全部数据压缩在3N层的影像序列中，因此薄层影像序列的分辨率高于厚层影像序列。
本申请实施例提供的图像重建方法可以通过机器学习模型或深度学习模型执行。由于深度学习模型具有较高鲁棒性，可以优选通过深度学习模型执行。
本申请实施例提供了一种图像重建方法，通过基于厚层影像序列的多个原始图像获取高信噪比的多个第一图像以构成第一影像序列，并基于多个第一图像获取多个第二图像以构成第二影像序列，进而基于第一影像序列和第二影像序列可以获得高分辨率的薄层影像序列。此外，本申请实施例通过获取与原始图像空间位置一一对应的第一图像，并通过由近到远的方式基于任一第一图像获取该第一图像两侧的第二图像，这样，可以更好地利用厚层影像序列内部的空间一致性和连续性，从而可以重建高分辨率和高精确度的薄层影像序列。
根据本申请一实施例，基于第一影像序列和第二影像序列确定薄层影像序列，包括：去除位于第一影像序列外侧的第二图像，以获得调整后的第二影像序列；基于第一影像序列和调整后的第二影像序列确定薄层影像序列。
具体地，位于第一影像序列外侧的第二图像，是指位于第一影像序列最外侧的第一图像的外侧的第二图像，即位于第一影像序列两端边缘上的第二图像。去除第一影像序列外侧的第二图像后获得的薄层影像序列的层数为3N-2。
在本实施例中，由于该第二图像的生成缺乏足够的上下文信息，所以该第二图像的真实性较低。通过去除第一影像序列外侧的第二图像可以获得真实性高、精确度高以及分辨率高的薄层影像序列。
根据本申请一实施例，基于厚层影像序列确定第一影像序列，包括：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像，其中，基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：对多个第一图像进行特征得取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像。
具体地，可以利用深度学习模型对厚层影像序列进行特征提取以得到第一特征图。第一特征图可由多个特征向量构成，例如，第一特征图可以是多个特征向量构成的矩阵，矩阵中每个点代表一个特征向量。深度学习模型可以基于第一特征图生成多个第一图像以得到第一影像序列。
类似地，深度学习模型可以对生成的第一影像序列进行特征提取以得到第二特征图，并基于第二特征图生成多个第二图像以得到第二影像序列。
可选地，深度学习模型可以结合第一特征图和第二特征图得到第一拼接特征图，进而基于第一拼接特征图生成多个第二图像以得到第二影像序列。
在本实施例中，通过结合厚层影像序列对应的第一特征图以及第一影像序列对应的第二特征图，可以充分利用原始图像数据(厚层影像序列)以及与原始图像位置匹配的图像数据(第一影像序列)获取邻近层的图像数据(第二影像序列)，如此可以提高第二影像序列的准确度和真实性，提高第一影像序列与第二影像序列之间的连贯性，进而提高整个薄层影像序列的真实性和分辨率。
在一实施例中，特征提取的具体过程可以参见图4a。图4a所示为本申请一示例性实施例提供的图像重建模型的网络结构示意图。图像重建模型可以是深度学习模型经过训练得到的，图像重建模型的网络结构包括两个模块：特征提取模块以及图像重建模块。
特征提取模块用于对厚层影像序列进行特征提取。厚层影像序列的尺寸可以为1*D*H*W，1是通道数，D为层数，H为高度，W为宽度。本实施例中，厚层影像序列的尺寸为1*8*128*128。特征提取模块可以为编码器-解码器结构。具体地，特征提取模块中包含两次下采样和两次上采样，以及编码器与解码器之间的跳过连接(拼接)。编码器与解码器之间的跳过连接用于合并低级特征和高级特征。
如图4a所示，尺寸为1*8*128*128的厚层影像序列输入图像重建模型的特征提取模块，经过输出通道为32的平面卷积获得尺寸为32*8*128*128的特征图。尺寸为32*8*128*128的特征图经过输出通道为32、步幅为(1，2，2)的平面卷积以及输出通道为32的平面卷积获得尺寸为32*8*64*64的特征图。由尺寸为32*8*128*128的特征图获取尺寸为32*8*64*64的特征图的过程可以看作是第一次下采样过程。尺寸为32*8*64*64的特征图经过输出通道为32、步幅为(1，2，2)的平面卷积以及输出通道为32的平面卷积获得尺寸为32*8*32*32的特征图。由尺寸为32*8*64*64的特征图获取尺寸为32*8*32*32的特征图的过程可以看做是第二次下采样过程。
尺寸为32*8*32*32的特征图经过输出通道为32的卷积以及输出通道为32、步幅为(1，2，2)的反卷积获得尺寸为32*8*64*64的特征图。由尺寸为32*8*32*32的特征图获取尺寸为32*8*64*64的特征图的过程可以看做是第一次上采样过程。将第一次上采样的结果与第一次下采样的结果拼接可以得到尺寸为64*8*64*64的特征图。
尺寸为64*8*64*64的特征图经过输出通道为32的卷积以及输出通道为32、步幅为(1，2，2)的反卷积获得尺寸为32*8*128*128的特征图。由尺寸为64*8*64*64的特征图获取尺寸为32*8*128*128的特征图的过程可以看做是第二次上采样过程。将第二次上采样的结果与第二次下采样的结果拼接可以得到尺寸为64*8*128*128的特征图，该特征图为上文所述的第一特征图。
下采样获得的特征为低级特征(或称浅层特征)，上采样获得的特征为高级特征(或称深层特征)。通过结合低级特征和高级特征获得的特征图可以同时具有丰富的语义信息以及较高的分辨率，因此基于该特征图获得的图像具有较高的真实性和分辨率。
图像重建模块用于基于厚层影像序列的第一特征图重建薄层影像序列中的各层图像。图像重建模块执行的重建过程包括第一阶段重建和第二阶段重建。
第一阶段重建中，尺寸为64*8*128*128的第一特征图经过1*1*1卷积(输出通道为1)获得尺寸为1*8*128*128的特征图，基于1*8*128*128的特征图可以获得第一图像。即通过第一阶段重建可以获得多个第一图像(可直接将1*8*128*128的特征图作为多个第一图像)，由于多个第一图像与多个原始图像在空间上一一对应，因此第一图像可以称为Match层，第一图像的重建过程可称为Match重建。
第二阶段重建中，尺寸为1*8*128*128的特征图经过输出通道为32的平面卷积获得第二特征图，第二特征图与尺寸为64*8*128*128的第一特征图拼接可以获得第一拼接特征图。第一拼接特征图经过输出通道为32的平面卷积以及1*1*1卷积(输出通道为2)获得尺寸为2*8*128*128的特征图。
基于2*8*128*128的特征图可以获得第二图像。即通过第二阶段重建可以获得多个第二图像(可直接将2*8*128*128的特征图作为多个第二图像)。由于每个第一图像对应两个第二图像且位于这两个第二图像之间，因此第二图像可以称为Near层，第二图像的重建过程可称为Near重建。
对多个第一图像和多个第二图像按照空间位置顺序进行重排序，并去除位于最外侧的第二图像，可以得到薄层影像序列。
根据本申请一实施例，该图像重建方法还包括：基于第二影像序列确定第三影像序列，其中，第三影像序列包括多个第三图像，第一图像对应多个第三图像中的两个第三图像，两个第三图像位于第一图像的两侧，并且分别位于两个第二图像远离第一图像的一侧，其中，基于第一影像序列和第二影像序列确定薄层影像序列，包括：基于第一影像序列、第二影像序列和第三影像序列确定薄层影像序列。
具体地，每个第一图像对应两个第二图像和两个第三图像，两个第二图像分别位于该第一图像的两侧，两个第三图像也分别位于该第一图像的两侧，且第三图像位于第二图像远离第一图像的一侧。相邻两个第一图像之间包括两个第二图像和两个第三图像。第一图像的个数为N，第二图像的个数为2N，第三图像的个数为2N。2N个第三图像可以构成第三影像序列。
本实施例基于第一图像向第一图像的外侧生成两个第二图像，进而基于第二图像向第一图像的外侧继续生成第三图像，即通过由近到远的方式依次获取第二图像和第三图像。例如，可以基于相邻两个第二图像的特征和/或特征的变化趋势获取两个第二图像之间的两个第三图像；或者，可以将第一图像以及该第一图像对应的第二图像看成一组图像，基于相邻两组图像的特征和/或特征的变化趋势获取两个第二图像之间的两个第三图像。
在本实施例中，薄层影像序列的层间距或层数可以是预先设定的，根据预先设定的薄层影像序列的层间距或层数，可以重复执行基于第k影像序列确定第k+1影像序列的步骤，进而基于第一影像序列至第k+1影像序列确定所需的薄层影像序列。这里，k为大于或等于1的整数，k越大，获取的薄层影像序列的层间距越小、层数越多，即薄层影像序列的分辨率越高。
根据本申请一实施例，基于厚层影像序列确定第一影像序列，包括：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像，其中，基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：对多个第一图像进行特征提取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像，其中，基于第二影像序列确定第三影像序列，包括：对多个第二图像进行特征提取，得到多个第二图像的第三特征图；结合多个原始图像的第一特征图、多个第一图像的第二特征图和多个第二图像的第三特征图，得到第二拼接特征图；对第二拼接特征进行图像重建，得到多个第三图像。
具体地，可以利用深度学习模型对厚层影像序列进行特征提取以得到第一特征图。第一特征图可由多个特征向量构成，例如，第一特征图可以是多个特征向量构成的矩阵，矩阵中每个点代表一个特征向量。深度学习模型可以基于第一特征图生成多个第一图像以得到第一影像序列。
深度学习模型可以对生成的第一影像序列进行特征提取以得到第二特征图，并结合第一特征图和第二特征图得到第一拼接特征图，进而基于第一拼接特征图生成多个第二图像以得到第二影像序列。
进一步地，深度学习模型可以对生成的第二影像序列进行特征提取以得到第三特征图，并结合第一特征图、第二特征图以及第三特征图得到第二拼接特征图，进而基于第二拼接特征图生成多个第三图像以得到第三影像序列。
在本实施例中，通过结合厚层影像序列对应的第一特征图以及第一影像序列对应的第二特征图，可以充分利用原始图像数据(厚层影像序列)以及与原始图像位置匹配的图像数据(第一影像序列)获取邻近层的图像数据(第二影像序列)，如此可以提高第二影像序列的准确度和真实性，提高第一影像序列与第二影像序列之间的连贯性。进一步地，通过结合厚层影像序列对应的第一特征图、第一影像序列对应的第二特征图以及第二影像序列对应的第三特征图，可以充分利用原始图像数据(厚层影像序列)、与原始图像位置匹配的图像数据(第一影像序列)以及邻近层的图像数据(第二影像序列)获取次近层的图像数据(第三影像序列)，如此可以提高第三影像序列的准确度和真实性，提高第一影像序列、第二影像序列以及第三影像序列之间的连贯性，进而提高整个薄层影像序列的真实性和分辨率。
在一实施例中，特征提取的具体过程可以参见图4a。第一特征图、第二特征图以及第一拼接特征图的提取过程，第一图像(Match层)以及第二图像(Near层)的重建过程，可以参见上述实施例中的描述，为避免重复，此处只描述不同之处。
在本实施例中，图像重建模块执行的重建过程进一步包括第三阶段重建。
第三阶段重建中，尺寸为2*8*128*128的特征图经过输出通道为32的平面卷积获得第三特征图，第三特征图与第一拼接特征图拼接可以获得第二拼接特征图(相当于第三特征图与第二特征图和第一特征图拼接得到第二拼接特征图)。第二拼接特征图经过输出通道为32的平面卷积以及1*1*1卷积(输出通道为2)获得尺寸为2*8*128*128的特征图。
基于2*8*128*128的特征图可以获得第三图像。即通过第三阶段重建可以获得多个第三图像(可直接将2*8*128*128的特征图作为多个第三图像)。由于每个第一图像对应两个第三图像，且两个第三图像分别位于第一图像对应的第二图像的外侧，因此第三图像可以称为Far层，第三图像的重建过程可称为Far重建。
对多个第一图像、多个第二图像以及多个第三图像按照空间位置顺序进行重排序，并去除位于第一影像序列最外侧的第二图像和第三图像，可以得到薄层影像序列。薄层影像序列中相邻两个Match层之间的结构如图4b所示。
本实施例中的提供的各个卷积、反卷积的次数和参数只是示例性的，其可以根据实际需要进行设置，只要其构成的网络结构可以实现高分辨率的薄层影像序列的获取即可。
本实施例提供的图像重建方法是基于厚层影像序列依次获取薄层影像序列的Match层、Near层以及Far层，这种通过由近到远的方式重建薄层影像序列可以充分利用原始图像中的信息，保证薄层影像序列在空间上的连续性，以及薄层影像序列与厚层影像序列在空间上的一致性。此外，5mm层厚的CT图像和1mm层厚的CT图像分别是临床实践中具有代表性的厚层CT图像数据和薄层CT图像数据。利用本申请实施例提供的图像重建方法对5mm层厚的CT图像进行处理可以重建Match层、Near层以及Far层，进而获得1mm层厚的CT图像。因此，本申请实施例提供的图像重建方法具有较高的实用性。
当然，根据本申请实施例提供的由近到远重建薄层影像序列的方法，薄层影像序列的重建过程可以包括四个或更多个重建阶段。
根据本申请一实施例，基于第一影像序列、第二影像序列和第三影像序列确定薄层影像序列，包括：去除位于第一影像序列外侧的第二图像和第三图像，以获得调整后的第二影像序列和调整后的第三影像序列；基于第一影像序列、调整后的第二影像序列和调整后的第三影像序列确定薄层影像序列。
具体地，位于第一影像序列外侧的第二图像和第三图像，是指位于第一影像序列最外侧的第一图像的外侧的第二图像和第三图像，即位于第一影像序列两端边缘上的第二图像和第三图像。去除第一影像序列外侧的第二图像和第三图像后获得的薄层影像序列的层数为5N-4。
在本实施例中，由于第一影像序列两端边缘上的第二图像和第三图像的生成缺乏足够的上下文信息，所以该第二图像和第三图像的真实性较低。通过去除第一影像序列外侧的第二图像和第三图像可以获得真实性高、精确度高以及分辨率高的薄层影像序列。
图3所示为本申请另一示例性实施例提供的图像重建方法的流程示意图。图3是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图3所示，该图像重建方法包括如下内容。
310：对厚层影像序列的多个原始图像进行特征提取，得到多个原始图像的第一特征图，并基于多个原始图像的第一特征图进行图像重建，得到第一影像序列。
第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应。第一影像序列的信噪比高于厚层影像序列。
320：对第一影像序列进行特征得取，得到第二特征图。
330：结合第一特征图和第二特征图，得到第一拼接特征图，并对第一拼接特征图进行图像重建，得到第二影像序列。
第二影像序列包括多个第二图像。每个第一图像对应两个第二图像，第一图像位于两个第二图像之间。
340：对第二影像序列进行特征提取，得到第三特征图。
350：结合第一特征图、第二特征图和第三特征图，得到第二拼接特征图，并对第二拼接特征进行图像重建，得到第三影像序列。
第三影像序列包括多个第三图像，第一图像对应多个第三图像中的两个第三图像，两个第三图像位于第一图像的两侧，并且分别位于两个第二图像远离第一图像的一侧。
360：去除位于第一影像序列外侧的第二图像和第三图像，以获得调整后的第二影像序列和调整后的第三影像序列。
370：基于第一影像序列、调整后的第二影像序列和调整后的第三影像序列确定薄层影像序列。
第一影像序列、第二影像序列和第三影像序列的重建过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
图5所示为本申请一示例性实施例提供的图像重建模型的训练方法的流程示意图。如图5所示，该图像重建模型的训练方法包括如下内容。
510：基于样本厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于样本厚层影像序列，样本厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应。
520：基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间。
530：基于第一影像序列和第二影像序列确定预测薄层影像序列。
具体地，可以利用样本数据对深度学习模型进行训练，以获取图像重建模型。样本数据可以是样本厚层影像序列以及与之对应的样本薄层影像序列。
深度学习模型的结构可参见图4a。将样本厚层影像序列输入深度学习模型，深度学习模型可以基于样本厚层影像序列确定第一影像序列，并基于第一影像序列确定第二影像序列，进而基于第一影像序列和第二影像序列确定预测薄层影像序列。
本实施例中基于样本厚层影像序列确定第一影像序列、第二影像序列以及预测薄层影像序列的具体过程可以参见上述图像重建方法中关于基于厚层影像序列确定薄层影像序列的描述，为避免重复，此处不再赘述。
540：基于预测薄层影像序列确定第一内容特征图。
550：基于所述第一内容特征图确定损失函数。
560：基于损失函数调整深度学习模型的参数，以获得图像重建模型。
具体地，可以基于样本薄层影像序列确定对应的内容特征图，将预测薄层影像序列对应的内容特征图与样本薄层影像序列对应的内容特征图进行比较，例如可以确定两个内容特征图之间的相似度，进而基于相似度确定损失函数。通过损失函数不断调整深度学习模型的参数可以获得图像重建模型。
可选地，损失函数可以是预先设置的普通损失函数，该普通损失函数的因变量可以是上述两个内容特征图之间的相似度，通过该相似度确定损失函数的值，进而根据损失函数的值调整深度学习模型的参数。
本申请实施例提供了一种图像重建模型的训练方法，通过基于厚层影像序列的多个原始图像获取高信噪比的多个第一图像以构成第一影像序列，并基于多个第一图像获取多个第二图像以构成第二影像序列，进而基于第一影像序列和第二影像序列可以获得高分辨率的薄层影像序列。此外，本申请实施例通过获取与原始图像空间位置一一对应的第一图像，并通过由近到远的方式基于任一第一图像获取该第一图像两侧的第二图像，这样，可以更好地利用厚层影像序列内部的空间一致性和连续性，从而可以重建高分辨率和高精确度的薄层影像序列。
根据本申请一实施例，基于第一内容特征图确定损失函数，包括：确定第一内容特征图上第一位置与第二位置的第一相似度；基于第一相似度确定损失函数。
具体地，可以确定第一内容特征图上第一位置P1与第二位置P2之间的第一相似度S1(例如第一位置P1与第二位置P2对应的特征向量之间的相似度)。基于S1确定损失函数，损失函数可以是判断S1是否满足预设条件，例如是否大于预设阈值，若大于预设阈值，则对深度学习模型的参数进行适应的调整。或者，可以基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置P1与第二位置P2之间的第一相似度S2。基于S1和S2的差可以确定损失函数，例如，直接将S1和S2的差作为损失函数，或将S1和S2的差与预设系数的乘积作为损失函数。
在本实施例中，基于第一相似度确定损失函数可以指定优化方向，避免传统损失函数在优化过程中存在多个优化方向、优化过程出现振荡且优化速度慢的问题。
根据本申请一实施例，该图像重建模型的训练方法还包括：确定第一内容特征图上第一位置与第三位置的第二相似度，其中，基于第一相似度确定损失函数，包括：基于第一相似度和第二相似度的差确定损失函数。
具体地，可以确定第一内容特征图上第一位置P1与第三位置P3之间的第二相似度S3，基于S1与S3确定损失函数以调整深度学习模型的参数。损失函数可以是S1和S3的差，可以判断S1和S3的差是否满足预设条件，例如是否大于预设阈值，若大于预设阈值，则对深度学习模型的参数进行适应的调整。
根据本申请一实施例，该图像重建模型的训练方法还包括：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度，其中，基于第一相似度和第二相似度的差确定损失函数，包括：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
具体地，可以确定第二内容特征图上的第一位置P1与第二位置P2之间的第一相似度S2，第二内容特征图上的第一位置P1与第三位置P3之间的第二相似度S4。这里，S2大于S4。若第一内容特征图上第一位置P1与第二位置P2之间的第一相似度S1小于第一内容特征图上第一位置P1与第三位置P3之间的第二相似度S3，则说明深度学习模型的重建结果不理想、不够准确，与真实的样本薄层影像序列差别大。因此可以将第一相似度S1和第二相似度S3的差作为损失函数，基于S1与S3之差可以对调整深度学习模型的参数进行适当的调整，提高深度学习模型的准确度。
在一实施例中，可以确定第二内容特征图上任意两个位置之间的相似度，对于任一位置P，可以确定与位置P相似度最高的两个位置Pi与Pj，其中，P与Pi的相似度高于P与Pj的相似度。如果深度学习模型的准确度高的话，对于第一内容特征图上对应的位置P、Pi以及Pj，P与Pi的相似度应该高于P与Pj的相似度。因此，如果P与Pi的相似度小于或等于P与Pj的相似度，则将P与Pi的相似度与P与Pj的相似度之差作为损失函数，对调整深度学习模型的参数进行适当的调整。
在本实施例中，若第二内容特征图上某个位置与其他位置均不相似，则不计算该位置的损失。
在一实施例中，可以通过预训练模型提取内容特征图。具体地，可以将预训练模型中某一层之前的所有层作为内容特征提取器。对于任意输入，该内容特征提取器可以提取内容特征。例如，可以采用使用在自然图像上预训练的VGG-19的前10层作为内容特征提取器。
一般在图像重建任务中使用的内容损失往往基于在自然图像上预训练得到的模型，而自然图像与医学图像存在的差异可能会影响重建算法的性能。本申请实施例通过相似度的排序(如S1与S3之差)确定损失函数，将这种内容相似性的绝对差异转换为图像内部的非局部内容相似性排序的相对差异，从而避免引入自然图像对薄层CT图像重建算法的影响。
当然，本实施例中基于内容相似度排序的损失函数使用在自然图像上预训练的VGG-19的前10层以作为内容特征提取器，这只是一个示例，内容特征提取器的网络结构可以是其他任何合适的类型。
本申请实施例提供的图像重建模型的训练方法可以采用基于相似度排序确定的损失函数以及传统的损失函数(例如上述的普通损失函数)对模型的参数进行调节。由于采用本申请提供的基于相似度排序确定的损失函数，因此可以指定优化方向，避免传统损失函数在优化过程中存在多个优化方向、优化过程出现振荡且优化速度慢的问题。
图6所示为本申请另一示例性实施例提供的图像重建模型的训练方法的流程示意图。如图5所示，该图像重建模型的训练方法包括如下内容。
610：将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列。
620：基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度。
630：基于第一相似度确定损失函数。
640：基于损失函数调整深度学习模型的参数，以获得图像重建模型。
可以利用样本数据对深度学习模型进行训练，以获取图像重建模型。样本数据可以是样本厚层影像序列以及与之对应的样本薄层影像序列。
具体地，可以确定第一内容特征图上第一位置P1与第二位置P2之间的第一相似度S1(例如第一位置P1与第二位置P2对应的特征向量之间的相似度)。基于S1确定损失函数，损失函数可以是判断S1是否满足预设条件，例如是否大于预设阈值，若大于预设阈值，则对深度学习模型的参数进行适应的调整。或者，可以基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置P1与第二位置P2之间的第一相似度S2。基于S1和S2的差可以确定损失函数，例如，直接将S1和S2的差作为损失函数，或将S1和S2的差与预设系数的乘积作为损失函数。
本申请实施例提供了一种图像重建模型的训练方法，通过基于第一相似度确定损失函数，可以指定优化方向，避免传统损失函数在优化过程中存在多个优化方向、优化过程出现振荡且优化速度慢的问题，提高图像重建模型的训练速度以及提高图像重建模型的稳定性。
根据本申请一实施例，该图像重建模型的训练方法，还包括：确定第一内容特征图上第一位置与第三位置的第二相似度，其中，基于第一相似度确定损失函数，包括：基于第一相似度和第二相似度的差确定损失函数。
具体地，可以确定第一内容特征图上第一位置P1与第三位置P3之间的第二相似度S3，基于S1与S3确定损失函数以调整深度学习模型的参数。损失函数可以是S1和S3的差，可以判断S1和S3的差是否满足预设条件，例如是否大于预设阈值，若大于预设阈值，则对深度学习模型的参数进行适应的调整。
根据本申请一实施例，该图像重建模型的训练方法还包括：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度，其中，基于第一相似度和第二相似度的差确定损失函数，包括：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
具体地，可以确定第二内容特征图上的第一位置P1与第二位置P2之间的第一相似度S2，第二内容特征图上的第一位置P1与第三位置P3之间的第二相似度S4。这里，S2大于S4。若第一内容特征图上第一位置P1与第二位置P2之间的第一相似度S1小于第一内容特征图上第一位置P1与第三位置P3之间的第二相似度S3，则说明深度学习模型的重建结果不理想、不够准确，与真实的样本薄层影像序列差别大。因此可以将第一相似度S1和第二相似度S3的差作为损失函数，基于S1与S3之差可以对调整深度学习模型的参数进行适当的调整，提高深度学习模型的准确度。
在一实施例中，可以确定第二内容特征图上任意两个位置之间的相似度，对于任一位置P，可以确定与位置P相似度最高的两个位置Pi与Pj，其中，P与Pi的相似度高于P与Pj的相似度。如果深度学习模型的准确度高的话，对于第一内容特征图上对应的位置P、Pi以及Pj，P与Pi的相似度应该高于P与Pj的相似度。因此，如果P与Pi的相似度小于或等于P与Pj的相似度，则将P与Pi的相似度与P与Pj的相似度之差作为损失函数，对调整深度学习模型的参数进行适当的调整。
在本实施例中，若第二内容特征图上某个位置与其他位置均不相似，则不计算该位置的损失。
在一实施例中，可以通过预训练模型提取内容特征图。具体地，可以将预训练模型中某一层之前的所有层作为内容特征提取器。对于任意输入，该内容特征提取器可以提取内容特征。例如，可以采用使用在自然图像上预训练的VGG-19的前10层作为内容特征提取器。
一般在图像重建任务中使用的内容损失往往基于在自然图像上预训练得到的模型，而自然图像与医学图像存在的差异可能会影响重建算法的性能。本申请实施例通过相似度的排序(如S1与S3之差)确定损失函数，将这种内容相似性的绝对差异转换为图像内部的非局部内容相似性排序的相对差异，从而避免引入自然图像对薄层CT图像重建算法的影响。
当然，本实施例中基于内容相似度排序的损失函数使用在自然图像上预训练的VGG-19的前10层以作为内容特征提取器，这只是一个示例，内容特征提取器的网络结构可以是其他任何合适的类型。
本申请实施例提供的图像重建模型的训练方法可以采用基于相似度排序确定的损失函数以及传统的损失函数(例如上述的普通损失函数)对模型的参数进行调节。由于采用本申请提供的基于相似度排序确定的损失函数，因此可以指定优化方向，避免传统损失函数在优化过程中存在多个优化方向、优化过程出现振荡且优化速度慢的问题。
图7所示为本申请另一示例性实施例提供的图像重建模型的训练方法的流程示意图。图7是图6实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图7所示，该图像重建方法包括如下内容。
710：将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列。
720：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度。
730：基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度。
740：确定第一内容特征图上第一位置与第三位置的第二相似度。
750：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
760：基于损失函数调整深度学习模型的参数，以获得图像重建模型。
示例性装置
图8所示为本申请一示例性实施例提供的图像重建装置800的结构示意图。如图8所示，图像重建装置800包括：第一确定模块810，第二确定模块820以及第三确定模块830。
第一确定模块810用于基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应。第二确定模块820用于基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间。第三确定模块830用于基于第一影像序列和第二影像序列确定薄层影像序列。
本申请实施例提供了一种图像重建装置，通过基于厚层影像序列的多个原始图像获取高信噪比的多个第一图像以构成第一影像序列，并基于多个第一图像获取多个第二图像以构成第二影像序列，进而基于第一影像序列和第二影像序列可以获得高分辨率的薄层影像序列。此外，本申请实施例通过获取与原始图像空间位置一一对应的第一图像，并通过由近到远的方式基于任一第一图像获取该第一图像两侧的第二图像，这样，可以更好地利用厚层影像序列内部的空间一致性和连续性，从而可以重建高分辨率和高精确度的薄层影像序列。
根据本申请一实施例，第三确定模块830用于：去除位于第一影像序列外侧的第二图像，以获得调整后的第二影像序列；基于第一影像序列和调整后的第二影像序列确定薄层影像序列。
根据本申请一实施例，第一确定模块810用于：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像。第二确定模块820用于：对多个第一图像进行特征得取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像。
根据本申请一实施例，图像重建装置800还包括第四确定模块840，用于：基于第二影像序列确定第三影像序列，其中，第三影像序列包括多个第三图像，第一图像对应多个第三图像中的两个第三图像，两个第三图像位于第一图像的两侧，并且分别位于两个第二图像远离第一图像的一侧。第三确定模块830用于基于第一影像序列、第二影像序列和第三影像序列确定薄层影像序列。
根据本申请一实施例，第一确定模块810用于：对多个原始图像进行特征提取，得到多个原始图像的第一特征图；基于多个原始图像的第一特征图进行图像重建，得到多个第一图像。第二确定模块820用于：对多个第一图像进行特征提取，得到多个第一图像的第二特征图；结合多个原始图像的第一特征图和多个第一图像的第二特征图，得到第一拼接特征图；对第一拼接特征图进行图像重建，得到多个第二图像。第四确定模块840用于：对多个第二图像进行特征提取，得到多个第二图像的第三特征图；结合多个原始图像的第一特征图、多个第一图像的第二特征图和多个第二图像的第三特征图，得到第二拼接特征图；对第二拼接特征进行图像重建，得到多个第三图像。
根据本申请一实施例，第三确定模块830用于：去除位于第一影像序列外侧的第二图像和第三图像，以获得调整后的第二影像序列和调整后的第三影像序列；基于第一影像序列、调整后的第二影像序列和调整后的第三影像序列确定薄层影像序列。
应当理解，上述实施例中的第一确定模块810，第二确定模块820、第三确定模块830以及第四确定模块840的操作和功能可以参考上述图2或图3实施例中提供的图像重建方法中的描述，为了避免重复，在此不再赘述。
图9所示为本申请一示例性实施例提供的图像重建模型的训练装置900的结构示意图。如图9所示，训练装置900包括：第一确定模块910、第二确定模块920、第三确定模块930、第四确定模块940、第五确定模块950以及调整模块960。
第一确定模块910用于基于样本厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于样本厚层影像序列，样本厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应。第二确定模块920用于基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间。第三确定模块930用于基于第一影像序列和第二影像序列确定预测薄层影像序列。第四确定模块940用于基于预测薄层影像序列确定第一内容特征图。第五确定模块950用于基于第一内容特征图确定损失函数。调整模块960用于基于损失函数调整深度学习模型的参数，以获得图像重建模型。
本申请实施例提供了一种图像重建模型的训练装置，通过基于厚层影像序列的多个原始图像获取高信噪比的多个第一图像以构成第一影像序列，并基于多个第一图像获取多个第二图像以构成第二影像序列，进而基于第一影像序列和第二影像序列可以获得高分辨率的薄层影像序列。此外，本申请实施例通过获取与原始图像空间位置一一对应的第一图像，并通过由近到远的方式基于任一第一图像获取该第一图像两侧的第二图像，这样，可以更好地利用厚层影像序列内部的空间一致性和连续性，从而可以重建高分辨率和高精确度的薄层影像序列。
根据本申请一实施例，第五确定模块950用于：确定第一内容特征图上第一位置与第二位置的第一相似度；基于第一相似度确定损失函数。
根据本申请一实施例，第五确定模块950还用于：确定第一内容特征图上第一位置与第三位置的第二相似度。第五确定模块950用于基于第一相似度和第二相似度的差确定损失函数。
根据本申请一实施例，第四确定模块940还用于：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度。第五确定模块950用于：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
应当理解，上述实施例中的第一确定模块910、第二确定模块920、第三确定模块930、第四确定模块940、第五确定模块950以及调整模块960的操作和功能可以参考上述图5实施例中提供的图像重建模型的训练方法中的描述，为了避免重复，在此不再赘述。
图10所示为本申请另一示例性实施例提供的图像重建模型的训练装置1000的结构示意图。如图10所示，训练装置1000包括：输入模块1010、第一确定模块1020、第二确定模块1030以及调整模块1040。
输入模块1010用于将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列。第一确定模块1020用于基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度。第二确定模块1030用于基于第一相似度确定损失函数。调整模块1040用于基于损失函数调整深度学习模型的参数，以获得图像重建模型。
本申请实施例提供了一种图像重建模型的训练装置，通过基于第一相似度确定损失函数，可以指定优化方向，避免传统损失函数在优化过程中存在多个优化方向、优化过程出现振荡且优化速度慢的问题，提高图像重建模型的训练速度以及提高图像重建模型的稳定性。
根据本申请一实施例，第一确定模块1020还用于确定第一内容特征图上第一位置与第三位置的第二相似度。第二确定模块1030用于基于第一相似度和第二相似度的差确定损失函数。
根据本申请一实施例，第一确定模块1020还用于：基于样本薄层影像序列确定第二内容特征图，并确定第二内容特征图上的第一位置、第二位置以及第三位置，其中，第二内容特征图上的第一位置与第二位置相似度大于第一位置与第三位置的相似度。第二确定模块1030用于：在第一相似度小于或等于第二相似度时，基于第一相似度和第二相似度的差确定损失函数。
应当理解，上述实施例中的输入模块1010、第一确定模块1020、第二确定模块1030以及调整模块1040的操作和功能可以参考上述图6或图7实施例中提供的图像重建模型的训练方法中的描述，为了避免重复，在此不再赘述。
图11所示为本申请一示例性实施例提供的用于执行图像重建方法或图像重建模型的训练方法的电子设备1100的框图。
参照图11，电子设备1100包括处理组件1110，其进一步包括一个或多个处理器，以及由存储器1120所代表的存储器资源，用于存储可由处理组件1110执行的指令，例如应用程序。存储器1120中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1110被配置为执行指令，以执行上述修改三维图像的标注的方法。
电子设备1100还可以包括一个电源组件被配置为执行电子设备1100的电源管理，一个有线或无线网络接口被配置为将电子设备1100连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器1120的操作***操作电子设备1100，例如Windows ServerTM，MacOSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1100的处理器执行时，使得上述电子设备1100能够执行一种图像重建方法或者图像重建模型的训练方法。图像重建方法包括：基于厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于厚层影像序列，厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；基于第一影像序列和第二影像序列确定薄层影像序列。图像重建模型的训练方法包括：基于样本厚层影像序列确定第一影像序列，其中，第一影像序列的信噪比高于样本厚层影像序列，样本厚层影像序列包括多个原始图像，第一影像序列包括多个第一图像，多个第一图像与多个原始图像在空间上一一对应；基于多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，第二影像序列包括多个第二图像，第一图像位于两个第二图像之间；基于第一影像序列和第二影像序列确定预测薄层影像序列；基于预测薄层影像序列确定第一内容特征图；基于所述第一内容特征图确定损失函数；基于损失函数调整深度学习模型的参数，以获得图像重建模型。或者，图像重建模型的训练方法，包括：将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列；基于预测薄层影像序列确定第一内容特征图，并确定第一内容特征图上第一位置与第二位置的第一相似度；基于第一相似度确定损失函数；基于损失函数调整深度学习模型的参数，以获得图像重建模型。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像重建方法，其特征在于，包括：
基于厚层影像序列确定第一影像序列，其中，所述第一影像序列的信噪比高于所述厚层影像序列，所述厚层影像序列包括多个原始图像，所述第一影像序列包括多个第一图像，所述多个第一图像与所述多个原始图像在空间上一一对应；
基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，所述第二影像序列包括多个第二图像，所述第一图像位于所述两个第二图像之间；
基于所述第一影像序列和所述第二影像序列确定薄层影像序列。
2.根据权利要求1所述的图像重建方法，其特征在于，
所述基于所述第一影像序列和所述第二影像序列确定薄层影像序列，包括：
去除位于所述第一影像序列外侧的第二图像，以获得调整后的第二影像序列；
基于所述第一影像序列和所述调整后的第二影像序列确定所述薄层影像序列。
3.根据权利要求1所述的图像重建方法，其特征在于，所述基于厚层影像序列确定第一影像序列，包括：
对所述多个原始图像进行特征提取，得到所述多个原始图像的第一特征图；
基于所述多个原始图像的第一特征图进行图像重建，得到所述多个第一图像，其中，
所述基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：
对所述多个第一图像进行特征得取，得到所述多个第一图像的第二特征图；
结合所述多个原始图像的第一特征图和所述多个第一图像的第二特征图，得到第一拼接特征图；
对所述第一拼接特征图进行图像重建，得到所述多个第二图像。
4.根据权利要求1所述的图像重建方法，其特征在于，还包括：
基于所述第二影像序列确定第三影像序列，其中，所述第三影像序列包括多个第三图像，所述第一图像对应所述多个第三图像中的两个第三图像，所述两个第三图像位于所述第一图像的两侧，并且分别位于所述两个第二图像远离所述第一图像的一侧，其中，
所述基于所述第一影像序列和所述第二影像序列确定薄层影像序列，包括：
基于所述第一影像序列、所述第二影像序列和所述第三影像序列确定所述薄层影像序列。
5.根据权利要求4所述的图像重建方法，其特征在于，所述基于厚层影像序列确定第一影像序列，包括：
对所述多个原始图像进行特征提取，得到所述多个原始图像的第一特征图；
基于所述多个原始图像的第一特征图进行图像重建，得到所述多个第一图像，其中，所述基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，包括：
对所述多个第一图像进行特征提取，得到所述多个第一图像的第二特征图；
结合所述多个原始图像的第一特征图和所述多个第一图像的第二特征图，得到第一拼接特征图；
对所述第一拼接特征图进行图像重建，得到所述多个第二图像，其中，
所述基于所述第二影像序列确定第三影像序列，包括：
对所述多个第二图像进行特征提取，得到所述多个第二图像的第三特征图；
结合所述多个原始图像的第一特征图、所述多个第一图像的第二特征图和所述多个第二图像的第三特征图，得到第二拼接特征图；
对所述第二拼接特征进行图像重建，得到所述多个第三图像。
6.根据权利要求4所述的图像重建方法，其特征在于，所述基于所述第一影像序列、所述第二影像序列和所述第三影像序列确定所述薄层影像序列，包括：
去除位于所述第一影像序列外侧的第二图像和第三图像，以获得调整后的第二影像序列和调整后的第三影像序列；
基于所述第一影像序列、所述调整后的第二影像序列和所述调整后的第三影像序列确定所述薄层影像序列。
7.一种图像重建模型的训练方法，其特征在于，包括：
基于样本厚层影像序列确定第一影像序列，其中，所述第一影像序列的信噪比高于所述样本厚层影像序列，所述样本厚层影像序列包括多个原始图像，所述第一影像序列包括多个第一图像，所述多个第一图像与所述多个原始图像在空间上一一对应；
基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，所述第二影像序列包括多个第二图像，所述第一图像位于所述两个第二图像之间；
基于所述第一影像序列和所述第二影像序列确定预测薄层影像序列；
基于所述预测薄层影像序列确定第一内容特征图；
基于所述第一内容特征图确定损失函数；
基于所述损失函数调整深度学习模型的参数，以获得图像重建模型。
8.根据权利要求7所述的图像重建模型的训练方法，其特征在于，所述基于所述第一内容特征图确定损失函数，包括：
确定所述第一内容特征图上第一位置与第二位置的第一相似度；
基于所述第一相似度确定所述损失函数。
9.根据权利要求8所述的图像重建模型的训练方法，其特征在于，还包括：
确定所述第一内容特征图上所述第一位置与第三位置的第二相似度，
其中，所述基于所述第一相似度确定所述损失函数，包括：
基于所述第一相似度和所述第二相似度的差确定所述损失函数。
10.根据权利要求9所述的图像重建模型的训练方法，其特征在于，还包括：
基于样本薄层影像序列确定第二内容特征图，并确定所述第二内容特征图上的第一位置、第二位置以及第三位置，其中，所述第二内容特征图上的所述第一位置与第二位置相似度大于所述第一位置与所述第三位置的相似度，
其中，所述基于所述第一相似度和所述第二相似度的差确定所述损失函数，包括：
在所述第一相似度小于或等于所述第二相似度时，基于所述第一相似度和所述第二相似度的差确定所述损失函数。
11.一种图像重建模型的训练方法，其特征在于，包括：
将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列；
基于所述预测薄层影像序列确定第一内容特征图，并确定所述第一内容特征图上第一位置与第二位置的第一相似度；
基于所述第一相似度确定损失函数；
基于所述损失函数调整所述深度学习模型的参数，以获得图像重建模型。
12.一种图像重建装置，其特征在于，包括：
第一确定模块，用于基于厚层影像序列确定第一影像序列，其中，所述第一影像序列的信噪比高于所述厚层影像序列，所述厚层影像序列包括多个原始图像，所述第一影像序列包括多个第一图像，所述多个第一图像与所述多个原始图像在空间上一一对应；
第二确定模块，用于基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，所述第二影像序列包括多个第二图像，所述第一图像位于所述两个第二图像之间；
第三确定模块，用于基于所述第一影像序列和所述第二影像序列确定薄层影像序列。
13.一种图像重建模型的训练装置，其特征在于，包括：
第一确定模块，用于基于样本厚层影像序列确定第一影像序列，其中，所述第一影像序列的信噪比高于所述样本厚层影像序列，所述样本厚层影像序列包括多个原始图像，所述第一影像序列包括多个第一图像，所述多个第一图像与所述多个原始图像在空间上一一对应；
第二确定模块，用于基于所述多个第一图像中的每个第一图像，确定两个第二图像，以得到第二影像序列，所述第二影像序列包括多个第二图像，所述第一图像位于所述两个第二图像之间；
第三确定模块，用于基于所述第一影像序列和所述第二影像序列确定预测薄层影像序列；
第四确定模块，用于基于所述预测薄层影像序列确定第一内容特征图；
第五确定模块，用于基于所述第一内容特征图确定损失函数；
调整模块，用于基于所述损失函数调整深度学习模型的参数，以获得图像重建模型。
14.一种图像重建模型的训练装置，其特征在于，包括：
输入模块，用于将样本厚层影像序列输入深度学习模型，以获取预测薄层影像序列；
第一确定模块，用于基于所述预测薄层影像序列确定第一内容特征图，并确定所述第一内容特征图上第一位置与第二位置的第一相似度；
第二确定模块，用于基于所述第一相似度确定损失函数；
调整模块，用于基于所述损失函数调整所述深度学习模型的参数，以获得图像重建模型。
15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6中任一项所述的图像重建方法或权利要求7至11中任一项所述的图像重建模型的训练方法。
16.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至6中任一项所述的图像重建方法或权利要求7至11中任一项所述的图像重建模型的训练方法。
CN202110341995.8A 2021-03-30 2021-03-30 图像重建方法及装置、图像重建模型的训练方法及装置 Active CN113034642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341995.8A CN113034642B (zh) 2021-03-30 2021-03-30 图像重建方法及装置、图像重建模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341995.8A CN113034642B (zh) 2021-03-30 2021-03-30 图像重建方法及装置、图像重建模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN113034642A true CN113034642A (zh) 2021-06-25
CN113034642B CN113034642B (zh) 2022-05-27

Family

ID=76452923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341995.8A Active CN113034642B (zh) 2021-03-30 2021-03-30 图像重建方法及装置、图像重建模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN113034642B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629816A (zh) * 2018-05-09 2018-10-09 复旦大学 基于深度学习进行薄层磁共振图像重建的方法
US20190035116A1 (en) * 2017-07-25 2019-01-31 Tsinghua University Method and device for reconstructing ct image and storage medium
US20190108441A1 (en) * 2017-10-11 2019-04-11 General Electric Company Image generation using machine learning
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法
CN110807821A (zh) * 2019-10-12 2020-02-18 上海联影医疗科技有限公司 一种图像重建方法和***
CN110880196A (zh) * 2019-11-11 2020-03-13 哈尔滨工业大学（威海） 基于深度学习的肿瘤光声图像快速重建方法及装置
WO2020135630A1 (en) * 2018-12-26 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及***
CN111489406A (zh) * 2020-03-26 2020-08-04 深圳先进技术研究院 生成高能ct图像模型的训练及生成方法、设备、存储介质
CN111783774A (zh) * 2020-06-22 2020-10-16 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111833251A (zh) * 2020-07-13 2020-10-27 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置
US20210000438A1 (en) * 2018-03-07 2021-01-07 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035116A1 (en) * 2017-07-25 2019-01-31 Tsinghua University Method and device for reconstructing ct image and storage medium
US20190108441A1 (en) * 2017-10-11 2019-04-11 General Electric Company Image generation using machine learning
US20210000438A1 (en) * 2018-03-07 2021-01-07 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
CN108629816A (zh) * 2018-05-09 2018-10-09 复旦大学 基于深度学习进行薄层磁共振图像重建的方法
WO2020135630A1 (en) * 2018-12-26 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法
CN110807821A (zh) * 2019-10-12 2020-02-18 上海联影医疗科技有限公司 一种图像重建方法和***
CN110880196A (zh) * 2019-11-11 2020-03-13 哈尔滨工业大学（威海） 基于深度学习的肿瘤光声图像快速重建方法及装置
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及***
CN111489406A (zh) * 2020-03-26 2020-08-04 深圳先进技术研究院 生成高能ct图像模型的训练及生成方法、设备、存储介质
CN111783774A (zh) * 2020-06-22 2020-10-16 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111833251A (zh) * 2020-07-13 2020-10-27 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置

Also Published As

Publication number Publication date
CN113034642B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US12016717B2 (en) CT image generation method and apparatus, computer device, and computer-readable storage medium
Kaji et al. Overview of image-to-image translation by use of deep neural networks: denoising, super-resolution, modality conversion, and reconstruction in medical imaging
CN109035169B (zh) 一种无监督/半监督ct图像重建深度网络训练方法
JP5394598B2 (ja) 医用画像圧縮装置、医用画像圧縮方法、及び予測知識データベース作成装置
CN111833251B (zh) 一种三维医学图像超分辨率重建方法及装置
US20200242744A1 (en) Forecasting Images for Image Processing
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
WO2020168698A1 (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
CN111340903A (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和***
Sander et al. Unsupervised super-resolution: creating high-resolution medical images from low-resolution anisotropic examples
CN113822289A (zh) 图像降噪模型的训练方法、装置、设备及存储介质
US12039699B2 (en) Method and system for simulating and constructing original medical images from one modality to other modality
Ren et al. Realistic medical image super-resolution with pyramidal feature multi-distillation networks for intelligent healthcare systems
EP3917404A1 (en) System for harmonizing medical image presentation
KR102084138B1 (ko) 영상 처리 장치 및 방법
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN113034642B (zh) 图像重建方法及装置、图像重建模型的训练方法及装置
CN117152026A (zh) 一种血管内超声图像处理方法、装置和设备
Aldemir et al. Chain code strategy for lossless storage and transfer of segmented binary medical data
WO2012069833A1 (en) Process and apparatus for data registration
CN111325758A (zh) 肺部图像分割方法及装置、图像分割模型的训练方法
Garehdaghi et al. Positron emission tomography image enhancement using magnetic resonance images and U-net structure
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Tian et al. Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN
CN110570355B (zh) 多尺度自动聚焦超分辨率处理***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant