CN110807788A - 医学图像处理方法、装置、电子设备及计算机存储介质 - Google Patents

医学图像处理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN110807788A
CN110807788A CN201911001225.8A CN201911001225A CN110807788A CN 110807788 A CN110807788 A CN 110807788A CN 201911001225 A CN201911001225 A CN 201911001225A CN 110807788 A CN110807788 A CN 110807788A
Authority
CN
China
Prior art keywords
image
medical image
image block
slice
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911001225.8A
Other languages
English (en)
Other versions
CN110807788B (zh
Inventor
曹世磊
刘小彤
马锴
伍健荣
朱艳春
李仁�
陈景亮
杨昊臻
常佳
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911001225.8A priority Critical patent/CN110807788B/zh
Publication of CN110807788A publication Critical patent/CN110807788A/zh
Application granted granted Critical
Publication of CN110807788B publication Critical patent/CN110807788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例提供了一种医学图像处理方法、装置、电子设备及计算机存储介质，该方法可以包括：获取待处理的3D医学图像；将3D医学图像切分为相邻的至少两个图像块；对各图像块进行特征提取，得到每个图像块的特征图；基于每个图像块各自的特征图，确定每个图像块对应的预测概率图；基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。通过本发明的方案，基于各图像块以及各图像块之间的关联性，可准确确定出3D医学图像中对应于同一病种的检测结果。

Description

医学图像处理方法、装置、电子设备及计算机存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，本发明涉及一种医学图像处理方法、装置、电子设备及计算机存储介质。
背景技术
为了检测3D医学图像中的病灶位置，现有的医学图像处理方法为：基于2D或3D神经网络模型对该3D医学图像进行检测，以确定该医学图像中是否有病灶，以及病灶在该图像中的位置。但是，由于3D医学图像的数据量大，基于2D神经网络模型处理该3D医学图像时，会导致检测效果不理想，基于3D神经网络模型处理该3D医学图像时，由于3D医学图像的数据量大，且模型的参数量也较大，导致算法计算量过大，影响模型的性能。因此，现有技术中的算法性能较差，不能满足对3D医学图像的处理需求。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，可使得数据处理量减小。本发明采用的技术方案如下：
第一方面，本发明提供了一种医学图像处理方法，该方法包括：
获取待处理的三维3D医学图像；
将3D医学图像切分为相邻的至少两个图像块；
对各图像块进行特征提取，得到每个图像块的特征图；
基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，预测概率图表征了图像块中每个像素属于各病种的概率；
基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第一方面的实施例中，对各图像块进行特征提取，得到每个图像块的特征图，包括：
对各图像块进行特征提取，得到3D医学图像的至少一个层级的特征图；
基于至少一个层级的特征图，确定各图像块所对应的权重特征图；
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图。
本发明第一方面的实施例中，至少一个层级的特征图包括至少两个层级的特征图，基于至少一个层级的特征图，确定各图像块所对应的权重特征图，包括：
基于每个层级的特征图，确定各图像块对应于每个层级的权重特征图；
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图，包括：
基于每个层级的特征图、以及各图像块对应于每个层级的权重特征图，确定每个图像块对应于每个层级的特征图；
对于每个图像块，将该图像块所对应的各个层级的特征图融合，得到该图像块的特征图。
本发明第一方面的实施例中，基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果，包括：
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图；
基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第一方面的实施例中，基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果，包括：
对3D医学图像的概率图针对每一个病种进行二值化处理，得到3D医学图像对应的分割结果，分割结果表征了3D医学图像中每个像素属于各病种的病灶区域的检测结果；
基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第一方面的实施例中，基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果，包括：
基于3D医学图像对应的分割结果，确定3D医学图像中的连通域，连通域为二值化值相同的相邻像素所对应的区域；
基于各连通域，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第一方面的实施例中，至少两个图像块中的相邻两个图像块之间具有重叠区域，将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，包括：
对于每个重叠区域，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分；
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，其中，拼接后的3D医学图像的概率图中各重叠区域所对应的概率图部分为相对应的新的概率图部分。
本发明第一方面的实施例中，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分，包括：
确定重叠区域所对应的两个图像块中每个图像块各自所对应的权重；
基于每个图像块各自所对应的权重，以及重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分。
本发明第一方面的实施例中，对各图像块进行特征提取，得到每个图像块所对应的特征图、以及基于每个图像块各自所对应的特征图，确定每个图像块对应于各病种的预测概率图是通过神经网络模型得到的，神经网络模型是通过以下方式训练得到的：
获取样本3D医学图像，各样本3D医学图像包括相邻的至少两张切片，各切片中标注有对应于各病种的标注结果，标注结果表征了切片中每个像素属于各病种的病灶区域的概率；
基于样本3D医学图像，对初始网络模型进行训练，直至初始网络模型的损失函数收敛，将训练结束时的模型作为神经网络模型；其中，损失函数的值表征了各切片对应的预测结果和标注结果的差异程度。
本发明第一方面的实施例中，预测结果为各切片中的每个像素属于各病种的病灶区域的概率；初始网络模型的损失函数包括第一损失函数和第二损失函数，第一损失函数的值表征了各切片中的每个像素的预测结果与每个像素相对应的标注结果之间的差异程度，第二损失函数的值表征了各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。
本发明第一方面的实施例中，第二损失函数的值是通过以下方式确定的：
确定各切片对中每对切片对所对应的关联权重；
基于各切片对所对应的预测结果和标注结果，以及各切片对所对应的关联权重，确定第二损失函数的值。
本发明第一方面的实施例中，样本3D医学图像为3D肺部图像，病种包括结节、动脉硬化、***钙化或索条中的至少一项；标注结果是病灶区域对应的目标标注框，针对一个样本3D医学图像中的一张切片；
若病种包括结节、动脉硬化或***钙化中的至少一项，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框，原始标注结果为样本3D医学图像对应的训练数据集中各切片所对应的标注结果；
若病种为索条，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。
第二方面，本发明提供了一种医学图像处理装置，该装置包括：
图像获取模块，用于获取待处理的三维3D医学图像；
图像切分模块，用于将3D医学图像切分为相邻的至少两个图像块；
特征图确定模块，用于对各图像块进行特征提取，得到每个图像块的特征图；
预测概率图确定模块，用于基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，预测概率图表征了图像块中每个像素属于各病种的概率；
检测结果确定模块，用于基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第二方面的实施例中，特征图确定模块在对各图像块进行特征提取，得到每个图像块的特征图时，具体用于：
对各图像块进行特征提取，得到3D医学图像的至少一个层级的特征图；
基于至少一个层级的特征图，确定各图像块所对应的权重特征图；
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图。
本发明第二方面的实施例中，特征图确定模块在至少一个层级的特征图包括至少两个层级的特征图，基于至少一个层级的特征图，确定各图像块所对应的权重特征图时，具体用于：
基于每个层级的特征图，确定各图像块对应于每个层级的权重特征图；
特征图确定模块在基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图时，具体用于：
基于每个层级的特征图、以及各图像块对应于每个层级的权重特征图，确定每个图像块对应于每个层级的特征图；
对于每个图像块，将该图像块所对应的各个层级的特征图融合，得到该图像块的特征图。
本发明第二方面的实施例中，检测结果确定模块在基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图；
基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第二方面的实施例中，检测结果确定模块在基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
对3D医学图像的概率图针对每一个病种进行二值化处理，得到3D医学图像对应的分割结果，分割结果表征了3D医学图像中每个像素属于各病种的病灶区域的检测结果；
基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第二方面的实施例中，检测结果确定模块在基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
基于3D医学图像对应的分割结果，确定3D医学图像中的连通域，连通域为二值化值相同的相邻像素所对应的区域；
基于各连通域，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明第二方面的实施例中，至少两个图像块中的相邻两个图像块之间具有重叠区域，检测结果确定模块在将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图时，具体用于：
对于每个重叠区域，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分；
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，其中，拼接后的3D医学图像的概率图中各重叠区域所对应的概率图部分为相对应的新的概率图部分。
本发明第二方面的实施例中，检测结果确定模块在基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分时，具体用于：
确定重叠区域所对应的两个图像块中每个图像块各自所对应的权重；
基于每个图像块各自所对应的权重，以及重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分。
本发明第二方面的实施例中，对各图像块进行特征提取，得到每个图像块所对应的特征图、以及基于每个图像块各自所对应的特征图，确定每个图像块对应于各病种的预测概率图是通过神经网络模型得到的，神经网络模型是通过以下方式训练得到的：
获取样本3D医学图像，各样本3D医学图像包括相邻的至少两张切片，各切片中标注有对应于各病种的标注结果，标注结果表征了切片中每个像素属于各病种的病灶区域的概率；
基于样本3D医学图像，对初始网络模型进行训练，直至初始网络模型的损失函数收敛，将训练结束时的模型作为神经网络模型；其中，损失函数的值表征了各切片对应的预测结果和标注结果的差异程度。
本发明第二方面的实施例中，预测结果为各切片中的每个像素属于各病种的病灶区域的概率；初始网络模型的损失函数包括第一损失函数和第二损失函数，第一损失函数的值表征了各切片中的每个像素的预测结果与每个像素相对应的标注结果之间的差异程度，第二损失函数的值表征了各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。
本发明第二方面的实施例中，第二损失函数的值是通过以下方式确定的：
确定各切片对中每对切片对所对应的关联权重；
基于各切片对所对应的预测结果和标注结果，以及各切片对所对应的关联权重，确定第二损失函数的值。
本发明第二方面的实施例中，样本3D医学图像为3D肺部图像，病种包括结节、动脉硬化、***钙化或索条中的至少一项；标注结果是病灶区域对应的目标标注框，针对一个样本3D医学图像中的一张切片；
若病种包括结节、动脉硬化或***钙化中的至少一项，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框，原始标注结果为样本3D医学图像对应的训练数据集中各切片所对应的标注结果；
若病种为索条，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。
第三方面，本发明提供了一种电子设备，该电子设备包括：
处理器和存储器；
存储器，用于存储计算机操作指令；
处理器，用于通过调用计算机操作指令，执行如本发明的第一方面和任一实施例中所示的方法。
第四方面，本发明提供了一种计算机可读存储介质，该存储介质存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如本发明的第一方面任一实施例中所示的方法。
本发明实施例提供的技术方案带来的有益效果是：本发明实施例的医学图像处理方法、装置、电子设备及计算机存储介质，可将3D医学图像切分为相邻的至少两个图像块，对各图像块进行特征提取，得到每个图像块所对应的特征图，由每个图像块所对应的特征图，可反映出图像中各像素的特点，因此，基于每个图像块所对应的特征图以及相邻的图像块之间的关联性，可以准确确定出3D医学图像中对应于同一病种的检测结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
图1为本发明的实施例提供的一种医学图像处理方法的流程示意图；
图2为本发明的实施例提供的一种初始网络模型的网络结构示意图；
图3为本发明的实施例提供的一种多分支解码模块的结构示意图；
图4为本发明的实施例提供的一种时序注意力模块的结构示意图；
图5为本发明的实施例提供的一示例中3D肺部图像的相邻两个图像块之间的重叠区域示意图；
图6为本发明的实施例提供的一种肺部CT图像的处理流程示意图；
图7为本发明的实施例提供的一种医学图像处理装置的结构示意图；
图8为本发明的实施例提供的一种电子设备的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面详细描述本发明的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、对抗学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
首先，为了更好的理解及说明本发明实施例的方案，下面对本发明实施例中所涉及到的一些技术用语进行简单说明。
神经网络(Neural Network，NN)：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠***的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
FCN(Fully Convolutional Network，全卷积神经网络)：是指神经网络主要由卷积层，激活层，池化层，以及批标准化层等不包含全连接层的网络。
DCNN(Deep Convolutional Neural Network，深度卷积神经网络)：一种神经网络，特点是网络层数多。
Temporal-aware(时间感知)：将连续多张切片串联起来输入给神经网络，这里我们把连续的多张切片看成一种时序上的连续，对应于本发明方案的输入。
2.5D数据：介于3D数据和2D数据之间，既包含了2D数据的特点，也包含了3D数据的特点，为了与2D数据区分，将该类型的数据称为2.5D数据。
Multi-branch decoder：多分支解码器，是指在检测网络的解码过程中，对每一张切片的预测概率图设计一个单独的解码器。
图像块：一张图像中的一部分图像。
连通域：如果两个像素点位置相邻，且取值相同，那么这两个像素点即处于同一个相互连通的区域内，其中，该取值可以指的是像素点对应的标签，即标签相同的且相邻的像素点处于同一连通的区域内。从视觉上看，彼此连通的像素点形成了一个区域，而该区域中所有连通的像素点构成的集合称之为一个连通域。
ASPP(Atrous Spatial Pyramid Pooling，空洞空间金字塔池化)：可同时处理不同尺寸的图像，采用不同采样率(rate)的空洞卷积来提取不同尺寸的图像的特征。
X-ception结构：X-ception结构将正常的卷积层分解成为两部分：通道独立卷积层(depthwise separable convolutions)和点独立卷积层(pointwise convolution)，用于提取图像的高维特征。
空洞卷积(Dilated convolution)：在标准的卷积操作里增加空洞，每个卷积核之间有间隔，从而能扩大卷积操作的感受野，同时可以不增加卷积参数数量。
CT(Computed Tomography，计算机断层扫描)图像：利用如X射线、Y射线、超声波等围绕人体某一部位进行扫描得到的图像称为CT图像。
切片：CT图像中的切片，CT图像由多张连续的切片组成。
CT值：是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，空气为-1000，致密骨为+1000。
特征图(Feature map)：图像和滤波器进行卷积后得到的特征图，Feature map可以和滤波器进行卷积生成新的Feature map。
在医学图像领域，对于单病种的分割与检测问题，2D和3D卷积神经网络已取得了诸多***的成果。在现有技术中，检测3D医学图像中是否有病灶，以及病灶位置，可以通过以下方式实现：
第一种方式：基于3D卷积神经网络的检测方式：基于按照像素标注的样本3D医学图像，训练一个3D卷积神经网络模型，该卷积神经网络模型的输入是样本3D医学图像，输出是该3D医学图像的检测结果，即该3D医学图像是否有病灶，如果有，确定出病灶的位置。
第二种方式：基于3D卷积神经网络检测特定病种的方式：训练的卷积神经网络模型是基于特定病种(比如，肺结节)的样本3D医学图像训练的，则该训练好的卷积神经网络模型可用于检测具有该类病种的3D医学图像，即检测3D医学图像中是否有该特定病种对应的病灶，如果有，确定出该病灶的位置。
但是，通过第一种方式进行医学图像的处理，存在以下问题：
(1)在训练模型时，需要数量巨大的带标注的样本医学图像，且由于是样本医学数据是逐个像素进行标注的，因此，在数据获取阶段通常需要耗费极大的人力物力。
(2)对于待处理的医学图像，训练好的模型基于待处理的医学图像中各个像素的特征，确定该医学图像的检测结果，由于3D医学图像的数据量大，且对应模型的参数量也大，从而使得该算法计算量大，从而，受限于显卡计算能力，3D卷积神经网络在多病种的检测中往往无法取得令人满意的结果。
通过第二种方式进行医学图像的处理，存在以下问题：基于第二种方式中训练好的模型只检测特定病种，忽略了其他病种的特征，使得该方案没有较好的普适性，使得该模型的性能较差。
针对现有技术存在的问题，以及更好的满足实际应用需求，本发明实施例提供了一种医学图像处理方法，将待处理的3D医学图像切分成相邻的至少两个图像块，基于各图像块确定待处理的3D医学图像的检测结果，由每个图像块所对应的特征图，可反映出图像中各像素的特点，以及相邻的图像块之间的关联性，因此，基于该方案，可在确保检测结果准确的前提下，减少数据处理量。
本发明提出一种新型的2.5D全卷积神经网络，通过分割病灶加连通域后处理的方法实现多病种定位。该网络在训练工程中输入图像大小为长*宽*通道数，其中在通道维度上由若干张相邻切片组成，网络最后亦输出若干张相邻切片的多病种预测概率图。利用本方法，可以在充分利用切片间关联性的前提下，极大程度地减少网络参数量。通过我们提出的2.5D多分支编解码网络，可以精确地定位出结节、索条、动脉硬化及钙化等多种肺部常见病种，从而为临床诊断提供更加细化的辅助手段。
下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1示出了本发明提供的一种医学图像处理方法的流程示意图，如图中所示，该方法可以包括步骤S110至步骤S150，其中：
步骤S110：待处理的3D医学图像。
其中，待处理的3D医学图像可以是某个病人的某个部位的3D医学图像，比如，肺部的CT图像，本发明并不限定于CT图像也可是其他3D医学图像。本发明下述示例中可以CT图像为例进行说明。
步骤S120：将3D医学图像切分为相邻的至少两个图像块。
其中，一张3D医学图像可以根据需求切分成多个连续的图像块(可称之为2.5D数据)，各图像块的图像大小相同。在进行下述的图像处理过程中，可以将该3D医学图像切分为相邻的多个图像块，例如，该多个图像块为任意前后相邻的三个图像块(下面的举例说明中，分别称之为第一个图像块、第二个图像块和第三个图像块)，但本发明并不限定于此，可以根据所需的精准度和所能提供的运算量来选择适当的图像块的数量。
步骤S130：对各图像块进行特征提取，得到每个图像块的特征图。
本发明中不限定特征提取的方式，比如，可通过神经网络提取，也可通过其他特征提取方式，均在本发明的保护范围内。
步骤S140：基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，预测概率图表征了图像块中每个像素属于各病种的概率。
其中，如前文描述，基于第一个图像块的特征图，可确定出该第一个图像块对应的预测概率图，基于第二个图像块的特征图，可确定出该第二个图像块对应的预测概率图，基于第三个图像块的特征图，可确定出该第三个图像块对应的预测概率图。在同一个图像块中，该图像块对应的预测概率图表征了该图像块中每个像素属于各病种的概率，比如，有4个病种，则在该图像块对应的预测概率图中，每个像素可以对应得到对应这4个病种的4个概率。
步骤S150：基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
其中，基于各图像块的预测概率图，可以知道各图像块中每个像素属于各病种的概率，则基于各个像素属于各病种的概率，可以将属于同一个病种对应的多个像素对应的区域作为病灶区域，则一个3D医学图像中可同时包括多个病灶区域，由此，可以确定出3D医学图像中对应于各病种的病灶区域的检测结果，通过该检测结果，可以明确该3D医学图像中是否有病灶，以及病灶的位置，即病灶区域在3D医学图像中的位置。
相对于现有技术中的3D卷积神经网络，在基于3D卷积神经网络对医学图像进行多病种的检测时，是基于医学图像的各像素进行处理的，参数量巨大，而基于本发明的方案，是基于医学图像的至少两个图像块(可称之为2.5D数据)进行处理的，数据量小于现有技术中基于3D卷积神经网络的数据处理量。
本发明实施例所提供的医学图像处理方法，可将3D医学图像切分为相邻的至少两个图像块，对各图像块进行特征提取，得到每个图像块所对应的特征图，由每个图像块所对应的特征图，可反映出图像中各像素的特点，因此，基于每个图像块所对应的特征图以及相邻的图像块之间的关联性，可以准确确定出3D医学图像中对应于同一病种的检测结果。
本发明的可选方案中，步骤S130中，对各图像块进行特征提取，得到每个图像块的特征图，可以包括：
对各图像块进行特征提取，得到3D医学图像的至少一个层级的特征图；
基于至少一个层级的特征图，确定各图像块所对应的权重特征图；
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图。
具体的，在对各图像块进行特征提取时，可以基于实际需求得到不同层级的特征图，不同层级的特征图可以从不同的角度反映出图像块中特征的特点，一个层级的特征图中包括了各个图像块对应于该层级的特征。在实际应用中，可以基于不同的采样率，对各图像块进行特征提取，得到不同层级的特征图。
可选的，在对各图像块进行特征提取得到3D医学图像所对应的至少一个层级的特征图时，各图像块作为特征提取网络的输入图像，其中，可以将各图像块的数量作为输入图像的通道数量，将图像块的长和宽作为输入图像的长和宽，通过特征提取网络得到3D医学图像所对应的至少一个层级的特征图。例如，图像块的数量为3，一个图像块的宽和长分别为w和h，则输入图像的参数为w*h*3。
需要说明的是，每一个层级的特征图的通道数量本发明实施例不做限定，可以根据实际需求配置。也就是说，特征提取网络的输入的通道数量为图像块的数量，输出的通道数量可以根据实际需求配置。
其中，图像的特征图的提取是通过对图像进行下采样(如通过卷积处理)处理，不同层级的特征图可以理解为特征图所对应的下采样率不同。
作为一个示例，假设获取的3D医学图像所对应的特征图为2个层级的特征图，分别为第一层级的特征图和第二层级的特征图，第一层级的特征图对应的下采样率为16，第二层级的特征图对应的下采样率为4。
针对一个层级，由于每个图像块对于该3D医学图像的重要程度不同，也就是每个通道的重要程度不同，因此在确定各个图像块的特征图时，可基于各个图像块所对应的不同重要程度，确定该各图像块所对应的权重，即各图像块所对应的权重特征图，从而基于各图像块所对应的权重特征图，确定出该层级所对应的每个图像块的特征图。
本发明的可选方案中，至少一个层级的特征图包括至少两个层级的特征图，基于至少一个层级的特征图，确定各图像块所对应的权重特征图，可以包括：
基于每个层级的特征图，确定各图像块对应于每个层级的权重特征图。
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图，可以包括：
基于每个层级的特征图、以及各图像块对应于每个层级的权重特征图，确定每个图像块对应于每个层级的特征图；
对于每个图像块，将该图像块所对应的各个层级的特征图融合，得到该图像块的特征图。
具体的，在至少一个层级为至少两个层级时，各个图像块对应的每个层级有对应的权重特征图，基于3D医学图像的每个层级的特征图、以及各图像块对应于每个层级的权重特征图，可确定出每个图像块对应于每个层级的特征图，不同层级的特征具有不同的特征表达能力，因此，在得到每个图像块对应于每个层级的特征图之后，对于每个图像块，可将该个图像块对应于不同层级的特征图进行融合，融合后的特征图作为该图像块的特征图，通过融合后的特征图，可进一步提升特征图的表达能力。作为一个示例，如前文所描述的示例中，对于每个图像块，可将该图像块对应于第一层级的特征图和对应于第二层级的特征图进行融合，融合后的特征图作为该图像块的特征图。
本发明的可选方案中，步骤S150中，基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果，可以包括：
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图；
基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
具体的，各图像块是来自于同一个3D医学图像，为了确定出3D医学图像中对应于各病种的检测结果，可将各图像块的预测概率图按照各图像块的切分顺序拼接，得到该3D医学图像所对应的完整的概率图，通过该概率图可反映出每个像素属于各病种的概率，从而基于该概率图，可得到该3D医学图像对应于各病种的检测结果。
本发明的可选方案中，基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果，可以包括：
对3D医学图像的概率图针对每一个病种进行二值化处理，得到3D医学图像对应的分割结果，分割结果表征了3D医学图像中每个像素属于各病种的病灶区域的检测结果；
基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果。
具体的，每个像素所对应的概率可能是不同的，为了确定3D医学图像中对应于各病种的病灶区域的检测结果，可对3D医学图像的概率图针对每一个病种进行二值化处理，将属于同一个病种的像素对应的概率归一化为一个标识，即二值化处理后包括两个结果，一个结果标识像素不是对应于该病种的像素，另一个结果标识像素是对应于该病种的像素，则将二值化后的概率图作为3D医学图像的分割结果。则属于同一病种的像素所对应的区域可作为该病种所对应的病灶区域。
在本发明的实施例中，确定图像中某一个像素是否是对应于某个病种的像素的一种可现实方式可以为：像素的概率是否大于该病种所对应的概率阈值，比如，像素的概率大于该病种所对应的概率阈值，表示该像素是对应于该病种的像素，否则，该像素不是对应于该病种的像素，可以理解的是，不同病种所对应的概率阈值可以是不同的。
进而，对3D医学图像的概率图针对每一个病种进行二值化处理的一种可实现方案可以为：针对3D医学图像中针对于同一个病种的每个像素，基于该像素对应于该病种的概率与相对应的概率阈值，确定该像素是否是对应于该病种的像素，如果是，将该像素对应的概率二值化为一个结果(比如该结果为1)，如果不是，将该像素对应的概率二值化为另外一个结果(比如该结果为0)，即二值化后，对应于1的像素为对应于该病种的像素，对应于0的像素不是对应于该病种的像素。
本发明的可选方案中，基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果，可以包括：
基于3D医学图像对应的分割结果，确定3D医学图像中的连通域，连通域为二值化值相同的相邻像素所对应的区域；
基于各连通域，确定3D医学图像中对应于各病种的病灶区域的检测结果。
具体的，在对3D医学图像的概率图进行二值化处理后，可区分出其中属于各个病种的像素，为了为用户提供比较明显的病灶区域，可将二值化值相同的相邻像素所对应的区域作为一个连通域，该连通域从视觉上对应于3D医学图像的一个区域，则基于各个连通域，可确定出3D医学图像中对应于各病种的病灶区域的检测结果。
基于连通域所确定的检测结果中，为了便于用户查看3D医学图像中的病灶区域，可通过标识来标识图像中的病灶区域，比如，标识为标注框。对于不同的病种，在同一个3D医学图像中，为了区分不同的病种所对应的病灶区域，可通过不同的标识来标识不同病种的病灶区域，比如，通过不同颜色的标识表示不同病种的病灶区域。
本发明的可选方案中，至少两个图像块中的相邻两个图像块之间具有重叠区域，将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，可以包括：
对于每个重叠区域，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分；
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，其中，拼接后的3D医学图像的概率图中各重叠区域所对应的概率图部分为相对应的新的概率图部分。
由于至少两个图像块是将3D医学图像进行切分成得到的，对个图像块处理后，需要再将各图像块对应的预测概率图按照切分顺序拼接成3D医学图像的概率图，为了确保相邻的图像块在处理时，保留各图像块边界的信息，在切分时，可使得切分后的相邻两个图像块之间具有重叠区域。由于相邻两个图像块之间具有重叠区域，在得到各图像块的预测概率图的过程中，为了使得拼接后的概率图更准确，可对重叠部分在对应的两个预测概率图中相对应的概率图部分进行处理，得到新的概率图部分，则基于新的概率图部分，可使得拼接后的概率图中不包含重叠区域对应的重叠信息。
可以理解的是，确定新的概率图部分可在拼接之前，也可在拼接之后，本发明的方案中不限定确定新的概率图部分的顺序。
本发明的可选方案中，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分，可以包括：
确定重叠区域所对应的两个图像块中每个图像块各自所对应的权重；
基于每个图像块各自所对应的权重，以及该重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分。
具体的，每个图像块的重要程度不同，对于具有重叠区域的两个图像块，这两个图像块的重要程度也可能不同，这两个图像块所对应的预测概率图中，每个预测概率图的重要程度也不同，则在确定重叠区域的新的概率图部分时，可基于这两个图像块所对应的权重，表示对应的预测概率图所起作用的大小，权重越大，表示该权重所对应的图像块所起的作用越大。同时，在确定的新的概率图部分中，可最大程度的保存图像块中的有效信息。
作为一个示例，比如，相邻的两个图像块分别为图像块A和图像块B，图像块A的预测概率图为A1，图像块B的预测概率图为B1，图像块A和图像块B的重叠区域为C部分，C部分在预测概率图A1和预测概率图B1中相对应的概率图部分为D，图像块A的权重为w1，图像块B的权重为w2，基于图像块A的权重w1、图像块B的权重w2，以及概率图部分为D，可以确定得到新的概率图部分。
在上述示例中，w1和w2可以基于实际需求配置，如果权重w1和w2相同，则表示图像块A和图像块B所起的作用相同。
本发明的可选方案中，对各图像块进行特征提取，得到每个图像块所对应的特征图、以及基于每个图像块各自所对应的特征图，确定每个图像块对应于各病种的预测概率图是通过神经网络模型得到的，神经网络模型是通过以下方式训练得到的：
获取样本3D医学图像，各样本3D医学图像包括相邻的至少两张切片，各切片中标注有对应于各病种的标注结果，标注结果表征了切片中每个像素属于各病种的病灶区域的概率；
基于样本3D医学图像，对初始网络模型进行训练，直至初始网络模型的损失函数收敛，将训练结束时的模型作为神经网络模型；
其中，损失函数表征了各切片对应的预测结果和标注结果的差异程度。
具体的，本发明的方案可通过神经网络模型实现，该神经网络模型是基于样本3D医学图像训练得到的，训练时所采用的切片可以作为上文所描述的图像块。如前文所描述的，样本3D医学图像也可以为CT图像，为了描述方便，下文以样本3D医学图像为CT图像为例进行说明，对于每个CT图像，该CT图像可以包括连续的多张切片，在进行下述的图像处理过程中，可以选取该CT图像中相邻的多张切片，例如任意前后相邻的三张切片(下面的举例说明中，分别称之为第一个切片、第二个切片和第三个切片)，但本发明并不限定于此，可以根据所需的精准度和所能提供的运算量来选择适当的切片数量。
本发明的可选方案中，预测结果为各切片中的每个像素属于各病种的病灶区域的病灶区域的检测结果；初始网络模型的损失函数包括第一损失函数和第二损失函数，第一损失函数的值表征了各切片中的每个像素的预测结果与每个像素相对应的标注结果之间的差异程度，第二损失函数的值表征了各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。
其中，每对切片对所对应的预测结果是基于该切片对中每个切片所对应的预测结果确定的，每对切片对所对应的标注结果是基于该切片对中每个切片所对应的标注结果确定的。
具体的，训练时，不仅考虑了各切片中的每个像素的预测结果和标注结果之间的差异程度，还考虑了切片对(任意两张切片可对应一个切片对)所对应的预测结果与相对应的标注结果之间的差异程度，则初始网络模型的损失函数中包括了第一损失函数和第二损失函数，通过第一损失函数的值表征各切片中的每个像素的预测结果和标注结果之间的差异程度，通过第二损失函数的值表征切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。该差异程度可以表示出两张切片之间的关联性，在多张切片中，相距越近两张切片之间关联性越强，相距越远的两张切片之间关联性越弱。
本发明的可选方案中，第二损失函数的值是通过以下方式确定的：
确定各切片对中每对切片对所对应的关联权重；
基于各切片对所对应的预测结果和标注结果，以及各切片对所对应的关联权重，确定第二损失函数的值。
具体的，由于至少两张切片中，相距越近两张切片之间关联性越强，相距越远的两张切片之间关联性越弱，则可通过切片对所对应的关联权重来表示该切片对所对应的两张切片之间关联性的强弱。
在本发明的可选方案中，由于相距越近两张切片之间关联性越强，相距越远的两张切片之间关联性越弱，则两张切片之间关联性的强弱与两个切片间的距离有关，由此，上述关联权重可通过对应切片对中的两张切片之间的距离确定。其中，距离指的是两个切片各自在同一个3D医学图像中所对应的位置之间的距离。
作为一个示例，病种记为C，本示例中，C取值为4，即以4种病种为例，初始网络模型的损失函数记为L(为描述方便，下文称之为总损失函数)，第一损失函数记为LDice，第二损失函数记为LDCD，选择的切片的张数记为OC，OC取值为3，为第m张切片上第i个像素属于各病种C的概率，即预测结果，
Figure BDA0002241388040000182
为其对应的标注结果，V表示单张切片中所包含的像素点个数，LDice为单张切片的预测结果与其对应的标注结果的第一损失函数。第一损失函数可通过以下公式(1)表示：
Figure BDA0002241388040000183
LDCD为各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的第二损失函数，第二损失函数LDCD可通过以下公式(2)表示：
Figure BDA0002241388040000184
其中，m为至少两张切片中的第m张切片的索引，n是与其相关联的切片的索引。切片m和切片n可构成一个切片对，该切片对所对应的预测结果是基于该切片对中切片m所对应的预测结果
Figure BDA0002241388040000185
和切片n所对应的预测结果确定的，该切片对所对应的标注结果是基于该切片对中切片m所对应的标注结果和切片n所对应的标注结果
Figure BDA0002241388040000188
确定的。
由于在三维图像中，相距越近的切片间关联性越强，而相距越远则关联性越弱，因此第二损失函数的值可以通过以下方式确定：
对于一个切片对，可通过各切片对中每对切片对所对应的关联权重表示该切片对中的两个切片之间关联性的强弱，在本示例中，一种确定关联权重的方式为，基于切片对中两个切片间的距离确定该切片对所对应的关联权重，具体可通过以下公式(3)表示：
Figure BDA0002241388040000191
基于各切片对所对应的预测结果和标注结果，以及各切片对所对应的关联权重，通过以下公式(4)确定第二损失函数：
Figure BDA0002241388040000192
其中，m为输出至少两张切片中的第m张切片的索引，n是与其相关联的切片的索引。切片m和切片n可构成一个切片对，公式(4)中的Pm,n可通过以下公式(5)表示：
Figure BDA0002241388040000193
基于上述第一损失函数和第二损失函数，总损失函数可通过以下公式(6)表示：
L＝LDice+LDCD (6)
可选的，第二损失函数的值表征的是各切片中各切片对中每个切片所对应的预测结果与相对应的标注结果之间的差异程度，该差异程度反应了切片对所对应的两个切片间的关联性，基于第一损失函数和第二损失函数对于总损失函数的所起的作用，可以为第一损失函数和第二损失函数配置权重，则总损失函数可通过以下公式(7)表示：
L＝LDice+λ×LDCD (7)
其中，λ为第二损失函数所对应的权重，可基于实际需求配置。
可选的，第二损失函数是作用于切片对上的，每个切片对都对应一个关联权重。为了平衡第一损失函数和第二损失函数的重要性，我们约束第二损失函数所对应的权重的重要性可基于关联权重确定，该权重具体可通过以下公式(8)确定：
此时，总损失函数可通过以下公式(9)表示：
Figure BDA0002241388040000195
本发明的可选方案中，样本3D医学图像为3D肺部图像，病种包括结节、动脉硬化、***钙化或索条中的至少一项；标注结果是病灶区域对应的目标标注框，针对一个样本3D医学图像中的一张切片；
若病种包括结节、动脉硬化或***钙化中的至少一项，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框，原始标注结果为样本3D医学图像对应的训练数据集中各切片所对应的标注结果；
若病种为索条，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。
具体的，在训练神经网络模型之前，需要建立训练数据集，即样本3D医学图像对应的数据集，基于不同的人体部位对应的医学图像，可以训练得到针对不同人体部位的图像检测模型。
在本示例中，基于前文描述，肺部图像可以为肺部CT图像，由于不同大小的CT值对应到不同的人体部位。根据相应的医学常识，可以将肺CT图像按数值裁剪到[-1000，600](肺部所对应的CT值)，然后规范化到[0，1]，以此作为模型的输入。
如果训练数据集是基于3D肺部图像建立的数据集，且病种包括结节、动脉硬化、***钙化或索条中的至少一项，在训练模型之前，需要获取训练数据集，该训练数据集中包括具有上述4个病种的3D肺部图像，每张肺部图像都包括多张连续的切片，在该训练数据集中，各切片有对应的原始标注结果，原始标注结果为以中心点和半径所确定的，由于基于中心点和半径所确定的是图像级的标注结果，为了满足像素级的图像处理要求，需要将原始标注结果转化为像素级的标注结果，标注结果是病灶区域对应的目标标注框。
具体的，针对一张切片，若病种包括结节、动脉硬化或***钙化中的至少一项，结节、动脉硬化和***钙化通常为球形或椭球形，该张切片的标注结果是通过以下方式确定的：基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框；若病种为索条，索条通常为条形，该张切片的标注结果是通过以下方式确定的：基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。其中，图像形态学操作包括腐蚀、膨胀等操作。
在本发明的可选方案中，初始网络模型可以为全卷积神经网络。
为了对本方案进行进一步的说明，下面具体结合图2至图5对本方案进行进一步的说明，在本实例中，以肺部CT图像，病种包括结节、动脉硬化、***钙化或索条中的至少一项为例进行说明：
在模型训练阶段：首先获取训练数据集，基于前文所描述的方式确定各张切片的标注结果。
选择5张切片(对应图2中的slice)输入至初始网络模型，将切片的数量作为模型的通道数，则模型的输入为切片的长*宽*切片数。
初始网络模型的示意图如图2所示，该网络模型主要由编码模块和解码模块(分别对应图2中的Encoder和Decoder)两部分组成。其中包括的Conv、BN和Relu分别指Convolution(卷积)、Batch Normalization(批量数据归一化)和ReLU(Rectified LinearUnits，激活函数)。
编码模块用来对上述5张切片进行特征提取，得到各切片的特征图，编码模块选用卷积神经网络(对应于图2中的DCNN)，编码模块由X-ception结构串联一个参数不共享的ASPP模块构成。X-ception模块用于提取图像的高维特征，而ASPP模块通过组合4种不同采样率的空洞卷积来提取切片间多个层次的信息，不同采样率的空洞卷积可以有效捕获多尺度信息，即采用ASPP模块可以捕捉切片间多个层次的关联信息。
其中，X-ception结构用于提取输入切片的高维度特征，其具体的特征提取原理为：将传统的卷积操作分成两步，假设原来是3*3的卷积，先用M个3*3卷积核一对一卷积输入的M个特征图，不求和，生成M个结果；然后用N个1*1的卷积核(对应图2中解码模块Decoder中与X-ception连接的1x1 Conv)正常卷积前面生成的M个结果，求和，最后生成N个结果，即N维度的特征图(图2中所示的Low Level Features)，其中，1*1的卷积核可将特征转换为设定维度的特征图。
ASPP模块，如图2所示，该ASPP模块包括个1x1卷积(对应于图2中ASPP模块中所示的1x1 Conv)、三个3x3的卷积，该3个3x3的卷积为采样率(Rate)分别为6，12，18的空洞卷积(对应图2中所示的3x3 Conv Rate 6，3x3 Conv Rate 12，3x3 Conv Rate 18)，BN层、以及全局池化层(对应图2中所示的Image Pooling)，ASPP模块基于X-ception结构提取的特征图，通过不同采样率的空洞卷积获取切片间多个层次(不同尺度)的关联信息，接着将通过空洞卷积层的特征依次经过全局池化层、卷积，最后将所有的特征通过1x1 Conv(对应图2的编码模块中High Level Features之前对应的1x1 Conv)级联到一起，得到下采样的16倍的高维特征(如图2中所示的High Level Features)，则该16倍的高维特征中不仅包括各切片的特征，还包括切片间的特征。
其中，在本发明的方案中，解码模块设置为多分支解码模块，则基于多分支结构，可选择至少两个层级的特征进行以下的解码处理，在本示例中，基于两个层级的特征进行后续的解码处理，同层级的特征图可以理解为特征图所对应的下采样率不同。在本示例中，第一层级的特征图对应的下采样率为16，第二层级的特征图对应的下采样率为4。
解码模块设置为多分支解码模块，分支数目对应将要输出的预测概率图的个数，即对输入的若干张切片(除第一张和最后一张这两张切片之外)都对应生成一张预测概率图，在本示例中，由于考虑到切片间的关联性信息，因此可选择上述5张切片中中间位置的3张，通过神经网络确定该3张切片的预测概率图(如图2中所示的3张预测概率图)。
具体的，在解码过程中，对于下采样16倍的高维特征，首先将其输入一个时序注意力模块(如图2中所示的Temporal Attention Block)，得到OC组特征(对应于第一层级的3张切片的特征图，如OC＝3)，然后对三组特征分别进行上采样。另一方面，对于下采样4倍的高维特征，也将其输入一个时序注意力模块，得到OC组特征(对应于第二层次的3张切片的特征图)。将上面得到的两个层级对应的特征图进行拼接(图中所示的Concat)，得到共同的OC组特征(3张切片的特征图)，再对其分别进行采样率为4的上采样(如图2中所示的Upsample by 4)和卷积操作(如
图2中所示的3个3*3的Conv)，得到该3张切片各自对应的预测概率图(如图3中所示的Output)。
一个特征图经过一系列卷积池化得到的新的特征图，通常得到新的特征图的每个通道(本发明的方案中为5个通道)都是同样重要的，并没有区分那个通道重要，哪个通道不重要，但在实际应用中，不是得到的每个通道的特征图都是有用的，比如一张包含动物的图片，该图片中背景可能是不怎么重要的，它转化为灰度图后，只有一个通道比较重要，其它的不怎么重要，那么其实实际上得到的新的特征图的每个通道的重要程度是不一样的，也就是说每个通道可以有一个表示重要性的权值，然后每个通道的权值乘以每个通道原来的值，就是求的实际需要的特征图。
其中，如图3所示的多分支解码器模块的示意图，时序注意力模块的作用是：确定对应层级的各切片所对应的权重特征图(对应于前文所描述的权值)，并基于各切片所对应的权重特征图，以及至少一个层级的特征图，确定出对应层级的每张切片的特征图(对应于前文所描述的实际需要的特征图)，其中，在本发明的方案中，将切片的数量作为通道数，因此，此处的切片可作为前文所描述的通道。
图3中时序注意力模块的原理可如4中所示，如图4中所示，以第一层级的特征图为例，将该第一层级的特征图(如图4中所示的F)经过两层卷积(如图4中所示的1层3*3的卷积Conv，以及1*1的卷积Conv)，也可以为图3中所示的3层1*1的卷积Conv，然后通过激活函数(如图4中所示的Sigmoid)映射为0至1之间的概率，接着将得到的概率分别与对应的特征图相乘，得到各切片对应于该层级的权重特征图(如图4中所示的三张模糊的图)，基于该层级的特征图、以及各切片对应于该层级的权重特征图，确定每张切片对应于该层级的特征图。
基于上述相同的方式，可得到每张切片对应于第二层级的特征图，在得到每张切片对应于每个层级的特征图之后，对于每张切片，该张切片所对应的各个层级的特征图融合(如图2中所示的Concat)，得到该张切片的特征图。在得到每张切片的特征图后，对所有切片对应的特征图进行采样率为4的上采样处理，再进行卷积处理，在本示例中，选用3个3*3的卷积进行卷积处理(如图2解码模块中的3个3*3的Conv)，最后得到每张切片的预测概率图。
在通过初始网络模型得到各张切片的预测概率图(可作为预测结果)之后，通过初始网络模型的损失函数判断模型是否收敛，损失函数可如前文所描述的损失函数，在预测结果与对应的标注结果之间的差异程度小于设定值时，判定该损失函数收敛，此时训练好的模型即为本发明中的神经网络模型。
在得到每张切片的预测概率图之后，针对一张预测概率图，可以基于每张切片的预测概率图，在该概率图中，每个像素所对应的概率可能是不同的，为了确定该3D肺部图像中对应于各病种的病灶区域的检测结果，可对该3D肺部图像的概率图针对每一个病种进行二值化处理，将属于同一个病种的像素对应的概率归一化为一个标识，即二值化处理后包括两个结果，一个结果标识像素不是对应于该病种的像素，另一个结果标识像素是对应于该病种的像素，则将二值化后的概率图作为3D肺部图像的分割结果。
在对3D肺部图像的概率图进行二值化处理后，可区分出其中属于各个病种的像素，为了为用户提供比较明显的病灶区域，可将二值化值相同的相邻像素所对应的区域作为一个连通域(对应图2中的连通域提取)，该连通域从视觉上对应于3D肺部图像的一个区域，则基于各个连通域，可确定出3D肺部图像中对应于各病种的病灶区域的检测结果。
基于训练好的神经网络模型进行测试，其测试的具体过程为：
获取待处理的3D医学图像，该待处理的3D医学图像为3D肺部图像，将该待处理的3D肺部图像切分成至少两个图像块，至少两个图像块中的相邻两个图像块之间具有重叠区域，基于至少两个图像块，确定该待处理的3D肺部图像中对应于各病种的检测结果与前文所描述的确定过程一致，在此不再赘述。
在得到每个图像块的预测概率图之后，由于各图像块是来自于同一个3D肺部图像，为了确定出该3D肺部图像中对应于各病种的检测结果，可将各图像块的预测概率图按照各图像块的切分顺序拼接，得到该3D肺部图像所对应的完整的概率图。
其中，由于至少两个图像块是将3D肺部图像进行切分成得到的，对个图像块处理后，需要再将各图像块对应的预测概率图按照切分顺序拼接成3D肺部图像的概率图，为了确保相邻的图像块在处理时，保留各图像块边界的信息，在切分时，使得切分后的相邻两个图像块之间具有重叠区域。由于相邻两个图像块之间具有重叠区域，在得到各图像块的预测概率图的过程中，为了使得拼接后的概率图更准确，对于每个重叠区域，可基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分，在将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D肺部图像的概率图时，拼接后的3D肺部图像的概率图中各重叠区域所对应的概率图部分为相对应的新的概率图部分。
可以理解的是，确定新的概率图部分可在拼接之前，也可在拼接之后，本发明的方案中不限定确定新的概率图部分的顺序。
具体的，每个图像块的重要程度不同，对于具有重叠区域的两个图像块，这两个图像块的重要程度也可能不同，这两个图像块所对应的预测概率图中，每个预测概率图的重要程度也不同，则在确定重叠区域的新的概率图部分时，可基于这两个图像块所对应的权重，表示对应的预测概率图所起作用的大小，权重越大，表示该权重所对应的图像块所起的作用越大。同时，在确定的新的概率图部分中，可最大程度的保存图像块中的有效信息。
作为一个示例，如图5中所示的三个图像块，分别为第一图像块，第二图像块和第三图像块，第一图像块和第二图像块之间的重叠区域为A，第一图像块和第二图像块之间的重叠区域为A为例，第一图像块的预测概率图为A1，第二图像块的预测概率图为B1，重叠区域A在预测概率图A1和预测概率图B1中相对应的概率图部分为D，第一图像块所对应的权重为w1，第二图像块所对应的权重为w2，则基于权重w1、权重w2，以及概率图部分为D，可以确定得到新的概率图部分。
在上述示例中，w1和w2可以基于实际配置，如果权重w1和w2相同，则表示图像块A和图像块B所起的作用相同。
在该概率图中，每个像素所对应的概率可能是不同的，为了确定该3D肺部图像中对应于各病种的检测结果，可对该3D肺部图像的概率图针对每一个病种进行二值化处理，将属于同一个病种的像素对应的概率归一化为一个标识，即二值化处理后包括两个结果，一个结果标识像素不是对应于该病种的像素，另一个结果标识像素是对应于该病种的像素，则将二值化后的概率图作为3D肺部图像的分割结果。
在对3D肺部图像的概率图进行二值化处理后，可区分出其中属于各个病种的像素，为了为用户提供比较明显的病灶区域，可将二值化值相同的相邻像素所对应的区域作为一个连通域，该连通域从视觉上对应于3D肺部图像的一个区域，则基于各个连通域，可确定出3D肺部图像中对应于各病种的检测结果。
在实际应用中，基于用户所提供的3D医学图像，通过本发明的方案，可准确快速地为用户提供该3D医学图像中的病区(病灶所对应的区域)的定位结果。具体可参见图6中所示的一种基于肺部CT图像的病区定位结果确定流程图，本发明的方法应用于后端，用户通过前端A提供的3D医学图像为肺部CT影像，该肺部CT影像经过后端的本发明的方案，可以确定得到该肺部CT影像的病区定位结果，即该肺部CT影像中对应于各病种的病灶区域的检测结果，并将该病区定位结果提供给前端A的用户，以使得用户清楚的明确该肺部CT影像中的病灶位置。
基于与图1中所示的方法相同的原理，本发明实施例还提供了一种医学图像处理装置20，如图7中所示，该医学图像处理装置20可以包括图像获取模块210、图像切分模块220、特征图确定模块230、预测概率图确定模块240以及检测结果确定模块250，其中：
图像获取模块210，用于获取待处理的三维3D医学图像；
图像切分模块220，用于将3D医学图像切分为相邻的至少两个图像块；
特征图确定模块230，用于对各图像块进行特征提取，得到每个图像块的特征图；
预测概率图确定模块240，用于基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，预测概率图表征了图像块中每个像素属于各病种的概率；
检测结果确定模块250，用于基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
本发明实施例所提供的医学图像处理装置，可将3D医学图像切分为相邻的至少两个图像块，对各图像块进行特征提取，得到每个图像块所对应的特征图，由每个图像块所对应的特征图，可反映出图像中各像素的特点，因此，基于每个图像块所对应的特征图以及相邻的图像块之间的关联性，可以准确确定出3D医学图像中对应于同一病种的检测结果。
可选的，特征图确定模块在对各图像块进行特征提取，得到每个图像块的特征图时，具体用于：
对各图像块进行特征提取，得到3D医学图像的至少一个层级的特征图；
基于至少一个层级的特征图，确定各图像块所对应的权重特征图；
基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图。
可选的，特征图确定模块在至少一个层级的特征图包括至少两个层级的特征图，基于至少一个层级的特征图，确定各图像块所对应的权重特征图时，具体用于：
基于每个层级的特征图，确定各图像块对应于每个层级的权重特征图；
特征图确定模块在基于各图像块所对应的权重特征图，以及至少一个层级的特征图，得到每个图像块的特征图时，具体用于：
基于每个层级的特征图、以及各图像块对应于每个层级的权重特征图，确定每个图像块对应于每个层级的特征图；
对于每个图像块，将该图像块所对应的各个层级的特征图融合，得到该图像块的特征图。
可选的，检测结果确定模块在基于各图像块的预测概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图；
基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果。
可选的，检测结果确定模块在基于3D医学图像的概率图，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
对3D医学图像的概率图针对每一个病种进行二值化处理，得到3D医学图像对应的分割结果，分割结果表征了3D医学图像中每个像素属于各病种的病灶区域的检测结果；
基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果。
可选的，检测结果确定模块在基于3D医学图像对应的分割结果，确定3D医学图像中对应于各病种的病灶区域的检测结果时，具体用于：
基于3D医学图像对应的分割结果，确定3D医学图像中的连通域，连通域为二值化值相同的相邻像素所对应的区域；
基于各连通域，确定3D医学图像中对应于各病种的病灶区域的检测结果。
可选的，至少两个图像块中的相邻两个图像块之间具有重叠区域，检测结果确定模块在将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图时，具体用于：
对于每个重叠区域，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分；
将各图像块的预测概率图按照各图像块的切分顺序拼接，得到3D医学图像的概率图，其中，拼接后的3D医学图像的概率图中各重叠区域所对应的概率图部分为相对应的新的概率图部分。
可选的，检测结果确定模块在基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分时，具体用于：
确定重叠区域所对应的两个图像块中每个图像块各自所对应的权重；
基于每个图像块各自所对应的权重，以及重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分。
可选的，对各图像块进行特征提取，得到每个图像块所对应的特征图、以及基于每个图像块各自所对应的特征图，确定每个图像块对应于各病种的预测概率图是通过神经网络模型得到的，神经网络模型是通过以下方式训练得到的：
获取样本3D医学图像，各样本3D医学图像包括相邻的至少两张切片，各切片中标注有对应于各病种的标注结果，标注结果表征了切片中每个像素属于各病种的病灶区域的概率；
基于样本3D医学图像，对初始网络模型进行训练，直至初始网络模型的损失函数收敛，将训练结束时的模型作为神经网络模型；其中，损失函数的值表征了各切片对应的预测结果和标注结果的差异程度。
可选的，预测结果为各切片中的每个像素属于各病种的病灶区域的概率；初始网络模型的损失函数包括第一损失函数和第二损失函数，第一损失函数的值表征了各切片中的每个像素的预测结果与每个像素相对应的标注结果之间的差异程度，第二损失函数的值表征了各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。
可选的，第二损失函数的值是通过以下方式确定的：
确定各切片对中每对切片对所对应的关联权重；
基于各切片对所对应的预测结果和标注结果，以及各切片对所对应的关联权重，确定第二损失函数的值。
可选的，样本3D医学图像为3D肺部图像，病种包括结节、动脉硬化、***钙化或索条中的至少一项；标注结果是病灶区域对应的目标标注框，针对一个样本3D医学图像中的一张切片；
若病种包括结节、动脉硬化或***钙化中的至少一项，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框，原始标注结果为样本3D医学图像对应的训练数据集中各切片所对应的标注结果；
若病种为索条，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。
由于本发明实施例所提供的医学图像处理装置为可以执行本发明实施例中的医学图像处理方法的装置，故而基于本发明实施例中所提供的医学图像处理方法，本领域所属技术人员能够了解本发明实施例的医学图像处理装置的具体实施方式以及其各种变化形式，所以在此对于该装置如何实现本发明实施例中的医学图像处理方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中的医学图像处理方法所采用的医学图像处理装置，都属于本发明所欲保护的范围。
基于与本发明实施例所提供的医学图像处理方法和医学图像处理装置相同的原理，本发明实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器。其中，存储器中存储有可读指令，可读指令由处理器加载并执行时，可以实现本发明任一实施例中所示的方法。
作为一个示例，图8中示出了本发明实施例的方案所适用的一种电子设备4000的结构示意图，如图8中所示，该电子设备4000可以包括处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本发明方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述任一方法实施例所示的方案。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种医学图像处理方法，其特征在于，包括：
获取待处理的三维3D医学图像；
将所述3D医学图像切分为相邻的至少两个图像块；
对各图像块进行特征提取，得到每个图像块的特征图；
基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，所述预测概率图表征了图像块中每个像素属于各病种的概率；
基于各图像块的预测概率图，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对各图像块进行特征提取，得到每个图像块的特征图，包括：
对各图像块进行特征提取，得到所述3D医学图像的至少一个层级的特征图；
基于所述至少一个层级的特征图，确定各图像块所对应的权重特征图；
基于所述各图像块所对应的权重特征图，以及所述至少一个层级的特征图，得到每个图像块的特征图。
3.根据权利要求2所述的方法，其特征在于，所述至少一个层级的特征图包括至少两个层级的特征图，所述基于所述至少一个层级的特征图，确定各图像块所对应的权重特征图，包括：
基于每个层级的特征图，确定各图像块对应于每个层级的权重特征图；
所述基于所述各图像块所对应的权重特征图，以及所述至少一个层级的特征图，得到每个图像块的特征图，包括：
基于每个层级的特征图、以及各图像块对应于每个层级的权重特征图，确定每个图像块对应于每个层级的特征图；
对于每个图像块，将该图像块所对应的各个层级的特征图融合，得到该图像块的特征图。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于各图像块的预测概率图，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果，包括：
将所述各图像块的预测概率图按照各图像块的切分顺序拼接，得到所述3D医学图像的概率图；
基于所述3D医学图像的概率图，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所述3D医学图像的概率图，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果，包括：
对所述3D医学图像的概率图针对每一个病种进行二值化处理，得到所述3D医学图像对应的分割结果，所述分割结果表征了所述3D医学图像中每个像素属于各所述病种的病灶区域的检测结果；
基于所述3D医学图像对应的分割结果，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述3D医学图像对应的分割结果，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果，包括：
基于所述3D医学图像对应的分割结果，确定所述3D医学图像中的连通域，所述连通域为二值化值相同的相邻像素所对应的区域；
基于各所述连通域，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果。
7.根据权利要求4所述的方法，其特征在于，所述至少两个图像块中的相邻两个图像块之间具有重叠区域，所述将所述各图像块的预测概率图按照各图像块的切分顺序拼接，得到所述3D医学图像的概率图，包括：
对于每个重叠区域，基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分；
将所述各图像块的预测概率图按照各图像块的切分顺序拼接，得到所述3D医学图像的概率图，其中，拼接后的所述3D医学图像的概率图中各所述重叠区域所对应的概率图部分为相对应的所述新的概率图部分。
8.根据权利要求7所述的方法，其特征在于，所述基于重叠区域在对应的两个预测概率图中相对应的概率图部分，确定重叠区域的新的概率图部分，包括：
确定所述重叠区域所对应的两个图像块中每个图像块各自所对应的权重；
基于所述每个图像块各自所对应的权重，以及所述重叠区域在对应的两个预测概率图中相对应的概率图部分，确定所述重叠区域的新的概率图部分。
9.根据权利要求1至3中任一项所述的方法，其特征在于，所述对各图像块进行特征提取，得到每个图像块所对应的特征图、以及基于每个图像块各自所对应的特征图，确定每个图像块对应于各病种的预测概率图是通过神经网络模型得到的，所述神经网络模型是通过以下方式训练得到的：
获取样本3D医学图像，各所述样本3D医学图像包括相邻的至少两张切片，各切片中标注有对应于各病种的标注结果，所述标注结果表征了切片中每个像素属于各病种的病灶区域的概率；
基于所述样本3D医学图像，对初始网络模型进行训练，直至所述初始网络模型的损失函数收敛，将训练结束时的模型作为所述神经网络模型；
其中，所述损失函数的值表征了各切片对应的预测结果和标注结果的差异程度。
10.根据权利要求9所述的方法，其特征在于，所述预测结果为各切片中的每个像素属于各病种的病灶区域的概率；
所述初始网络模型的损失函数包括第一损失函数和第二损失函数，所述第一损失函数的值表征了各切片中的每个像素的预测结果与每个像素相对应的标注结果之间的差异程度，所述第二损失函数的值表征了所述各切片中各切片对中每对切片对所对应的预测结果与相对应的标注结果之间的差异程度。
11.根据权利要求10所述的方法，其特征在于，所述第二损失函数的值是通过以下方式确定的：
确定各切片对中每对切片对所对应的关联权重；
基于各切片对所对应的预测结果和标注结果，以及各切片对对应的关联权重，确定所述第二损失函数的值。
12.根据权利要求9所述的方法，其特征在于，所述样本3D医学图像为3D肺部图像，所述病种包括结节、动脉硬化、***钙化或索条中的至少一项；所述标注结果是病灶区域对应的目标标注框，针对一个样本3D医学图像中的一张切片；
若所述病种包括结节、动脉硬化或***钙化中的至少一项，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的目标标注框，所述原始标注结果为所述样本3D医学图像对应的训练数据集中各切片所对应的标注结果；
若所述病种为所述索条，该张切片的标注结果是通过以下方式确定的：
基于该张切片对应的所述原始标注结果所对应的中心点和半径，确定该张切片中相应病灶区域的初始标注框，对所述初始标注框进行图像形态学操作，基于操作结果确定该张切片中相应病灶区域的目标标注框。
13.一种医学图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理的三维3D医学图像；
图像切分模块，用于将所述3D医学图像切分为相邻的至少两个图像块；
特征图确定模块，用于对各图像块进行特征提取，得到每个图像块的特征图；
预测概率图确定模块，用于基于每个图像块各自的特征图，确定每个图像块对应的预测概率图，其中，所述预测概率图表征了图像块中每个像素属于各病种的概率；
检测结果确定模块，用于基于各图像块的预测概率图，确定所述3D医学图像中对应于各所述病种的病灶区域的检测结果。
14.一种电子设备，其特征在于，包括：
处理器和存储器；
所述存储器，用于存储计算机操作指令；
所述处理器，用于通过调用所述计算机操作指令，执行权利要求1至12中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现权利要求1至12中任一项所述的方法。
CN201911001225.8A 2019-10-21 2019-10-21 医学图像处理方法、装置、电子设备及计算机存储介质 Active CN110807788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911001225.8A CN110807788B (zh) 2019-10-21 2019-10-21 医学图像处理方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911001225.8A CN110807788B (zh) 2019-10-21 2019-10-21 医学图像处理方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110807788A true CN110807788A (zh) 2020-02-18
CN110807788B CN110807788B (zh) 2023-07-21

Family

ID=69488795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911001225.8A Active CN110807788B (zh) 2019-10-21 2019-10-21 医学图像处理方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110807788B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340048A (zh) * 2020-02-28 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111402275A (zh) * 2020-04-27 2020-07-10 Oppo广东移动通信有限公司 镂空检测方法、***、设备及存储介质
CN111583188A (zh) * 2020-04-15 2020-08-25 武汉联影智融医疗科技有限公司 手术导航标记点定位方法、存储介质及计算机设备
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查***
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111784638A (zh) * 2020-06-04 2020-10-16 广东省智能制造研究所 一种基于卷积神经网络的肺结节假阳性筛除方法及***
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112381771A (zh) * 2020-11-04 2021-02-19 吉林大学 一种医学影像针对病灶区域分割方法
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN112991365A (zh) * 2021-05-11 2021-06-18 广东工业大学 一种冠状动脉分割方法、***及存储介质
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
WO2021179491A1 (zh) * 2020-03-13 2021-09-16 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113506250A (zh) * 2021-06-25 2021-10-15 沈阳东软智能医疗科技研究院有限公司 肺主动脉血管提取方法、装置、可读存储介质和电子设备
CN113689353A (zh) * 2021-08-26 2021-11-23 上海联影智能医疗科技有限公司 三维图像的增强方法、图像增强模型的训练方法及装置
CN114332128A (zh) * 2021-12-30 2022-04-12 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN115131345A (zh) * 2022-08-29 2022-09-30 杭州堃博生物科技有限公司 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN116152241A (zh) * 2023-04-18 2023-05-23 湖南炅旭生物科技有限公司 一种脑部影像的处理方法、***、电子设备及存储介质
WO2023191202A1 (ko) * 2022-03-29 2023-10-05 가톨릭대학교 산학협력단 조직 슬라이드 이미지 분석 시스템 및 방법
WO2023198166A1 (zh) * 2022-04-14 2023-10-19 北京联影智能影像技术研究院 图像检测方法、***、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CN107945168A (zh) * 2017-11-30 2018-04-20 上海联影医疗科技有限公司 一种医学图像的处理方法及医学图像处理***
US20180315199A1 (en) * 2017-04-27 2018-11-01 Intel Corporation Fast motion based and color assisted segmentation of video into region layers
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技（深圳）有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110309849A (zh) * 2019-05-10 2019-10-08 腾讯医疗健康(深圳)有限公司 血管图像处理方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20180315199A1 (en) * 2017-04-27 2018-11-01 Intel Corporation Fast motion based and color assisted segmentation of video into region layers
CN107945168A (zh) * 2017-11-30 2018-04-20 上海联影医疗科技有限公司 一种医学图像的处理方法及医学图像处理***
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技（深圳）有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110309849A (zh) * 2019-05-10 2019-10-08 腾讯医疗健康(深圳)有限公司 血管图像处理方法、装置、设备及存储介质

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340048A (zh) * 2020-02-28 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111340048B (zh) * 2020-02-28 2022-02-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2021179491A1 (zh) * 2020-03-13 2021-09-16 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111583188A (zh) * 2020-04-15 2020-08-25 武汉联影智融医疗科技有限公司 手术导航标记点定位方法、存储介质及计算机设备
CN111583188B (zh) * 2020-04-15 2023-12-26 武汉联影智融医疗科技有限公司 手术导航标记点定位方法、存储介质及计算机设备
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查***
CN111402275A (zh) * 2020-04-27 2020-07-10 Oppo广东移动通信有限公司 镂空检测方法、***、设备及存储介质
CN111784638A (zh) * 2020-06-04 2020-10-16 广东省智能制造研究所 一种基于卷积神经网络的肺结节假阳性筛除方法及***
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111696094B (zh) * 2020-06-12 2021-06-08 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111968087B (zh) * 2020-08-13 2023-11-07 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN112016634B (zh) * 2020-09-30 2023-07-28 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN112381771A (zh) * 2020-11-04 2021-02-19 吉林大学 一种医学影像针对病灶区域分割方法
CN112381771B (zh) * 2020-11-04 2022-08-05 吉林大学 一种医学影像针对病灶区域分割方法
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN112991365A (zh) * 2021-05-11 2021-06-18 广东工业大学 一种冠状动脉分割方法、***及存储介质
CN112991365B (zh) * 2021-05-11 2021-07-20 广东工业大学 一种冠状动脉分割方法、***及存储介质
CN113506250B (zh) * 2021-06-25 2024-05-28 沈阳东软智能医疗科技研究院有限公司 肺主动脉血管提取方法、装置、可读存储介质和电子设备
CN113506250A (zh) * 2021-06-25 2021-10-15 沈阳东软智能医疗科技研究院有限公司 肺主动脉血管提取方法、装置、可读存储介质和电子设备
CN113689353A (zh) * 2021-08-26 2021-11-23 上海联影智能医疗科技有限公司 三维图像的增强方法、图像增强模型的训练方法及装置
CN114332128B (zh) * 2021-12-30 2022-07-26 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN114332128A (zh) * 2021-12-30 2022-04-12 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
WO2023191202A1 (ko) * 2022-03-29 2023-10-05 가톨릭대학교 산학협력단 조직 슬라이드 이미지 분석 시스템 및 방법
WO2023198166A1 (zh) * 2022-04-14 2023-10-19 北京联影智能影像技术研究院 图像检测方法、***、装置及存储介质
CN115131345B (zh) * 2022-08-29 2023-02-03 杭州堃博生物科技有限公司 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN115131345A (zh) * 2022-08-29 2022-09-30 杭州堃博生物科技有限公司 基于ct图像的病灶检测方法、装置及计算机可读存储介质
WO2024045395A1 (zh) * 2022-08-29 2024-03-07 杭州堃博生物科技有限公司 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN116152241A (zh) * 2023-04-18 2023-05-23 湖南炅旭生物科技有限公司 一种脑部影像的处理方法、***、电子设备及存储介质

Also Published As

Publication number Publication date
CN110807788B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN109685060B (zh) 图像处理方法和装置
US20220092789A1 (en) Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN112329871B (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
CN110910408A (zh) 图像分割方法、装置、电子设备及可读存储介质
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN114445670A (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN113838067A (zh) 肺结节的分割方法和装置、计算设备、可存储介质
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
Rehman et al. Automatic melanoma detection and segmentation in dermoscopy images using deep RetinaNet and conditional random fields
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN113554656B (zh) 基于图神经网络的光学遥感图像实例分割方法及装置
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN115018863A (zh) 基于深度学习的图像分割方法及装置
CN112381822B (zh) 一种用于处理肺部病灶区图像的方法和相关产品
CN117934824A (zh) 一种超声影像的目标区域分割方法、***及电子设备
CN113256622A (zh) 基于三维图像的目标检测方法、装置及电子设备
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021899

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant