CN115082389A - 医学影像的肋骨检测方法、设备及介质 - Google Patents

医学影像的肋骨检测方法、设备及介质 Download PDF

Info

Publication number
CN115082389A
CN115082389A CN202210648147.6A CN202210648147A CN115082389A CN 115082389 A CN115082389 A CN 115082389A CN 202210648147 A CN202210648147 A CN 202210648147A CN 115082389 A CN115082389 A CN 115082389A
Authority
CN
China
Prior art keywords
rib
query
query item
medical image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210648147.6A
Other languages
English (en)
Inventor
郭恒
张剑锋
许敏丰
吕乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210648147.6A priority Critical patent/CN115082389A/zh
Publication of CN115082389A publication Critical patent/CN115082389A/zh
Priority to US18/327,227 priority patent/US20230401706A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种医学影像的肋骨检测方法、设备及介质。利用神经网络模型，对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，可确定至少一个肋骨查询项各自的特征向量。对该至少一个肋骨查询项各自的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果。其中，肋骨查询项被赋予了解剖学中的语义信息，使其可关注不同肋骨区域的特征，从而实现了可操纵的、实例级别的肋骨检测。上述图像检测方法，使任一肋骨检测结果包括肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值，从而可准确地在三维空间中确定肋骨实例所在的位置，以精确地在医学影像中实现肋骨实例分割。

Description

医学影像的肋骨检测方法、设备及介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种医学影像的肋骨检测方法、设备及介质。
背景技术
计算机辅助诊断(Computer Aided Diagnosis，CAD)技术，可基于计算机强大的分析计算能力，结合影像学、医学图像处理技术以及其他可能的生理、生化手段，帮助医师发现病灶。
从计算机断层扫描(Computed Tomography)，CT)图像中自动分割出实例级别的肋骨，是许多与肋骨相关应用的先决条件。但是，受肋骨粘附、结构破损或影像视野(FOV)等情况的影响，现有的肋骨分割方法的准确性较差。因此，有待提出一种新的解决方案。
发明内容
本申请的多个方面提供一种医学影像的肋骨检测方法、设备及介质，用以准确地从医学影像中分割出实例级别的肋骨。
本申请实施例提供一种医学影像的肋骨检测方法，包括：获取包含肋骨的三维的医学影像；利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定所述至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自的肋骨检测结果；任一肋骨查询项对应的肋骨检测结果，包括：所述肋骨查询项对应的肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
本申请实施例还提供一种医学影像的肋骨检测方法，应用于AR设备，包括：获取包含肋骨的三维的医学影像；利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值；在捕获到的真实影像中，叠加展示所述至少一个肋骨查询项各自对应的肋骨检测结果。
本申请实施例还提供一种医学影像的肋骨检测方法，包括：响应客户端对第一接口的调用请求，从所述第一接口的接口参数中获取包含肋骨的三维的医学影像；利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定所述至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
本申请实施例还提供一种电子设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的方法中的步骤。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现本申请实施例提供的方法中的步骤。
在本申请实施例提供的医学影像的肋骨检测方法中，可利用神经网络模型，对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，可确定至少一个肋骨查询项各自对应的特征向量。对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果。其中，肋骨查询项被赋予了解剖学中的语义信息，使其可关注不同肋骨区域的特征，从而，实现了可操纵的、实例级别的肋骨检测。同时，任一肋骨检测结果，包括肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值，基于位姿参数预测值可准确地在三维空间中确定肋骨实例所在的位置，从而精确地在三维的医学影像中实现肋骨实例分割。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一示例性实施例提供的医学影像的肋骨检测方法的流程示意图；
图2为本申请一示例性实施例提供的神经网络模型的结构示意图；
图3为提供肋骨查询项时的肋骨分割结果的示意图；
图4为肋骨查询项与肋骨类别真值的二分匹配过程的示意图；
图5为用于确定二分匹配的惩罚项的加权邻接矩阵的示意图；
图6为医学影像上的24个肋骨实例的分割结果以及标记结果的示意图；
图7为本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对现有技术中存在的技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的医学影像的肋骨检测方法的流程示意图，如图1所示，该方法包括：
步骤101、获取包含肋骨的三维的医学影像。
步骤102、利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。
步骤103、根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定所述至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应。
步骤104、对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自的肋骨检测结果；任一肋骨查询项对应的肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
本实施例提供的肋骨分割方法，可用于从医学影像中分割出实例级别的肋骨。其中，医学影像是指基于CT技术对包含肋骨的胸腹部进行轴向断层扫描成像得到的图像。在正常情况下，人类胸腹部CT图像中，可呈现24根肋骨，这24根肋骨平均分布在胸腔的左右两侧。
在本实施例中，由于医学影像中的肋骨的数量相对固定，可将医学图像的肋骨检测问题转化为检测框的集合预测(set prediction)问题，以提升检测效率。其中，神经网络模型可基于变换器(Transformer)架构实现。在基于变换器的神经网络模型中，编码器可通过训练，学习关注输入图像上的不同肋骨区域的特征，可通过解码器学习多个目标查询项(object query)，并可并行解码多个目标。其中，目标查询项的数量可以是自定义的，目标查询项与查询对象的绑定关系，可在训练过程中学习得到。基于学习到的目标查询项与查询对象的绑定关系，神经网络模型可实现可操纵的对象检测和分割。
在本实施例中，将医学影像输入神经网络模型后，在神经网络模型中，可利用编码器对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。
用于肋骨实例分割时，解码器可学习关于肋骨实例的目标查询项，以下描述为肋骨查询项(rib query)。在本实施例中，可按照肋骨的分布规律，从左上第一根肋骨开始，按照从上到下、从左到右的顺序对肋骨进行顺序编号，得到肋骨编号1～24，并采用肋骨编号作为肋骨查询项。在训练阶段，可将肋骨编号1～24均作为肋骨查询项，以学习每个肋骨查询项与其对应的肋骨实例在医学影像中的位置的内在联系。
其中，解码器的输入包括：至少一个肋骨查询项以及编码器输出的多个特征向量。其中，至少一个肋骨查询项，与待检测的肋骨一一对应。该待检测的肋骨，可以是用户指定的，也可以默认是医学影像上的部分或者所有肋骨。
在一些实施例中，在预测阶段，该至少一个肋骨查询项可包括：用户输入的目标肋骨对应的肋骨查询项。例如，用户请求检测左侧第3根肋骨时，可将左侧第3根肋骨对应的编号3，作为肋骨查询项，以参与肋骨实例的检测过程。
在另一些实施实例中，在预测阶段，该至少一个肋骨查询项可包括：预设的与医学影像中的多根肋骨一一对应的多个肋骨查询项。即，默认参与肋骨实例检测过程的肋骨查询项包括肋骨编号1～24。
在解码器的训练阶段，可使用二分匹配法将肋骨查询项与肋骨类别真值进行绑定，进而解码器可学习肋骨查询项与医学影像中的不同肋骨区域的对应关系。即，每个肋骨查询项可被训练用于关注医学影像中的不同肋骨区域。基于肋骨查询项与医学影像中的不同肋骨区域的对应关系，解码器可确定输入的至少一个肋骨查询项各自对应的特征向量，即，每个肋骨查询项获取到其关注的区域的特征向量。
其中，解码器可对至少一个肋骨查询项各自对应的特征向量进行并行解码，得到至少一个肋骨查询项各自的肋骨检测结果。其中，任一肋骨查询项对应的肋骨检测结果，可包括：该肋骨查询项对应的肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。其中，肋骨预测类别包括：24个不同的肋骨类别以及非肋骨类别(即背景类别)。其中，肋骨类别，可以采用肋骨编号进行标记。其中，位姿参数，用于描述肋骨实例的检测框的位置以及姿态。其中该位置可以是肋骨实例的检测框的中心点在三维空间中的位置，该姿态，可以是检测框在三维空间中的旋转角度。
在一些实施例中，肋骨检测框在三维空间中的位姿参数，可至少包括9个自由度的位姿参数，即：肋骨检测框在医学影像对应的坐标系XYZ中的中心点坐标(x,y,z)，在X轴、Y轴、Z轴上的尺度信息(w，h，d)以及在在X轴、Y轴、Z轴上的旋转角(α，β，γ)。即，神经网络输出的预测位姿参数可至少包括上述9个自由度的参数预测值。其中，X方向对应人体向右的方向，Y方向对应人体前(胸)后(背)的方向，Z对应人体上(头)下(脚)的方向。
本实施例中，可利用神经网络模型，对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，可确定至少一个肋骨查询项各自对应的特征向量。对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果。其中，肋骨查询项被赋予了解剖学中的语义信息，使其可关注不同肋骨区域的特征，从而，实现了可操纵的、实例级别的肋骨检测。同时，任一肋骨检测结果，包括肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值，基于位姿参数预测值可准确地在三维空间中确定肋骨实例所在的位置，从而精确地在三维的医学影像中实现肋骨实例分割。
在上述各实施例的基础上，得到至少一个肋骨查询项各自对应的肋骨检测结果后，神经网络模型还可根据至少一个肋骨查询项各自的肋骨检测结果，从医学影像中分割出肋骨实例，得到图像分割结果。
在这种实施方式中，采用了“先检测后分割”的范式，每个肋骨查询项对应一个肋骨检测结果，每个肋骨检测结果可分割得到一个肋骨实例。进而，实现了实例级别的肋骨分割，降低了肋骨粘附或者结构破损对肋骨分割的干扰，提升了肋骨分割结果的直观性、准确性。
在一些示例性的实施例中，本申请采用的神经网络模型可基于图2示意的Transformer网络结构或其变形网络实现，本实施例不做限制。
如图2所示，用于执行肋骨实例的分割操作时，神经网络模型主要包括：依次连接的输入层、RoI(region of interest，感兴趣区域)提取器、肋骨查询模块(Rib-Query)、检测框探测模块、分割网络。
其中，RoI提取器以及分割网络可基于相互独立的分割模块实现，以在不同的空间分辨率下执行不同的分割任务。其中，该分割模块可实现为U-Net、V-Net或者FCN(FullyConvolutional Network，全卷积网络)模块，本实施例包含但不限于此。其中，肋骨查询模块，基于Transformer网络实现，主要包含特征提取器、编码器以及解码器。
以下将结合图2对肋骨实例的检测以及分割过程进行进一步示例性说明。
医学影像输入神经网络模型后，可采用RoI提取器，从医学影像中提取包含肋骨的三维的兴趣区域。通常，医学影像是各向异性的，在局部坐标系中的X，Y，Z三个扫描方向的像素间距(pixel spacing)不一致。其中，X、Y方向的像素间距较小、分辨率较高，通常为0.5mm。Z方向的像素间距较大，通常为1～3mm。为便于分割网络进行处理，可对医学影像中的像素间距进行调整，得到各向同性的医学影像，以使得X、Y、Z三个方向的像素间距一致后，输入RoI提取器。RoI提取器可从各向同性的医学影像中提取包含肋骨的三维的兴趣区域。例如，可将三维的医学影像在X、Y、Z轴上的像素间距均调整为3mm，RoI提取器可在3mm的分辨率下进行训练并推理，以较为准确地提取出包含肋骨的兴趣区域。
在肋骨查询模块中，可由特征提取器对兴趣区域进行特征提取，得到空间特征。如图2所示，特征提取器输出的扁平化的空间特征被输入编码器。编码器主要由自注意力(Self-Attention)网络以及前馈神经网络(feed-forward network，FFN)组成。在编码器中，可利用自注意力网络，基于自注意力机制对输入的空间特征进行自注意力编码，得到不同肋骨区域对应的特征向量。
在训练阶段中，可选地，采用特征提取器对兴趣区域进行特征提取，得到空间特征之前，可进一步对兴趣区域执行数据增强操作，以提升模型的泛化性能以及训练效率。可选地，可对兴趣区域执行随机位移、随机尺度变换、随机旋转、随机裁剪以及随机擦除中的至少一种，以对所述兴趣区域进行数据增强。
其中，由于肋骨的位置，方向和尺度各不相同，因此在不同的CT扫描图之间可能存在局部歧义，通过执行随机位移、随机尺度变换、随机旋转等操作，可使得输入数据更富有变化性，以准确地识别每个肋骨实例。其中，随机裁剪，可沿着三维空间中的Z轴进行。通过随机裁剪，可截断一些肋骨实例，以模仿临床情况下的各种数据。其中，随机擦除，可按照一定概率删除训练样本中位于图像底部的肋骨，以缓解可能出现的过度预测的问题。
其中，编码器输出的不同肋骨区域对应的特征向量，将输入解码器中。解码器的输入还包括至少一个肋骨查询项，如图2所示的q1、q2…q23、q24。其中，解码器主要由自注意力网络、注意力网络以及前馈神经网络组成。该至少一个肋骨查询项输入解码器后，可在自注意力网络中进行自注意力计算，从而使得该至少一个肋骨查询项之间信息互通，实现肋骨实例的整体排列。每一个肋骨查询项经过自注意力计算之后，被输入注意力网络。针对任一肋骨查询项，在注意力网络中，可基于注意力机制对输入的肋骨查询项以及肋骨查询项对应的特征向量进行注意力计算，以得到解码向量。
其中，解码器输出的每一解码向量，分别输出至分类层以及边界框预测层。在分类层中，可根据肋骨查询项的解码向量进行分类计算，得到肋骨查询项对应的肋骨预测类别。在边界框预测层中，可根据肋骨查询项的解码向量进行边界框预测，得到肋骨查询项对应的肋骨检测框在三维空间中的位姿参数预测值。
其中，位姿参数预测值包括：检测框的中心位置的预测值、检测框的尺度的预测值以及检测框的旋转角度的预测值中的至少一种。
在局部坐标系中，可采用(x，y，z，w，h，d，α，β，γ)的参数组表示9自由度的检测框。其中，(x，y，z)为检测框的中心点在X轴、Y轴、Z轴上的坐标；w为检测框在X轴上的尺度，h为检测框在Y轴上的尺度，d为检测框在Z轴上的尺度；α为检测框在X轴上的旋转角，β为检测框在Y轴上的旋转角，γ为检测框在Z轴上的旋转角。如图2所示，肋骨查询模块输出的肋骨查询项对应的肋骨检测结果，可输入检测框探测模块(即图2示意的9自由度的检测框探测模块)。检测框探测模块，可基于检测框的位姿参数预测值，在医学影像中绘制每个肋骨查询项对应的9自由度的肋骨检测框。确定肋骨检测框后，可采用分割网络进行肋骨分割。在本实施例中，为获取较为精确的肋骨分割结果，可采用更精细的空间分辨率，在局部裁剪的视角(FOV)中独立分割每根肋骨。以下将结合任一肋骨查询的肋骨检测结果进行示例性说明。
针对任一肋骨检测结果，分割网络可根据肋骨检测结果中的检测框在三维空间中的位姿参数预测值，从医学影像中分割出子体积块。可选地，该子体积块，可从原始输入的医学影像中获取。该原始输入的医学影像具有原始分辨率，该原始分辨率中，像素间距更小(例如为2mm，1mm甚至0.5mm)，有利于获取更加准确的分割结果。获取子体积快后，可对该子体积快执行二值分割，得到子体积快中的肋骨实例与非肋骨区域的分割结果。
在本实施例中，分割网络可包括多个并行的肋骨分割头(Segmentation Head)。当肋骨查询模块输出多个肋骨查询项的肋骨检测结果时，可根据该多个肋骨查询项的肋骨检测结果，从原始分辨率的医学影像中分割出多个子体积快，并采用多个肋骨分割头，并行地对多个子体积快执行二值分割。
在二值分割的过程中，感兴趣的肋骨区域被分割为前景，其他组织(包括相邻的肋骨)被分割为背景。该分割结果可采用二值的掩膜(mask)进行表示。在掩膜中，值为1的像素为肋骨实例中的像素，值为0的像素，为背景中的像素。在获取多个肋骨各自的二值掩膜后，可将二值掩膜与相应的分类预测标签和空间位置进行合并，以形成最终的实例分割结果。
在这种实施方式中，一方面，基于肋骨查询项进行肋骨检测与分割，可获取可操纵的肋骨检测与分割结果。另一方面，采用9自由度的检测框估计肋骨实例所在的位置，可更加精确地从三维空间中分割出肋骨，并有效应对肋骨粘附以及结构破损等异常情况。
在本申请的上述以及下述各实施例中，基于肋骨查询项，可向用户提供可控的肋骨分割结果查询功能。以下将进行示例性说明。
在一些可选的实施例中，根据该至少一个肋骨查询项各自的肋骨检测结果，从该医学影像中分割出肋骨实例，得到图像分割结果之后，可获取用户输入的针对任一肋骨实例的分割请求，确定该肋骨实例对应的目标肋骨查询项，并从该图像分割结果中，确定与该目标肋骨查询项对应的肋骨分割结果，作为该肋骨实例的分割结果。确定肋骨实例的分割结果后，可在医学影像中，突出展示该肋骨实例的分割结果。
例如，如图3所示，用户可输入：查询右侧第5根肋骨。基于左右肋骨顺序与肋骨查询项的映射关系，可确定右侧第5根肋骨的肋骨查询项为：肋骨编号5。若该至少一个肋骨查询项对应的肋骨分割结果包含肋骨编号5对应的肋骨分割结果，则可返回肋骨编号5对应的肋骨分割结果，作为右侧第5根肋骨对应的分割结果。在医学影像中，可采用高亮或者特殊标记的方式突出展示右侧第5根肋骨的分割结果，以使得查询结果更加直观。
基于这种实施方式，实现了肋骨的定向分割，可根据用户需求灵活地向用户返回指定的肋骨分割结果。
上述实施例为神经网络在推理阶段的执行的肋骨检测与分割逻辑。除上述肋骨检测方法之外，本申请实施例还提供了一种神经网络模型的训练方法。在训练过程中，神经网络模型的前向传播过程如前述实施例的记载。神经网络模型可基于前述实施例提供的肋骨检测方法，从输入的医学影像中检测出实例级别的肋骨，以完成前向传播，不再赘述。
在训练阶段中，可在前向传播的基础上，以降低推理误差为目标，对神经网络模型进行优化。即，得到至少一个肋骨查询项各自的肋骨检测结果之后，可进一步结合预设的监督信号，对神经网络模型进行有监督训练。
可选地，可获取该至少一个肋骨查询项各自对应的肋骨类别真值以及肋骨检测框的位姿参数真值。该肋骨类别真值可以是预先设置的。该肋骨检测框的位姿参数真值，可以是胸腹部扫描图像计算得到的。以下将进行示例性说明。
获取到在X、Y、Z轴上对胸腹部进行扫描得到的三视图后，可通过三视图进行三维空间重建，以重建出肋骨在三维空间中的姿态，并对重建出的肋骨姿态继续可视化展示。其中，三视图上可对肋骨实例进行标注，同一肋骨实例的标注标签(例如颜色)相同。在三维重建出肋骨实例后，可采用肋骨实例在三视图上的标注方式，对三维空间中的肋骨实例进行标注，从而以可视化的方式展示并区分不同肋骨实例。
基于三维重建并可视化后的肋骨实例，采用主成分分析法(Principal ComponentAnalysis，PCA)计算肋骨实例的参数化表达，并将计算得到的参数化表达作为肋骨检测框的位姿参数真值。其中，基于主成分分析法，可计算肋骨体素坐标协方差矩阵的特征值和特征向量，并对特征值进行排序以确定具有相应特征向量的局部坐标系的轴。在局部坐标系中，可采用(x，y，z，w，h，d，α，β，γ)的参数组表示9自由度的检测框。
在训练过程中，可采用二分匹配的方法找到肋骨查询项的一个排列，以将肋骨查询项的预测结果映射到肋骨类别真值上，如图4所示。在图4的示意中，肋骨查询项q与肋骨类别真值x之间的匹配关系，可在训练过程中进行学习，以实现较优匹配。为找到较优匹配，可构造二分匹配的匹配损失，以将肋骨查询项与肋骨类别真值进行绑定，从而训练神经网络模型找到每一肋骨查询项所关注的区域。
可选地，二分匹配的匹配损失可至少包括三个部分：分类损失、边界框预测损失以及惩罚项。其中，根据该至少一个肋骨实例各自的肋骨类别真值以及肋骨预测类别之间的误差，可确定分类损失。根据该至少一个肋骨实例各自肋骨检测框的位姿参数真值与位姿参数预测值之间的误差，确定边界框预测损失。当采用多个自由度的参数描述边界框时，边界框的损失，可包含多自由度的回归损失。其中，惩罚项是指该至少一个肋骨实例各自对应肋骨查询项与肋骨类别真值之间的惩罚项。在训练过程中，可通过配置该惩罚项，指导肋骨查询模块学习肋骨查询项与肋骨类别真值的匹配关系。当肋骨查询项与用户指定的肋骨类别真值匹配或者较为接近时，惩罚项较小；反之，惩罚项较大。
在一些可选的实施例中，为便于快速获取惩罚项，可为肋骨查询项以及肋骨类别真值设置索引，并根据肋骨查询项以及肋骨类别真值的期望匹配关系，设置加权邻接矩阵。惩罚项可采用加权邻接矩阵获取。若期望索引相同的肋骨查询项与肋骨类别真值为较佳匹配，则该加权邻接矩阵的一种实现方式，可如图5所示。该加权邻接矩阵中，按行存储有该多个肋骨查询项的索引，按列存储有多个肋骨类别真值的索引。其中，肋骨查询项的索引与肋骨类别真值的索引相同时，惩罚值为0。肋骨查询项的索引与肋骨类别真值的索引值的差距越大，则索引值的交叉位置对应的惩罚值越大。例如，肋骨查询项的索引为1，肋骨类别真值的索引为9时，惩罚值为8。肋骨查询项的索引为1，肋骨类别真值的索引为2时，惩罚值为1。
针对任一肋骨对应的肋骨查询项，从预设的加权邻接矩阵中，查询该肋骨查询项与该肋骨查询项对应的肋骨类别真值之间的惩罚值。其中，肋骨查询项对应的肋骨类别真值，是指推理出的肋骨查询项对应的肋骨实例的类别真值。
在每一轮训练中，基于上述实施方式确定匹配损失后，可根据匹配损失，对该至少一个肋骨查询项与肋骨类别真值的分配关系进行更新，以学习肋骨查询项与医学影像中的不同肋骨区域的对应关系。
以下将举例说明。
假设，胸腹部CT扫描图包含N个待检测的肋骨实例，其中，1≤N≤C，C为正常胸腹部扫描图中肋骨的最大数目。通常，C设置为24。肋骨集可表示为：
Figure BDA0003684803510000091
其中，xi表示第i个肋骨实例，ci表示第i个肋骨实例的肋骨类别真值，
Figure BDA0003684803510000092
表示第i个肋骨实例的检测框的中心位置真值，
Figure BDA0003684803510000093
示第i个肋骨实例的检测框的尺度真值，
Figure BDA0003684803510000094
表示第i个肋骨实例的检测框的旋转角度真值。
其中，可将肋骨查询项的集合描述为q＝{qi,0≤i≤Q}，查询项的总数设置为C+1，Q＝C+1。在肋骨查询模块中，解码器具有C+1个输出通道，其中，通道零作为用于输出背景类别，通道1～C通道用于输出C个肋骨实例的分类结果。其中，加权邻接矩阵可标记为M，M∈R(Q +1)×(Q+1)。
将第i个肋骨实例对应的肋骨查询项的索引描述为σ(i)，索引为σ(i)的肋骨查询项对应的检测结果描述为
Figure BDA0003684803510000095
则肋骨查询模块在
Figure BDA0003684803510000096
上的匹配损失可以描述为：
Figure BDA0003684803510000097
其中，ci是第i个肋骨实例的肋骨类别真值，
Figure BDA0003684803510000098
是第i个肋骨实例在ci类上的概率预测，
Figure BDA0003684803510000099
为肋骨查询项σ(i)对应的检测框的中心位置的预测值，
Figure BDA00036848035100000910
为第i个肋骨实例对应的检测框的中心位置的真值。
Figure BDA00036848035100000911
为肋骨查询项σ(i)对应的检测框的尺度的预测值，
Figure BDA00036848035100000912
为第i个肋骨实例对应的检测框的尺度的真值。
Figure BDA00036848035100000913
为肋骨查询项σ(i)对应的检测框的旋转角度的预测值，
Figure BDA00036848035100000914
为第i个肋骨实例对应的检测框的旋转角度的真值。M[σ(i)，ci]表示，肋骨查询项σ(i)与第i个肋骨实例的肋骨类别真值ci之间的惩罚项。λC、λp、λs、λα、λm分别为肋骨类别、检测框中心位置、检测框尺度、检测框旋转角度以及加权邻接矩阵的加权系数。
在上述实施例中，通过在匹配损失中增加惩罚项，并采用加权邻接矩阵配置肋骨查询项与肋骨类别真值之间的惩罚值的大小，可使得每个肋骨查询项可***控于学习预测指定类别的肋骨实例。
在每个训练轮次中，可基于上述匹配代价，采用匈牙利算法(Hungarian)寻找肋骨查询项与肋骨类别真值的较佳匹配关系。从而，每个肋骨查询项可在训练过程中，建立与医学影像上的不同肋骨区域的对应关系，并不断学习对应的类别的预测任务。在训练后的推理过程中，每个肋骨查询项可根据学习到的对应关系以及对应类别的预测任务进行推理预测。在训练阶段，神经网络模型在N个肋骨实例上的整体模型损失函数可以描述为：
Figure BDA0003684803510000101
根据上述模型损失函数，可采用梯度下降法对该神经网络模型进行优化。当该上述模型损失函数收敛到指定范围时，可停止训练，并输出训练完成的神经网络模型。
在上述训练过程中，通过匹配损失，为神经网络模型添加了约束，使得神经网络学习肋骨查询项与医学影像中不同区域的特征向量之间的内在联系，从而可根据医学影像上不同区域的特征，准确地从医学影像的不同区域识别出肋骨实例。
在一些场景中，可将前述各实施例提供的医学影像的肋骨检测方法封装为可供第三方使用的软件工具，例如SaaS(Software-as-a-Service，软件即服务)工具。其中，该SaaS工具可实现为插件或者应用程序。该插件或者应用程序可以被部署在服务器上，并可向客户端等第三方用户开放指定的接口。为便于描述，在本实施例中，将该指定的接口描述为第一接口。进而，客户端等第三方用户通过调用该第一接口，便捷地访问并使用服务端设备提供的上述方法。其中，该服务器可以是常规服务器或者云服务器，本实施例不做限制。
以医学影像的肋骨检测方法对应的SaaS工具为例，服务器可响应客户端对第一接口的调用请求，从该第一接口的接口参数中获取包含肋骨的三维的医学影像；利用神经网络模型，对该医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，该至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
在提供肋骨分割服务时，服务器可在得到上述至少一个肋骨查询项各自对应的肋骨检测结果之后，根据上述至少一个肋骨查询项各自对应的检测结果，从医学影像中分割出至少一个肋骨实例，得到图像分割结果，并将图像分割结果返回至客户端以供查看。
在这种实施方式中，服务器可基于其上运行的SaaS工具，向客户端提供医学影像中的肋骨分割服务，降低了客户端的计算压力以及计算成本。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤104的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
除肋骨实例分割场景之外，本申请上述以及下述各实施例提供的分割方法，还可以扩展到其他场景中，以对空间中的具有一定分布规律的物体进行分割。例如，可应用在货架图像中的商品分割场景等，本实施例不做限制。以下将结合图6，对本申请实施例提供的医学影像的肋骨检测方法的一种典型应用场景进行示例性说明。
在一种典型的应用场景中，本申请实施例提供的医学影像的肋骨检测方法可应用于胸腹部造影图像中的肋骨检测以及分割过程。在获取到患者的胸腹部的CT造影图像后，可将腹部造影图像输入电子设备。电子设备可利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
在得到所述至少一个肋骨查询项各自对应的肋骨检测结果之后，电子设备可根据该至少一个肋骨查询项各自对应的检测结果，从医学影像中分割出至少一个肋骨实例，得到图像分割结果。其中，该至少一个肋骨实例可采用不同颜色进行标记以及区分。
在一些实施例中，用户提供肋骨搜索信息时，电子设备可通过神经网络模型，分割出用户指定的肋骨实例，并进行展示，如图3所示。在另一些实施例中，用户未提供肋骨搜索信息时，电子设备可默认通过神经网络模型，分割出医学影像中的所有肋骨实例，并进行展示，如图6所示的编号为1～24的肋骨实例的分割结果。
在这种实施方式中，基于肋骨查询项，实现了可控的肋骨实例分割，并基于检测框在三维空间中的姿态预测值，提升了三维空间内的肋骨分割精度。
值得说明的是，本申请前述各实施例提供的医学影像的肋骨检测方法，还可由AR(Augmented Reality,增强现实)设备实现。该AR设备可实现为AR头戴显示设备，或者可实现为安装有AR应用的智能终端设备，本实施例不做限制。在远程诊断以及会诊场景中，可通过AR设备获取虚拟影像以及真实影像，并将虚拟影像与真实影像进行叠加展示。在本实施例中，虚拟影像可根据三维的医学影像获取。
其中，AR设备可获取包含肋骨的三维的医学影像，该医学影像可由用户输入，或者可由AR设备从服务器端获取，本实施例不做限制。AR设备上运行有用于进行肋骨检测的神经网络模型。其中，神经网络模型可对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；并根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，该至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应。神经网络模型对该至少一个肋骨查询项各自对应的特征向量进行并行解码，可得到该至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
获取到神经网络模型输出的检测结果后，AR设备可在捕获到的真实影像中，叠加展示该至少一个肋骨查询项各自对应的肋骨检测结果，进而实现真实影像与虚拟的肋骨检测结果的叠加展示。
其中，AR设备在展示该至少一个肋骨查询项各自对应的肋骨检测结果时，可根据任一肋骨查询项对应的检测框在三维空间中的位姿参数预测值，在虚拟的三维空间中重建三维的检测框，并展示重建后的三维的检测框。该三维的检测框附近，可标记对应的肋骨类别真值，以便于查看并区分三维空间中展示的不同肋骨实例的检测结果。
在一些实施例中，神经网络模型获取到该至少一个肋骨查询项各自对应的肋骨检测结果后，可对医学影像执行肋骨实例的分割操作，得到分割出的至少一个肋骨实例。在这种实施方式中，由于肋骨检测结果包含肋骨检测框在三维空间中的位姿参数预测值，因而可从三维的医学影像中分割出三维的肋骨实例。AR设备在展示分割结果时，可在虚拟的三维空间中，展示三维的肋骨实例的分割结果，从而更加清晰地展示肋骨的解剖结构。
在上述实施方式中，基于AR设备，可在三维空间中展示实例级别的肋骨检测或者分割结果，并将实例级别的肋骨检测或者分割结果与真实场景中捕获到的真实信息(例如病灶部位)进行联动展示，可向真实场景中补充更加丰富、准确的肋骨解剖学信息。
图7是本申请一示例性实施例提供的电子设备的结构示意图，如图7所示，该电子设备包括：存储器701以及处理器702。
存储器701，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。
存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器702，与存储器701耦合，用于执行存储器701中的计算机程序，以用于：获取包含肋骨的三维的医学影像；利用神经网络模型，对该医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，该至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
可选地，该至少一个肋骨查询项包括：用户输入的目标肋骨对应的肋骨查询项；或者，预设的与该医学影像中的多根肋骨一一对应的多个肋骨查询项。
可选地，处理器702在对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果之后，还用于：根据该至少一个肋骨查询项各自对应的检测结果，从该医学影像中分割出至少一个肋骨实例，得到图像分割结果。
可选地，处理器702在根据该至少一个肋骨查询项各自对应的肋骨检测结果，从该医学影像中分割出至少一个肋骨实例，得到图像分割结果时，具体用于：针对任一肋骨检测结果，根据该肋骨检测结果中的检测框在三维空间中的位姿参数预测值，从该医学影像中分割出子体积块；对该子体积快执行二值分割，得到该子体积快中的肋骨实例与非肋骨区域的分割结果。
可选地，处理器702在根据该至少一个肋骨查询项各自对应的肋骨检测结果，从该医学影像中分割出至少一个肋骨实例，得到图像分割结果之后，还用于：获取用户输入的针对任一肋骨实例的分割请求，确定该肋骨实例对应的目标肋骨查询项；从该图像分割结果中，确定与该目标肋骨查询项对应的肋骨分割结果，作为该肋骨实例的分割结果；在该医学影像中，突出展示该肋骨实例的分割结果。
可选地，处理器702在对该医学影像中的不同肋骨区域进行特征编码，得到多个特征向量时，具体用于：对该医学影像中的像素间距进行调整，得到各向同性的医学影像；采用分割网络，从该各向同性的医学影像中提取包含肋骨的三维的兴趣区域；对该兴趣区域进行特征提取，得到空间特征；基于自注意力机制，对该空间特征进行自注意力编码，得到该不同肋骨区域对应的特征向量。
可选地，处理器702在对该兴趣区域进行特征提取，得到空间特征之前，还用于：对该兴趣区域执行随机位移、随机尺度变换、随机旋转、随机裁剪以及随机擦除中的至少一种，以对该兴趣区域进行数据增强。
可选地，处理器702在对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自的肋骨检测结果时，具体用于：针对任一肋骨查询项，基于注意力机制对该肋骨查询项对应的特征向量进行解码，得到解码向量；根据该解码向量进行分类计算，得到该肋骨查询项对应的肋骨预测类别；以及，根据该解码向量进行边界框预测，得到该肋骨查询项对应的肋骨检测框在三维空间中的位姿参数预测值；其中，该位姿参数预测值包括：检测框的中心位置的预测值、检测框的尺度的预测值以及检测框的旋转角度的预测值中的至少一种。
可选地，处理器702在对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自的肋骨检测结果之后，还用于：获取该至少一个肋骨查询项各自对应的肋骨类别真值以及肋骨检测框的位姿参数真值；根据该至少一个肋骨查询项各自的肋骨类别真值以及肋骨预测类别之间的误差，确定分类损失；根据该至少一个肋骨查询项各自肋骨检测框的位姿参数真值与位姿参数预测值之间的误差，确定边界框预测损失；以及，确定该至少一个肋骨实例各自对应肋骨查询项与肋骨类别真值之间的惩罚项；根据该分类损失、该边界框预测损失以及该惩罚项确定匹配损失；根据该匹配损失，对该至少一个肋骨查询项与肋骨类别真值的分配关系进行更新，以学习肋骨查询项与医学影像中的不同肋骨区域的对应关系。
可选地，处理器702在确定该至少一个肋骨实例各自对应肋骨查询项与标签真值之间的惩罚项时，具体用于：针对任一肋骨查询项，从预设的加权邻接矩阵中，查询该肋骨查询项与该肋骨查询项对应的肋骨类别真值之间的惩罚值；其中，该加权邻接矩阵中，按行存储有多个肋骨查询项的索引，按列存储有多个肋骨类别真值的索引，肋骨查询项的索引与肋骨类别真值的索引值的差距越大，则索引值的交叉位置对应的惩罚值越大。
进一步，如图7所示，该电子设备还包括：通信组件703、显示器704、电源组件705等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。
其中，通信组件703被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。
其中，显示器704包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。该触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与该触摸或滑动操作相关的持续时间和压力。
其中，电源组件705，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本实施例中，可利用神经网络模型，对医学影像中的不同肋骨区域进行特征编码，得到多个特征向量。根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，可确定至少一个肋骨查询项各自对应的特征向量。对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果。其中，肋骨查询项被赋予了解剖学中的语义信息，使其可关注不同肋骨区域的特征，从而，实现了可操纵的、实例级别的肋骨检测。同时，任一肋骨检测结果，包括肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值，基于位姿参数预测值可准确地在三维空间中确定肋骨实例所在的位置，从而精确地在三维的医学影像中实现肋骨实例分割。
需要说明的是，图7示意的电子设备，除了可根据前述实施例记载的数据处理逻辑执行数据处理操作之外，还可按照如下记载的医学影像的肋骨检测方法执行如下操作：处理器702具体用于：响应客户端对第一接口的调用请求，从该第一接口的接口参数中获取包含肋骨的三维的医学影像；利用神经网络模型，对该医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与该医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，该至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
其中，电子设备可将该至少一个肋骨查询项各自对应的肋骨检测结果返回至客户端。在一些实施例中，得到该至少一个肋骨查询项各自对应的肋骨检测结果之后，电子设备还可根据该至少一个肋骨查询项各自对应的检测结果，从该医学影像中分割出至少一个肋骨实例，得到图像分割结果，并将图像分割结果返回至客户端，不再赘述。
还值得说明的是，在一些实施例中，图7示意的电子设备可实现为AR设备，除图7示意的组件之外，该电子设备还可包括图像采集装置(未进行图示)。其中，图像采集装置用于捕获真实影像。处理器702具体用于：获取包含肋骨的三维的医学影像；利用神经网络模型，对该医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，该至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；对该至少一个肋骨查询项各自对应的特征向量进行并行解码，得到该至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值；以及，通过显示器704，在图像采集装置捕获到的真实影像中，叠加展示该至少一个肋骨查询项各自对应的肋骨检测结果。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现上述方法实施例中的各步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程电子设备的处理器以产生一个机器，使得通过计算机或其他可编程电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程电子设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种医学影像的肋骨检测方法，应用于AR设备，其特征在于，包括：
获取包含肋骨的三维的医学影像；
利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；
根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；
对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值；
在捕获到的真实影像中，叠加展示所述至少一个肋骨查询项各自对应的肋骨检测结果。
2.一种医学影像的肋骨检测方法，其特征在于，包括：
获取包含肋骨的三维的医学影像；
利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；
根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；
对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
3.根据权利要求2所述的方法，其特征在于，所述至少一个肋骨查询项包括：用户输入的目标肋骨对应的肋骨查询项；或者，预设的与所述医学影像中的多根肋骨一一对应的多个肋骨查询项。
4.根据权利要求2所述的方法，其特征在于，对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果之后，还包括：
根据所述至少一个肋骨查询项各自对应的检测结果，从所述医学影像中分割出至少一个肋骨实例，得到图像分割结果。
5.根据权利要求4所述的方法，其特征在于，根据所述至少一个肋骨查询项各自对应的肋骨检测结果，从所述医学影像中分割出至少一个肋骨实例，得到图像分割结果，包括：
针对任一肋骨检测结果，根据所述肋骨检测结果中的检测框在三维空间中的位姿参数预测值，从所述医学影像中分割出子体积块；
对所述子体积快执行二值分割，得到所述子体积快中的肋骨实例与非肋骨区域的分割结果。
6.根据权利要求4所述的方法，其特征在于，根据所述至少一个肋骨查询项各自对应的肋骨检测结果，从所述医学影像中分割出至少一个肋骨实例，得到图像分割结果之后，还包括：
获取用户输入的针对任一肋骨实例的分割请求，确定所述肋骨实例对应的目标肋骨查询项；
从所述图像分割结果中，确定与所述目标肋骨查询项对应的肋骨分割结果，作为所述肋骨实例的分割结果；
在所述医学影像中，突出展示所述肋骨实例的分割结果。
7.根据权利要求2所述的方法，其特征在于，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量，包括：
对所述医学影像中的像素间距进行调整，得到各向同性的医学影像；
采用分割网络，从所述各向同性的医学影像中提取包含肋骨的三维的兴趣区域；
对所述兴趣区域进行特征提取，得到空间特征；
基于自注意力机制，对所述空间特征进行自注意力编码，得到所述不同肋骨区域对应的特征向量。
8.根据权利要求7所述的方法，其特征在于，对所述兴趣区域进行特征提取，得到空间特征之前，还包括：
对所述兴趣区域执行随机位移、随机尺度变换、随机旋转、随机裁剪以及随机擦除中的至少一种，以对所述兴趣区域进行数据增强。
9.根据权利要求2所述的方法，其特征在于，对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自的肋骨检测结果，包括：
针对任一肋骨查询项，基于注意力机制对所述肋骨查询项对应的特征向量进行解码，得到解码向量；
根据所述解码向量进行分类计算，得到所述肋骨查询项对应的肋骨预测类别；以及，
根据所述解码向量进行边界框预测，得到所述肋骨查询项对应的肋骨检测框在三维空间中的位姿参数预测值；其中，所述位姿参数预测值包括：检测框的中心位置的预测值、检测框的尺度的预测值以及检测框的旋转角度的预测值中的至少一种。
10.根据权利要求2-9任一项所述的方法，其特征在于，对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自的肋骨检测结果之后，还包括：
获取所述至少一个肋骨查询项各自对应的肋骨类别真值以及肋骨检测框的位姿参数真值；
根据所述至少一个肋骨查询项各自的肋骨类别真值以及肋骨预测类别之间的误差，确定分类损失；
根据所述至少一个肋骨查询项各自肋骨检测框的位姿参数真值与位姿参数预测值之间的误差，确定边界框预测损失；以及，
确定所述至少一个肋骨实例各自对应肋骨查询项与肋骨类别真值之间的惩罚项；
根据所述分类损失、所述边界框预测损失以及所述惩罚项确定匹配损失；
根据所述匹配损失，对所述至少一个肋骨查询项与肋骨类别真值的分配关系进行更新，以学习肋骨查询项与医学影像中的不同肋骨区域的对应关系。
11.根据权利要求10所述的方法，其特征在于，确定所述至少一个肋骨实例各自对应肋骨查询项与标签真值之间的惩罚项，包括：
针对任一肋骨查询项，从预设的加权邻接矩阵中，查询所述肋骨查询项与所述肋骨查询项对应的肋骨类别真值之间的惩罚值；
其中，所述加权邻接矩阵中，按行存储有多个肋骨查询项的索引，按列存储有多个肋骨类别真值的索引，肋骨查询项的索引与肋骨类别真值的索引值的差距越大，则索引值的交叉位置对应的惩罚值越大。
12.一种医学影像的肋骨检测方法，其特征在于，包括：
响应客户端对第一接口的调用请求，从所述第一接口的接口参数中获取包含肋骨的三维的医学影像；
利用神经网络模型，对所述医学影像中的不同肋骨区域进行特征编码，得到多个特征向量；根据学习到的肋骨查询项与医学影像中的不同肋骨区域的对应关系，确定至少一个肋骨查询项各自对应的特征向量；其中，所述至少一个肋骨查询项与待检测的至少一个肋骨实例一一对应；
对所述至少一个肋骨查询项各自对应的特征向量进行并行解码，得到所述至少一个肋骨查询项各自对应的肋骨检测结果；任一肋骨检测结果，包括：肋骨预测类别以及肋骨检测框在三维空间中的位姿参数预测值。
13.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-12任一项所述的方法中的步骤。
14.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被执行时能够实现权利要求1-12任一项所述的方法中的步骤。
CN202210648147.6A 2022-06-08 2022-06-08 医学影像的肋骨检测方法、设备及介质 Pending CN115082389A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210648147.6A CN115082389A (zh) 2022-06-08 2022-06-08 医学影像的肋骨检测方法、设备及介质
US18/327,227 US20230401706A1 (en) 2022-06-08 2023-06-01 Method for detecting a rib with a medical image, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210648147.6A CN115082389A (zh) 2022-06-08 2022-06-08 医学影像的肋骨检测方法、设备及介质

Publications (1)

Publication Number Publication Date
CN115082389A true CN115082389A (zh) 2022-09-20

Family

ID=83251944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648147.6A Pending CN115082389A (zh) 2022-06-08 2022-06-08 医学影像的肋骨检测方法、设备及介质

Country Status (2)

Country Link
US (1) US20230401706A1 (zh)
CN (1) CN115082389A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661465A (zh) * 2022-12-14 2023-01-31 深圳思谋信息科技有限公司 图像的多标签分割方法、装置、计算机设备及存储介质
CN115887086A (zh) * 2023-01-10 2023-04-04 杭州糖吉医疗科技有限公司 可控转向的胃转流支架输送器及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661465A (zh) * 2022-12-14 2023-01-31 深圳思谋信息科技有限公司 图像的多标签分割方法、装置、计算机设备及存储介质
CN115887086A (zh) * 2023-01-10 2023-04-04 杭州糖吉医疗科技有限公司 可控转向的胃转流支架输送器及其方法
CN115887086B (zh) * 2023-01-10 2023-05-05 杭州糖吉医疗科技有限公司 可控转向的胃转流支架输送器及其方法

Also Published As

Publication number Publication date
US20230401706A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
EP3961484B1 (en) Medical image segmentation method and device, electronic device and storage medium
CN109872306B (zh) 医学图像分割方法、装置和存储介质
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN115082389A (zh) 医学影像的肋骨检测方法、设备及介质
CN113159056B (zh) 图像分割方法、装置、设备及存储介质
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
JP6872044B2 (ja) 対象物の外接枠を決定するための方法、装置、媒体及び機器
Grewe et al. Fully automated and highly accurate dense correspondence for facial surfaces
EP4404148A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
CN110648762A (zh) 病灶区识别模型生成方法、装置及病灶区识别方法、装置
CN111401318A (zh) 动作识别方法及装置
Feng et al. Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
Zografos et al. Hierarchical multi-organ segmentation without registration in 3D abdominal CT images
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像***
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
Lou et al. WS-SfMLearner: self-supervised monocular depth and ego-motion estimation on surgical videos with unknown camera parameters
CN114693830B (zh) 医学影像的多器官分割、模型训练方法、设备及介质
CN114781393B (zh) 图像描述生成方法和装置、电子设备及存储介质
US10390798B2 (en) Computer-aided tracking and motion analysis with ultrasound for measuring joint kinematics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination