CN115345938A - 基于全局到局部的头影标记点定位方法、设备及介质 - Google Patents

基于全局到局部的头影标记点定位方法、设备及介质 Download PDF

Info

Publication number
CN115345938A
CN115345938A CN202211270728.7A CN202211270728A CN115345938A CN 115345938 A CN115345938 A CN 115345938A CN 202211270728 A CN202211270728 A CN 202211270728A CN 115345938 A CN115345938 A CN 115345938A
Authority
CN
China
Prior art keywords
local
global
classification
head
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211270728.7A
Other languages
English (en)
Other versions
CN115345938B (zh
Inventor
王都洋
王艳福
徐杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hansf Hangzhou Medical Technology Co ltd
Original Assignee
Hansf Hangzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hansf Hangzhou Medical Technology Co ltd filed Critical Hansf Hangzhou Medical Technology Co ltd
Priority to CN202211270728.7A priority Critical patent/CN115345938B/zh
Publication of CN115345938A publication Critical patent/CN115345938A/zh
Application granted granted Critical
Publication of CN115345938B publication Critical patent/CN115345938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，为一种基于全局到局部的头影标记点定位方法、设备及介质，包括；S1：创建头影CT图像数据集；S2：对头影CT图像数据集进行预处理；S3：将处理好的数据集送入到全局FCNN网络中进行特征提取，得到全局特征，对整幅图像进行多个标记点定位与分类；S4：将得到的全局特征送入到局部FCNN网络中，得到局部特征，对每个标记点分别进行单独的回归和分类，得到优化的标记点定位和类别；S5：添加局部相对位置注意力机制，得到精确的标记点定位和类别；本发明有效解决头影标记定位效率低、精确度低的问题，在提高头影标记定位效率的同时，提高了头影标记定位的精确度。

Description

基于全局到局部的头影标记点定位方法、设备及介质
技术领域
本发明涉及图像处理技术领域，具体为一种基于全局到局部的头影标记点定位方法、设备及介质。
背景技术
头影测量是一种成像测试，是正畸诊断的一个组成部分。通常被牙医、正畸医生和口腔颌面外科医生使用，通过分析颅面复合体的牙齿和骨骼关系，为诊断、手术计划、生长分析和治疗计划提供形态学指导。它能正确规划正畸治疗，控制正畸治疗的进程，并看到治疗的效果。此外，它使预测由于生长过程或计划的正畸治疗的面部颅骨结构的变化方向成为可能。然而，传统的头影测量分析头影测量片(侧位片和正位片)，其缺点包括几何扭曲、叠加和依赖于正确的头部定位等。此外，患者头部定位的错误会使获得的图像失真。计算机辅助分析在现代头影测量研究中的应用正在迅速发展。与以前的人工测量相比，计算机化***的主要优点是计算速度快，定位准。最新研究表明，在计算机头影测量分析中使用卷积神经网络比正畸医生手工进行取得更好的结果。
近年来，随着图像处理技术的进步以及对精确颅面分析的需求，获得精确头影测量标记点定位的要求比传统技术更高。因为人工标记和头影测量分析是劳动密集型和繁琐的任务，即使是训练有素的专家，也很难标注的很精确。由于数据的高维性(不同CT厂家数据差异性)和训练数据的有限性是阻碍深度学***，例如通过多数投票策略，这使得它的计算成本很高，而且通常很耗时。现有的工作都是将头影的多个关键点分成几个模型分别检测，几乎没有使用一个模型能够检测所有头影标记点的工作。
因此有必要对基于全局到局部的头影标记点定位方法、设备及介质进行进一步的改进，以解决上述问题。
发明内容
本申请的目的：在于解决和克服现有技术和应用的不足，提供一种基于全局到局部的头影标记点定位方法、设备及介质，有效解决头影标记定位效率低、精确度低的问题，在提高头影标记定位效率的同时，提高了头影标记定位的精确度。
本申请的目的是通过如下技术方案来完成的，一种基于全局到局部的头影标记点定位方法，其特征在于：包括以下步骤：
S1：创建头影CT图像数据集；
S2：对头影CT图像数据集进行预处理；
S3：将处理好的数据集送入到全局FCNN网络中进行特征提取，得到全局特征，对整幅图像进行多个标记点定位与分类；
S4：将得到的全局特征送入到局部FCNN网络中，得到局部特征，对每个标记点分别进行单独的回归和分类，得到优化的标记点定位和类别；
S5：添加局部相对位置注意力机制，得到精确的标记点定位和类别；
其中，所述步骤S3具体包括：
S31.构建全局FCNN网络；
S32.将图像划分为m*m个网络，在m*m个网格内执行全局FCNN网络；
S33.优化全局FCNN网络损失函数，由两部分组成，其一回归损失函数：输出与标签位移之间的平均绝对误差；其二分类损失函数：输出与标签之间的二元交叉熵；得到标记点定位和类别；
所述步骤S4具体包括：
S41.构建局部FCNN网络；
S42.利用分类任务的后验概率作为加权平均位移量的权重，在局部分类和回归时，将局部分类和回归相结合，将得到标记点定位和分类进一步优化；
S43.优化局部网络损失函数，得到优化的标记点定位和类别。
优选地，所述步骤S2具体包括：
S21. 对头影CT图像数据集进行聚类分析，聚类采用K-Means方法，使用分隔度作为聚类算法的性能指标，分隔度的数学表达式如下：
Figure 830441DEST_PATH_IMAGE001
其中，
Figure 809898DEST_PATH_IMAGE002
表示有多少个聚类中心，
Figure 651952DEST_PATH_IMAGE003
，
Figure 109478DEST_PATH_IMAGE004
代表两个类的聚类中心，
Figure 986167DEST_PATH_IMAGE005
值越大，表示各聚类中心相互之间的距离越远，两个类的差异越大；
S22. 聚类分析后的图像数据进行窗宽窗位调整，根据头影对CT的吸收程度不同，在[500,1500]之间随机设置窗宽窗位，窗宽窗位调整的表达式为：
Figure 873876DEST_PATH_IMAGE006
其中，
Figure 203227DEST_PATH_IMAGE007
代表像素值，
Figure 464444DEST_PATH_IMAGE008
表示像素值的最小值，
Figure 195639DEST_PATH_IMAGE009
表示CT的吸收程度Hu值，
Figure 251320DEST_PATH_IMAGE010
表示窗位，
Figure 67966DEST_PATH_IMAGE011
表示窗宽，当像素值越大时，Hu值越小，像素显示越白；
S23：调整后的图像数据随机调整对比度和光照，进行数据扩充，之后按照9:1的比例划分为训练集和测试集。
优选地，所述步骤S31中构建全局FCNN网络，包括：
一个卷积层：包含16个7*7卷积核，步长为2；
四个ResNet-block：一个ResNet-block包含3、4或6个卷积层对，每个卷积层对由两个卷积层组成，每个卷积层有32、64、128或256 个卷积核；
其中，每个ResNet-block的第一层有一个跨跃卷积层，第一和第二个ResNet-block之前包含一个平均池化层，第四个ResNet-block块之后，网络有两个输出头，一个用于位移向量的回归，另一个用于标记点的分类。
优选地，所述步骤S33中分类损失函数为：
Figure 867295DEST_PATH_IMAGE012
其中，
Figure 452997DEST_PATH_IMAGE013
表示类别，
Figure 694228DEST_PATH_IMAGE014
表示属于当前类的概率，N为关键点类别数。
回归损失函数为：
Figure 857225DEST_PATH_IMAGE015
优选地，步骤S41中构建局部FCNN网络，包括：
一个ResNet-block：两个卷积层，包含32个3 * 3卷积核；
池化层：大小为2×2，步幅为2；
一个双层ResNet-block：两个卷积层，包含64个3 * 3卷积核；
回归头和分类头：回归头用于回归任务，分类头用于分类任务；
其中，每一卷积层都应用零填充，每一卷积层之后应用批归一化；在整个局部FCNN网络中，除回归头和分类头输出层外，全部使用非线性单元ReLUs激活，对于回归头，使用线性激活函数，对于分类头，使用sigmoid激活获得0到1之间的后验概率。
优选地，所述步骤S43中优化局部网络损失函数，数由两部分组成；回归损失函数：输出与标签位移之间的平均绝对误差，分类损失：输出与标签之间的二元交叉熵；采用对数变换位移向量计算平均绝对误差。
优选地，分类损失函数为：
Figure 194665DEST_PATH_IMAGE016
Figure 900453DEST_PATH_IMAGE017
其中，N代表总的关键点个数，
Figure 297936DEST_PATH_IMAGE018
表示了当前图像块是否包含目标，包含为
Figure 823595DEST_PATH_IMAGE019
，不包含为0，
Figure 964727DEST_PATH_IMAGE020
表示为当前图像块t属于第c类的概率；
回归损失函数为：
Figure 527951DEST_PATH_IMAGE021
其中，
Figure 361915DEST_PATH_IMAGE022
为分类损失，N 代表总的关键点个数，
Figure 109291DEST_PATH_IMAGE023
为预测的坐标值，
Figure 54113DEST_PATH_IMAGE024
为真实标签值，
Figure 468914DEST_PATH_IMAGE025
为与P相邻位置的预测值。
优选地，所述步骤S5具体为：
在输入表示中添加位置编码注入绝对的或相对的位置信息；
所述位置编码通过模型学习得到输入序列中相对位置信息，相对位置信息通过回归头得到位移
Figure 473779DEST_PATH_IMAGE026
，，对于任何确定的位置偏移
Figure 974030DEST_PATH_IMAGE026
，位置
Figure 722543DEST_PATH_IMAGE027
处的位置编码可以线性投影位置
Figure 260360DEST_PATH_IMAGE028
处的位置编码来表示，投影公式的数学表达式为：
Figure 170547DEST_PATH_IMAGE029
其中，
Figure 158094DEST_PATH_IMAGE026
为网络预测的偏移量，
Figure 975878DEST_PATH_IMAGE030
表示为在
Figure 99692DEST_PATH_IMAGE031
处的位置编码，
Figure 446359DEST_PATH_IMAGE032
为三角函数中的位置编码的频率。
本发明还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明提供的基于全局到局部的头影标记点定位方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于全局到局部的头影标记点定位方法。
本申请与现有技术相比，至少具有以下明显优点和效果：
1、在本发明中，通过全局FCNN网络同时预测多个标记位的全局位置和类别，随后通过局部的FCNN网络细化每个标记位的最终位置和类别。
2、在本发明中，通过联合分类与回归，将分类的概率作为后验概率提供给回归，回归的位移量解决了医学图像在2D分类没有3D分类准确的问题。
3、在本发明中，在局部FCNN中使用了局部相对位置偏移量，解决头影定位中图像局部模糊导致关键点分类不准确的问题。
附图说明
图1是本申请的全局到局部的头影标记点定位方法流程图。
图2是本申请的全局到局部的头影标记点定位方法网络结构示意图。
图3是本申请中使用的ResNet34网络结构图。
图4是本申请中局部相对位置注意力机制示意图。
图5是本申请中头影检测86个关键点示意图。
图6是申请中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的基于全局到局部的头影标记点定位方法、设备及介质进行详细阐述。
图1是本发明实施例中提供的基于全局到局部的头影标记点定位方法的流程图。图2是本申请的全局到局部的头影标记点定位方法网络结构示意图。结合图1和图2，本发明实施例可适用于全局到局部的头影标记点定位方法，该方法可由全局到局部的头影标记点定位设备来执行，该设备可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的全局到局部的头影标记点定位方法，可包括以下步骤：
S1：创建头影CT图像数据集；
在本申请实施例中，头影CT图像数据集由四个不同厂家生产的头影CT图像组成，大约10000张图像。图像包含了不同情况下的头影图像，为了消除数据的影响，通过人工对数据进行了清洗。
S2：对头影CT图像数据集进行预处理；步骤S2具体包括：
S21.对头影CT图像数据集进行聚类分析，聚类采用K-Means方法，使用分隔度作为聚类算法的性能指标，分隔度的数学表达式如下：
Figure 655624DEST_PATH_IMAGE033
其中，
Figure 745939DEST_PATH_IMAGE034
表示有多少个聚类中心，
Figure 992769DEST_PATH_IMAGE035
，
Figure 244758DEST_PATH_IMAGE036
代表两个类的聚类中心，
Figure 206898DEST_PATH_IMAGE037
值越大，表示各聚类中心相互之间的距离越远，两个类的差异越大；
通过聚类可以分析出四个不同厂家数据之间的分布差异，以及数据中的各个目标的大小和每种类别的数量，以便于根据数据对算法进行修改。
S22.聚类分析后的图像数据进行窗宽窗位调整，根据头影对CT的吸收程度不同，在[500,1500]之间随机设置窗宽窗位，窗宽窗位调整的表达式为：
Figure 835326DEST_PATH_IMAGE038
其中，
Figure 199311DEST_PATH_IMAGE039
代表像素值，
Figure 356623DEST_PATH_IMAGE040
表示像素值的最小值，
Figure 806059DEST_PATH_IMAGE041
表示CT的吸收程度Hu值，
Figure 238177DEST_PATH_IMAGE042
表示窗位，
Figure 182301DEST_PATH_IMAGE043
表示窗宽，当像素值越大时，Hu值越小，像素显示越白；
窗宽窗位的调整不仅可以突出目标的特性，还能够对数据进行额外的增强，使算法适用多种厂家的CT数据。
S23：调整后的图像数据随机调整对比度和光照，进行数据扩充，之后按照9:1的比例划分为训练集和测试集。
S3：将处理好的数据集送入到全局FCNN网络中进行特征提取，得到全局特征，对整幅图像进行多个标记点定位与分类。全局FCNN网络对图像进行粗略的关键点区域划分和回归，为后续的第二阶段提供包含足够特征的图像块。如图2所示，左侧一个ResNet模块表示了全局FCNN，R代表坐标回归，C代表了类别回归，右侧的4个ResNet表示了局部FCNN网络，其中2代表由2个RenNet组成。S3具体包括：
S31.构建全局FCNN网络，包括
一个卷积层：包含16个7*7卷积核，步长为2；
四个ResNet-block：一个ResNet-block包含3、4或6个卷积层对，每个卷积层对由两个卷积层组成，每个卷积层有32、64、128或256 个卷积核；
其中，每个ResNet-block的第一层有一个跨跃卷积层，第一和第二个ResNet-block之前包含一个平均池化层，第四个ResNet-block块之后，网络有两个输出头，一个用于位移向量的回归，另一个用于标记点的分类。
如图3所示，为本申请中的ResNet34网络结构图，在本申请实施例中，全局FCNN网络基于ResNet34组建，与原始的ResNet34相比，它包含一个跨跃卷积层作为每个ResNet-block的第一层，在第一和第二个ResNet-block之前包含一个平均池化层，大小和跨跃为2×2。在四个ResNet-block块之后，网络有两个输出头，一个用于位移向量的回归，另一个用于标记点的分类。两个输出头在设计上是相似的，每个头部有两个256节点和一个输出层，实现为1×1的卷积。分类头输出标量，每个标记点一个，由sigmoid函数强制在0到1之间。回归头输出每个标记点的位移向量。
S32.全局网络设计；在头影测量标记分析中每个标记位的相对位置是固定的，根据目标检测的思想，将图像划分为m*m个网络，在m*m个网格内执行全局FCNN，得到初步的标记点类别和位置。利用目标检测的思想，可以很好的限制关键的类别，在每个网格中只会出现某个类别的关键点，保证了关键点类别的正确率。
S33.全局网络损失函数；在训练过程中优化全局FCNN损失函数由两部分组成，回归损失函数：输出与标签位移之间的平均绝对误差，分类损失函数：输出与标签之间的二元交叉熵； S33中分类损失函数为：
Figure 41672DEST_PATH_IMAGE044
其中，
Figure 712825DEST_PATH_IMAGE045
表示类别，
Figure 948634DEST_PATH_IMAGE046
表示属于当前类的概率，N为关键点类别数。
回归损失函数为：
Figure 756053DEST_PATH_IMAGE047
通过全局FCNN网络同时预测多个标记位的全局位置和类。在全局FCNN中，网络的目的是为了学习到在某些特定的位置中是只会存在某些固定的关键点，从而排除掉关键点类别错误的问题。
S4：将得到的全局特征送入到局部FCNN网络中，得到局部特征，对每个标记点分别进行单独的回归和分类，得到优化的标记点定位和类别；步骤S4具体包括：
S41.构建局部FCNN网络；局部FCNN网络包括
一个ResNet-block：两个卷积层，包含32个3 * 3卷积核；
池化层：大小为2×2，步幅为2；
一个双层ResNet-block：两个卷积层，包含64个3 * 3卷积核；
回归头和分类头：回归头用于回归任务，分类头用于分类任务；
其中，每一卷积层都应用零填充，每一卷积层之后应用批归一化；在整个局部FCNN网络中，除回归头和分类头输出层外，全部使用非线性单元ReLUs激活，对于回归头，使用线性激活函数，对于分类头，使用sigmoid激活获得0到1之间的后验概率。回归与分类分头训练能够有效的避免了回归错误而引发的类别错误。
在本申请实施例中，用于局部标记位预测的专用FCNN设计与全局FCNN类似，但网络较小。每个网络由一个ResNet-block、池化层、一个双层ResNet-block以及并行回归和分类头组成。ResNet-block由两个卷积层组成，32个(3 * 3)卷积核。平均池化的大小为2*2，步幅为2。双层ResNet-block由两个卷积层组成，包含64个(3* 3)卷积核。与全局FCNN类似，两个ResNet-block后面跟着两个输出头：一个用于分类任务，另一个用于回归任务。FCNN中的每一卷积层都应用零填充，每一卷积层之后应用批归一化。为了允许应用程序处理任意大小的图像，特征图实现为大小为1×1的卷积。在整个网络中，除回归和分类输出层外，全部使用非线性单元ReLUs激活。对于回归，使用线性激活函数，对于分类，使用sigmoid激活来获得0到1之间的后验概率。
不同的网络深度对特征的提取能力不同，但训练的时间以及推理的时间会更久。为了保证特征提取的质量，设计了全局FCNN，为了达到实时的速度，在全局FCNN的基础上进行了深度的调整。局部FCNN与全局FCNN设计的不同是为了使得网络能够在不牺牲或者牺牲极少的精度的同时达到实时检测关键点的目的。
S42.局部网络设计；在本申请实施例中，由于基于图像块的分类本质上不如体素分类精确，本申请通过联合回归指向标记位的位移向量来缓解这一问题。相反，如果使用传统目标检测的回归方法很可能会导致次优定位结果。在距离目标标记点较远的图像块中预测的位移量比在接近目标地标的图像块中预测的位移量精度低。利用分类任务的后验概率作为加权平均位移量的权重，在局部分类和回归的时候，联合二者，得到精确的标记点定位和分类。通过联合分类与回归，将分类的概率作为后验概率提供给回归，回归的位移量解决了医学图像在2D分类没有3D分类准确的问题。
局部网络的设计主要是针对位置精修进行设计的。大的图像块回归小的关键点时，网络拟合比较困难，效果会差，小的图像块可以保证网络对关键点位置的精准回归。同时，后验分类概率可以提供给网络进行更好的位置回归。
S43.优化局部网络损失函数；由两部分组成；回归损失函数：输出与标签位移之间的平均绝对误差，分类损失：输出与标签之间的二元交叉熵；为保证距离标记位较远的输入图像块对网络参数更新的影响小于距离标记点较近的输入图像块对网络参数更新的影响，采用对数变换位移向量计算平均绝对误差。
分类损失函数为：
Figure 786326DEST_PATH_IMAGE048
Figure 944775DEST_PATH_IMAGE049
其中，N代表总的关键点个数，
Figure 580680DEST_PATH_IMAGE050
表示了当前图像块是否包含目标，包含为
Figure 508185DEST_PATH_IMAGE051
，不包含为0，
Figure 709359DEST_PATH_IMAGE052
表示为当前图像块t属于第c类的概率；
回归损失的目的是加强距离较近的标记点的权重，减少距离较远的标记点的权重，回归损失函数为：
Figure 355104DEST_PATH_IMAGE053
其中，
Figure 667137DEST_PATH_IMAGE054
为分类损失，N 代表总的关键点个数，
Figure 714727DEST_PATH_IMAGE055
为预测的坐标值，
Figure 86803DEST_PATH_IMAGE056
为真实标签值，
Figure 219844DEST_PATH_IMAGE057
为与P相邻位置的预测值。
S5：在局部FCNN网络中添加局部相对位置注意力机制，局部相对位置注意力机制使得网络更加关注具有关联的局部信息的提取和交互，网络添加局部相对注意力机制可以得到更加精确的标记点定位和类别；步骤S5具体为：
在局部FCNN的特征输入层之后，添加一个1×1卷积层改变特征通道，使得特征与局部相对注意力机制所需的特征通道相匹配，在局部注意力机制之后再添加一个1×1卷积层，使得输出特征与局部FCNN的输出特征通道相一致。在提取完特征之后添加相对注意力机制能够使得网络更加关注局部关键点的信息。局部相对位置注意力机制跟普通的卷积模块（注意力机制）一样，添加是为了得到更加关注的区域，该模块直接添加到局部FCNN网络。
局部注意力机制主要由两部分组成，一部分是注意力池化函数，另一部分是相对位置编码。
注意力池化函数：注意力池化函数是基于多头注意力对输入完成自注意力的计算。输出与输入的形状大小相同。首先使用一个大矩阵把所有头的所有Q、K、V并行地计算出来（Q、K、V代表由原特征矩阵变换而来的三个矩阵），然后通过改变形状、和交换维度，把多个头的Q、K、V放到同一个batch中进行计算，最后再把多个头的注意力向量拼接起来得到最后的输出。
位置信息编码：在输入表示中添加位置编码注入绝对的或相对的位置信息；位置编码可以通过学习得到也可以直接固定得到。为了不改变本身的自注意力机制，本申请将位置信息加入输入中。位置编码通过模型学习得到输入序列中相对位置信息，相对位置信息通过回归头得到位移
Figure 338497DEST_PATH_IMAGE058
，对于任何确定的位置偏移
Figure 381539DEST_PATH_IMAGE058
，位置
Figure 190095DEST_PATH_IMAGE059
处的位置编码可以线性投影位置
Figure 544853DEST_PATH_IMAGE060
处的位置编码来表示，投影公式的数学表达式为：
Figure 464268DEST_PATH_IMAGE061
其中，
Figure 220871DEST_PATH_IMAGE062
为网络预测的偏移量，
Figure 934749DEST_PATH_IMAGE063
表示为在
Figure 42383DEST_PATH_IMAGE064
处的位置编码，
Figure 765488DEST_PATH_IMAGE065
为三角函数中的位置编码的频率。通过在局部FCNN中使用了局部相对位置偏移量，解决头影定位中图像局部模糊导致关键点分类不准确的问题，可以得到更加精确的标记点定位和类别。局部相对注意力机制添加在局部FCNN的特征输入层。
位置注意力的加入强制网络学习到标记点与标记点之间的相互关系，可以很好的防止标记点错乱的情况。
如图4所示，为本申请中的局部相对位置注意力机制示意图，图中表明了不同区域内的信息进行交互。在本申请实施例中，头影标记位中各个标记点的位置和类别相对是固定不变的，意味着算法不仅仅关注每个单独的标记位，也要关注每个标记位附近的标记位。图4中所示，图像块1和图像块2是头影图像中相互关联的两个不同区域的图像块，两个区域块是具有相互固定位置关系的区域，比如鼻子和嘴巴区域。其中x1，x2，x3代表了图像块1中的3个不同位置的点，x4，x5，x6代表图像块2中的3个不同位置点，x1，x2，x3，x4，x5，x6这里的6个位置点是相互关联的，因为6个位置点的相对位置是固定，比如眼睛附近是鼻子，不会出现嘴巴，6个位置点的相互关联可以保证算法识别的准确性。虚线的部分表示了两个图像块中的各自3个位置点之间进行特征信息传递；实线部分表示了使用注意力机制之后，两个图像块不仅在各自的图像块内进行特征信息交流，同时两个图像块中的6个位置点在两个图像块之间进行特征信息交流。特征信息为纹理，颜色，形状等，特征信息交流指的是：对于图像块1中的关键点A来说很容易学习到某些特征G，而这些特征对于图像块2中的关键点B来说很难学到。这是因为其他特征阻碍了特征G的学习，特征信息交流融合可以让关键点B学习到的特征G，信息间的相互交流可以使不同图像区域相互之间学习到特征。
本发明根据不同CT厂家的数据对头影数据进行聚类分析，调整所有CT数据；采用全局神经网络(FCNN)对整幅图像进行多个标记点粗略定位，同时进行回归和分类。最后，对粗估计得到的局部图像块进行单个标记点精定位，同时进行回归和分类。如图5所示，为本申请中头影检测86个关键点示意图，图中数字1至86分别代表检测关键点，设计的全局到局部的多标记点头影检测方法可以有效解决头影标记定位效率低、精确度低的问题，在提高头影标记定位效率的同时，提高了提高头影标记定位的精确度。本发明能够一次解决86个关键点的同时定位与分类，在关键点的数量、分类的准确度、位置的精准度都超过现有的方法。
本发明还提供了一种电子设备，如图6所示为本申请中的一种电子设备的结构示意图，包括一个或多个处理器和存储装置；该电子设备中的处理器可以是一个或多个，图6中以一个处理器为例；存储装置用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的基于全局到局部的头影标记点定位方法。
该电子设备还可以包括：输入装置和输出装置。该电子设备中的处理器、存储装置、输入装置和输出装置可以通过总线或其他方式连接，图6中以通过总线连接为例。
该电子设备中的存储装置作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的基于全局到局部的头影标记点定位方法对应的程序指令/模块。处理器通过运行存储在存储装置中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中基于全局到局部的头影标记点定位方法。
存储装置可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序进行如下操作：
S1：创建头影CT图像数据集；
S2：对头影CT图像数据集进行预处理；
S3：将处理好的数据集送入到全局FCNN网络中进行特征提取，得到全局特征，对整幅图像进行多个标记点定位与分类；
S4：将得到的全局特征送入到局部FCNN网络中，得到局部特征，对每个标记点分别进行单独的回归和分类，得到优化的标记点定位和类别；
S5：添加局部相对位置注意力机制，得到精确的标记点定位和类别。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序还可以进行本发明任意实施例中所提供的全局到局部的头影标记点定位方法中的相关操作。
需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例基于全局到局部的头影标记点定位方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于全局到局部的头影标记点定位方法，其特征在于：包括以下步骤：
S1：创建头影CT图像数据集；
S2：对头影CT图像数据集进行预处理；
S3：将处理好的数据集送入到全局FCNN网络中进行特征提取，得到全局特征，对整幅图像进行多个标记点定位与分类；
S4：将得到的全局特征送入到局部FCNN网络中，得到局部特征，对每个标记点分别进行单独的回归和分类，得到优化的标记点定位和类别；
S5：添加局部相对位置注意力机制，得到精确的标记点定位和类别；
其中，所述步骤S3具体包括：
S31.构建全局FCNN网络；
S32.将图像划分为m*m个网络，在m*m个网格内执行全局FCNN网络；
S33.优化全局FCNN网络损失函数，由两部分组成，其一回归损失函数：输出与标签位移之间的平均绝对误差；其二分类损失函数：输出与标签之间的二元交叉熵；得到标记点定位和类别；
所述步骤S4具体包括：
S41.构建局部FCNN网络；
S42.利用分类任务的后验概率作为加权平均位移量的权重，在局部分类和回归时，将局部分类和回归相结合，将得到标记点定位和分类进一步优化；
S43.优化局部网络损失函数，得到优化的标记点定位和类别。
2.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于，所述步骤S2具体包括：
S21.对头影CT图像数据集进行聚类分析，聚类采用K-Means方法，使用分隔度作为聚类算法的性能指标，分隔度的数学表达式如下：
Figure 40875DEST_PATH_IMAGE001
其中，
Figure 817070DEST_PATH_IMAGE002
表示有多少个聚类中心，
Figure 144277DEST_PATH_IMAGE003
，
Figure 273907DEST_PATH_IMAGE004
代表两个类的聚类中心，DP值越大，表示各聚类中心相互之间的距离越远，两个类的差异越大；
S22.聚类分析后的图像数据进行窗宽窗位调整，根据头影对CT的吸收程度不同，在[500,1500]之间随机设置窗宽窗位，窗宽窗位调整的表达式为：
Figure 885017DEST_PATH_IMAGE005
其中，
Figure 833380DEST_PATH_IMAGE006
代表像素值，
Figure 897151DEST_PATH_IMAGE007
表示像素值的最小值，
Figure 830472DEST_PATH_IMAGE008
表示CT的吸收程度Hu值，
Figure 843558DEST_PATH_IMAGE009
表示窗位，
Figure 899239DEST_PATH_IMAGE010
表示窗宽，当像素值越大时，Hu值越小，像素显示越白；
S23：调整后的图像数据随机调整对比度和光照，进行数据扩充，之后按照9:1的比例划分为训练集和测试集。
3.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于，所述步骤S31中构建全局FCNN网络，包括：
一个卷积层：包含16个7*7卷积核，步长为2；
四个ResNet-block：一个ResNet-block包含3、4或6个卷积层对，每个卷积层对由两个卷积层组成，每个卷积层有32、64、128或256 个卷积核；
其中，每个ResNet-block的第一层有一个跨跃卷积层，第一和第二个ResNet-block之前包含一个平均池化层，第四个ResNet-block块之后，网络有两个输出头，一个用于位移向量的回归，另一个用于标记点的分类。
4.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于：所述步骤S33中分类损失函数为：
Figure 699573DEST_PATH_IMAGE011
其中，
Figure 905427DEST_PATH_IMAGE012
表示类别，
Figure 287867DEST_PATH_IMAGE013
表示属于当前类的概率，N为关键点类别数；
回归损失函数为：
Figure 265181DEST_PATH_IMAGE014
式中，x表示预测框和真实框之间的数值差异，
Figure 241227DEST_PATH_IMAGE016
表示损失值。
5.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于：步骤S41中构建局部FCNN网络，包括
一个ResNet-block：两个卷积层，包含32个3 * 3卷积核；
池化层：大小为2×2，步幅为2；
一个双层ResNet-block：两个卷积层，包含64个3 * 3卷积核；
回归头和分类头：回归头用于回归任务，分类头用于分类任务；
其中，每一卷积层都应用零填充，每一卷积层之后应用批归一化；在整个局部FCNN网络中，除回归头和分类头输出层外，全部使用非线性单元ReLUs激活，对于回归头，使用线性激活函数，对于分类头，使用sigmoid激活获得0到1之间的后验概率。
6.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于：所述步骤S43中优化局部FCNN网络损失函数，数由两部分组成；回归损失函数：输出与标签位移之间的平均绝对误差，分类损失：输出与标签之间的二元交叉熵；采用对数变换位移向量计算平均绝对误差。
7.根据权利要求6所述的一种基于全局到局部的头影标记点定位方法，其特征在于：分类损失函数为：
Figure 578668DEST_PATH_IMAGE017
Figure 268144DEST_PATH_IMAGE018
其中，N代表总的关键点个数，
Figure 462365DEST_PATH_IMAGE019
表示了当前图像块是否包含目标，包含为
Figure 738756DEST_PATH_IMAGE020
，不包含为0，
Figure 286412DEST_PATH_IMAGE021
表示为当前图像块t属于第c类的概率；
回归损失函数为：
Figure 846707DEST_PATH_IMAGE022
其中，
Figure 461097DEST_PATH_IMAGE023
为分类损失，N 代表总的关键点个数，
Figure 146156DEST_PATH_IMAGE024
为预测的坐标值，
Figure 825399DEST_PATH_IMAGE025
为真实标签值，
Figure 787670DEST_PATH_IMAGE026
为与P相邻位置的预测值。
8.根据权利要求1所述的一种基于全局到局部的头影标记点定位方法，其特征在于：所述步骤S5具体为：
在输入表示中添加位置编码注入绝对的或相对的位置信息；
所述位置编码通过模型学习得到输入序列中相对位置信息，相对位置信息通过回归头得到位移
Figure 526956DEST_PATH_IMAGE027
，对于任何确定的位置偏移
Figure 699311DEST_PATH_IMAGE027
，位置
Figure 171793DEST_PATH_IMAGE028
处的位置编码可以线性投影位置i处的位置编码来表示，投影公式的数学表达式为：
Figure 237838DEST_PATH_IMAGE029
其中，
Figure 164337DEST_PATH_IMAGE030
为网络预测的偏移量，
Figure 823988DEST_PATH_IMAGE031
表示为在
Figure 845034DEST_PATH_IMAGE032
处的位置编码，
Figure DEST_PATH_IMAGE033
为三角函数中的位置编码的频率。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至8中任一所述的基于全局到局部的头影标记点定位方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至8中的任意一项所述方法的计算机可读指令。
CN202211270728.7A 2022-10-18 2022-10-18 基于全局到局部的头影标记点定位方法、设备及介质 Active CN115345938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270728.7A CN115345938B (zh) 2022-10-18 2022-10-18 基于全局到局部的头影标记点定位方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270728.7A CN115345938B (zh) 2022-10-18 2022-10-18 基于全局到局部的头影标记点定位方法、设备及介质

Publications (2)

Publication Number Publication Date
CN115345938A true CN115345938A (zh) 2022-11-15
CN115345938B CN115345938B (zh) 2023-03-28

Family

ID=83957275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270728.7A Active CN115345938B (zh) 2022-10-18 2022-10-18 基于全局到局部的头影标记点定位方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115345938B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797730A (zh) * 2023-01-29 2023-03-14 有方（合肥）医疗科技有限公司 模型训练方法及装置、头影测量关键点定位方法及装置
CN116072298A (zh) * 2023-04-06 2023-05-05 之江实验室 一种基于层级标记分布学习的疾病预测***
CN116363056A (zh) * 2023-01-16 2023-06-30 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461188A (zh) * 2019-01-30 2019-03-12 南京邮电大学 一种二维x射线头影测量图像解剖特征点自动定位方法
CN109920002A (zh) * 2019-05-15 2019-06-21 南京邮电大学 基于三维随机森林模型的头影测量图像中特征点定位方法
KR20190137388A (ko) * 2018-06-01 2019-12-11 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
CN113065552A (zh) * 2021-03-29 2021-07-02 天津大学 自动定位头影测量标志点的方法
CN113822921A (zh) * 2021-11-22 2021-12-21 四川大学 一种基于深度神经网络的侧位片智能头影测量方法
CN114638800A (zh) * 2022-03-14 2022-06-17 哈尔滨理工大学 一种基于改进Faster-RCNN的头影标记点定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190137388A (ko) * 2018-06-01 2019-12-11 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
CN109461188A (zh) * 2019-01-30 2019-03-12 南京邮电大学 一种二维x射线头影测量图像解剖特征点自动定位方法
CN109920002A (zh) * 2019-05-15 2019-06-21 南京邮电大学 基于三维随机森林模型的头影测量图像中特征点定位方法
CN113065552A (zh) * 2021-03-29 2021-07-02 天津大学 自动定位头影测量标志点的方法
CN113822921A (zh) * 2021-11-22 2021-12-21 四川大学 一种基于深度神经网络的侧位片智能头影测量方法
CN114638800A (zh) * 2022-03-14 2022-06-17 哈尔滨理工大学 一种基于改进Faster-RCNN的头影标记点定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JULIA M. H. NOOTHOUT ET AL.: "Deep Learning-Based Regression and Classification for Automatic Landmark Localization in Medical Images", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
王嘉艺: "CBCT三维头影测量关于面部对称性标记点可靠性的研究", 《南京医科大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363056A (zh) * 2023-01-16 2023-06-30 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备
CN116363056B (zh) * 2023-01-16 2023-09-05 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备
CN115797730A (zh) * 2023-01-29 2023-03-14 有方（合肥）医疗科技有限公司 模型训练方法及装置、头影测量关键点定位方法及装置
CN116072298A (zh) * 2023-04-06 2023-05-05 之江实验室 一种基于层级标记分布学习的疾病预测***
CN116072298B (zh) * 2023-04-06 2023-08-15 之江实验室 一种基于层级标记分布学习的疾病预测***

Also Published As

Publication number Publication date
CN115345938B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN115345938B (zh) 基于全局到局部的头影标记点定位方法、设备及介质
US11593943B2 (en) RECIST assessment of tumour progression
US20190220977A1 (en) Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks
CN107680088A (zh) 用于分析医学影像的方法和装置
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN107403446A (zh) 用于使用智能人工代理的图像配准的方法和***
CN109102490A (zh) 自动图像注册质量评估
CN104424629A (zh) 一种x光胸片肺部分割方法和装置
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN111340937A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及***
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN114846524A (zh) 使用机器学习和解剖向量进行医学图像分析
CN113011509A (zh) 肺部支气管的分类方法、装置、电子设备和存储介质
CN106462974A (zh) 用于分割图像的参数优化
CN114399829B (zh) 基于生成式对抗网络的姿态迁移方法、电子设备及介质
CN111724371A (zh) 一种数据处理方法、装置及电子设备
CN103345741A (zh) 一种非刚性多模医学图像精确配准方法
Zhang et al. TPMv2: An end-to-end tomato pose method based on 3D key points detection
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像***
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN112101438B (zh) 一种左右眼分类方法、装置、服务器和存储介质
Xu et al. Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network
CN110176021A (zh) 结合亮度校正的显著性信息的水平集图像分割方法及***
CN111612770B (zh) 基于主动筛选的半监督病灶检测网络的病灶检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Building 2, No. 5 Yichuang Road, Yuhang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310026

Patentee after: Hansf (Hangzhou) Medical Technology Co.,Ltd.

Address before: Room 1717, building 1, 1199 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000

Patentee before: Hansf (Hangzhou) Medical Technology Co.,Ltd.

CP02 Change in the address of a patent holder