CN114723754B - 超声髋关节骨龄评估方法、***、设备及存储介质 - Google Patents

超声髋关节骨龄评估方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114723754B
CN114723754B CN202210638349.2A CN202210638349A CN114723754B CN 114723754 B CN114723754 B CN 114723754B CN 202210638349 A CN202210638349 A CN 202210638349A CN 114723754 B CN114723754 B CN 114723754B
Authority
CN
China
Prior art keywords
bone age
ultrasonic
image
hip joint
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210638349.2A
Other languages
English (en)
Other versions
CN114723754A (zh
Inventor
谢洪涛
闫云燕
张思成
孙军
陈勋
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
University of Science and Technology of China USTC
Original Assignee
Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine), University of Science and Technology of China USTC filed Critical Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
Priority to CN202210638349.2A priority Critical patent/CN114723754B/zh
Publication of CN114723754A publication Critical patent/CN114723754A/zh
Application granted granted Critical
Publication of CN114723754B publication Critical patent/CN114723754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声髋关节骨龄评估方法、***、设备及存储介质，它属于一种基于解剖学区域检测的弱监督超声髋关节骨龄评估方案，包含两个阶段：第一个阶段，能够准确定位解剖学关键区域，一方面，能够提高后续骨龄预测的准确度；另一方面，能够提供可解释性的解剖学关键区域，有利于促进医学研究的进一步发展；第二个阶段，在具有可解释性的解剖学关键区域的基础上回归预测骨龄。

Description

超声髋关节骨龄评估方法、***、设备及存储介质
技术领域
本发明涉及骨龄评估技术领域，尤其涉及一种超声髋关节骨龄评估方法、***、设备及存储介质。
背景技术
骨龄评估是通过骨骼形态推断儿童骨骼发育成熟程度的技术。
目前主流的骨龄评估方法使用左手掌骨X光影像（放射影像），通过对多个骨骼解剖学关键区域中提取的细微视觉特征进行综合分析来估计骨龄，因此解剖学区域检测是骨龄评估中的关键问题。为了达到满意的评估效果，许多现有骨龄评估算法高度依赖于额外的人工标注信息。在手部标注框监督下，能够完成对掌骨区域的检测，从而排除背景噪声的干扰；在骨骼关键点监督下，能够准确定位具有解剖学意义的骨骼关键区域，进而对其形态结构进行精细化地特征提取与分析。然而，准确精细的人工标注信息获取代价十分昂贵，在很大程度上限制了这些骨龄评估算法的实际应用；同时，相比于超声影像，放射影像学技术在成像、安全和成本方面具有较大局限性，不利于骨龄评估设备的广泛基层部署。
近年来，许多研究倾向于不使用精细人工标注信息，通过挖掘影像自身结构特点完成骨龄评估，这类研究属于弱监督方法，相较而言弱监督方法具有更广泛的应用价值，但是，目前基于弱监督方法进行超声骨龄评估的方案准确度不佳，且缺乏可解释性。
发明内容
本发明的目的是提供一种超声髋关节骨龄评估方法、***、设备及存储介质，能够显著降低骨龄评估的平均绝对误差，提升骨龄评估结果准确度，并为超声髋关节骨龄评估提供可解释性。
本发明的目的是通过以下技术方案实现的：
一种超声髋关节骨龄评估方法，包括：
第一阶段：利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像；
第二阶段：对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估。
一种超声髋关节骨龄评估***，该***包括：
检测网络，利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像；
回归网络，对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，它属于一种基于解剖学区域检测的弱监督超声髋关节骨龄评估方案，包含两个阶段：第一个阶段，能够准确定位解剖学关键区域，一方面，能够提高后续骨龄预测的准确度；另一方面，能够提供可解释性的解剖学关键区域，有利于促进医学研究的进一步发展；第二个阶段，在具有可解释性的解剖学关键区域的基础上回归预测骨龄，具有较高准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种超声髋关节骨龄评估方法的示意图；
图2为本发明实施例提供的解剖学关键区域自动检测阶段示意图；
图3为本发明实施例提供的骨龄评估阶段示意图；
图4为本发明实施例提供的一种超声髋关节骨龄评估***的示意图；
图5为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种超声髋关节骨龄评估方法、***、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
实施例一
本发明实施例提供一种超声髋关节骨龄评估方法，它是一种基于解剖学区域检测的弱监督超声髋关节骨龄评估方案，图1展示了该方法整体流程，主要包括：
第一阶段：利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像。
第二阶段：对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估。
为了便于理解，下面针对以上两个阶段的优选实施方式进行介绍。
一、第一阶段。
本发明实施例中，所述第一阶段为解剖学关键区域自动检测阶段，其通过检测网络实现，检测网络利用注意力机制自动定位超声髋关节影像中最具区分性的解剖学区域，并对其进行阈值裁剪得到具有可解释性的关键局部区域，提供给第二阶段进行骨龄评估预测。
如图2所示，展示了解剖学关键区域自动检测阶段的主要原理。下面从网络训练与获得解剖学关键区域两个方面进行介绍。
（1）网络训练。
输入图像为超声髋关节影像，将其调整为指定尺寸（不影响一般性，本发明中设置为448×448像素）后，通过第一骨干网络进行特征提取，获得特征图
Figure 431602DEST_PATH_IMAGE001
；其中，R表示实数集，C表示通道数，H与W分别表示第一骨干网络提取的特征图的高度与宽度，具体尺寸随第一骨干网络而变化。
本发明实施例中，第一骨干网络可以采用现有神经网络中的特征提取网络来实现，具体的网络结构不做限定。
将所述特征图进行全局平均池化，转化为指示通道响应的特征向量
Figure 65846DEST_PATH_IMAGE002
，表示为：
Figure 366377DEST_PATH_IMAGE003
其中，
Figure 402466DEST_PATH_IMAGE004
表示全局平均池化操作。
再通过第一全连接层对所述指示通道响应的特征向量进行变换，获得输出得分
Figure 857981DEST_PATH_IMAGE005
，表示为：
Figure 979521DEST_PATH_IMAGE006
其中，
Figure 83743DEST_PATH_IMAGE007
为第一全连接层的权重参数，
Figure 833393DEST_PATH_IMAGE008
，第t个元素
Figure 99289DEST_PATH_IMAGE009
表示将骨龄评估为t时对应的得分，t=1,2,…,T，T为骨龄标签最大值，单位为天。本发明各符号中的下标t表示相应元素所在集合中的序号，序号t等同于相应的骨龄t。
对于一张真实骨龄为
Figure 442546DEST_PATH_IMAGE010
（已知信息）的超声髋关节影像，使用标签平滑后的向量
Figure 209514DEST_PATH_IMAGE011
作为其骨龄标签，
Figure 954616DEST_PATH_IMAGE012
是
Figure 516047DEST_PATH_IMAGE013
的第t个元素，通过如下公式计算：
Figure 346600DEST_PATH_IMAGE014
其中，e为自然常数，
Figure 792625DEST_PATH_IMAGE015
为控制平滑程度的超参数（其大小可根据实际情况或者经验进行设定）。为使检测网络在图像对应骨龄上获得更高的响应，从而得到更加准确且更具解释性的注意力图，结合输出得分与骨龄标签构造第一损失函数，具体地，可以使用交叉熵损失作为第一阶段的损失函数（第一损失函数）对检测网络进行约束，表示为：
Figure 392233DEST_PATH_IMAGE016
其中，
Figure 623101DEST_PATH_IMAGE017
表示将骨龄评估为t时对应的概率，通过如下公式计算：
Figure 940950DEST_PATH_IMAGE018
。
在根据骨龄进行分类时，检测网络越关注的区域，其注意力图响应越高，特征越具有区分性。注意力图最高响应所对应的区域即为解剖学关键区域。本发明实施例中，检测网络训练的目的是得到第一全连接层的最优权重参数
Figure 784141DEST_PATH_IMAGE019
。根据
Figure 503835DEST_PATH_IMAGE019
生成注意力图，依照注意力图响应值自动检测定位出解剖学关键区域的图像。
（2）获得解剖学关键区域。
此部分主要流程如下：
通过第一骨干网络提取出特征图
Figure 282436DEST_PATH_IMAGE020
，经过全局平均池化与第一全连接层获得输出得分
Figure 212214DEST_PATH_IMAGE021
（所涉及的各项处理与前述训练阶段相同，故不做赘述，由于此部分是利用训练后的检测网络实现，因此，对相关参数的符号进行了区分），利用输出得分
Figure 42DEST_PATH_IMAGE021
计算骨龄评估为t时对应的概率
Figure 574243DEST_PATH_IMAGE022
， t=1,2,…,T，公式与训练阶段相同，表示为：
Figure 648378DEST_PATH_IMAGE023
其中，
Figure 675240DEST_PATH_IMAGE024
与
Figure 266758DEST_PATH_IMAGE025
分别为输出得分
Figure 695465DEST_PATH_IMAGE021
中的第t个与第i个元素，对应的表示将骨龄评估为t与i时对应的得分。
选出最大概率对应的t的数值，记为
Figure 441967DEST_PATH_IMAGE026
，并利用前述标签平滑公式得到其骨龄伪标签
Figure 221704DEST_PATH_IMAGE027
，具体的，骨龄伪标签
Figure 351334DEST_PATH_IMAGE028
，其中，
Figure 759181DEST_PATH_IMAGE029
是骨龄伪标签
Figure 581644DEST_PATH_IMAGE027
的第t个元素，通过如下公式计算：
Figure 583098DEST_PATH_IMAGE030
同时，利用训练阶段得到的第一全连接层的权重参数
Figure 375473DEST_PATH_IMAGE019
对特征图
Figure 513194DEST_PATH_IMAGE020
进行变换，获得T张注意力图（加权特征图）
Figure 506558DEST_PATH_IMAGE031
，表示为：
Figure 995308DEST_PATH_IMAGE032
其中，第t张切片
Figure 591374DEST_PATH_IMAGE033
即为骨龄t对应的注意力图。
之后，利用骨龄伪标签
Figure 583601DEST_PATH_IMAGE027
对注意力图
Figure 747866DEST_PATH_IMAGE034
进行加权融合，获得对应的新的注意力图
Figure 81502DEST_PATH_IMAGE035
，表示为：
Figure 91046DEST_PATH_IMAGE036
将新的注意力图
Figure 468938DEST_PATH_IMAGE035
调整为与所述超声髋关节影像相同的尺寸（448×448像素），获得调整后的注意力图
Figure 663159DEST_PATH_IMAGE037
。在
Figure 860922DEST_PATH_IMAGE037
中选出一个矩形区域，使其包含所有响应值大于阈值k的像素点且面积最小，并依照该矩形区域从所述超声髋关节影像中裁剪出对应的图像，作为保留了细节信息的解剖学关键区域的图像并应用于第二阶段中相关网络的训练；其中，k为正整数，可根据实际情况或者经验进行设定。
二、第二阶段。
本发明实施例中，第二阶段即为骨龄评估阶段，通过回归网络实现。回归网络根据前述利用注意力机制获得的解剖学关键区域的图像，学习解剖学关键区域图像的特征，并结合性别信息得出最终的骨龄预测结果。
如图3所示，为骨龄评估阶段的主要原理，其包括：
（1）通过第二骨干网络从所述解剖学关键区域的图像中提取特征图
Figure 674157DEST_PATH_IMAGE038
，
Figure 31189DEST_PATH_IMAGE039
与
Figure 271678DEST_PATH_IMAGE040
分别表示第二骨干网络提取的特征图的高度与宽度。同样的，第二骨干网络可以采用现有神经网络中的特征提取网络来实现，具体的网络结构不做限定。
（2）特征图
Figure 222316DEST_PATH_IMAGE041
将通过最大池化操作
Figure 698297DEST_PATH_IMAGE042
获得相应的特征向量
Figure 785202DEST_PATH_IMAGE043
。
（3）通过第二全连接层
Figure 462171DEST_PATH_IMAGE044
，获得骨龄评估结果
Figure 634526DEST_PATH_IMAGE045
，表示为：
Figure 415663DEST_PATH_IMAGE046
考虑到男女性骨骼发育速度变化存在明显差异，相比于男性，女性在发育早期骨骼成熟更快，如果不考虑性别信息会导致骨龄预测结果存在较大误差。现有工作将性别信息转化为特征向量，与图像特征向量直接拼接，但不同模态的特征之间存在鸿沟，直接拼接无法有效利用性别信息。因此，本发明实施例中，设置回归网络为双分支并行网络结构，可以根据性别信息选择相应支路进行特征提取与骨龄评估。具体的，在训练阶段，所述回归网络中的双分支并行网络分别使用不同性别的样本进行训练；在测试阶段，根据性别信息将测试样本（即前述第一阶段获得的解剖学关键区域的图像）送入对应的网络分支进行预测。
本发明实施例中，为了对骨龄评估结果进行直接约束以获得更高的预测精度，训练阶段，利用骨龄评估结果构造第二损失函数，表示为：
Figure 357074DEST_PATH_IMAGE047
其中，
Figure 939365DEST_PATH_IMAGE045
表示骨龄评估结果，
Figure 723650DEST_PATH_IMAGE010
表示真实骨龄。
本发明实施例中，所述检测网络与回归网络各自利用相应的损失函数单独进行训练。
需要说明的是，图1~图3中展示的超声髋关节影像以及注意力图的内容仅为示例，并非构成限制，在实际应用中，输入图像可以是不同内容的超声髋关节影像，根据不同的网络参数也可以得到不同内容的注意力图。
本发明实施例上述方案与现有方案相比，显著降低了骨龄评估的平均绝对误差：在超声髋关节影像骨龄评估数据集USBAA上达到16.24天的平均绝对误差。一方面，本发明可以提升骨龄评估结果准确度；另一方面，相较于端到端方法，本发明第一个阶段定位的解剖学关键区域是一种可解释性解剖学区域结果，可促进医学研究的进一步发展。
实施例二
本发明还提供一种超声髋关节骨龄评估***，其主要基于前述实施例一提供的方法实现，如图4所示，该***主要包括：
检测网络，利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像；
回归网络，对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
需要说明的是，***中各网络的主要技术细节在之前的实施例一中已经做了详细的说明，故不再赘述。
实施例三
本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种超声髋关节骨龄评估方法，其特征在于，包括：
第一阶段：利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像；
第二阶段：对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估；
所述第一阶段通过检测网络实现；通过所述检测网络对超声髋关节影像进行特征提取，获得特征图；将所述特征图进行全局平均池化，转化为指示通道响应的特征向量；通过第一全连接层对所述指示通道响应的特征向量进行变换，获得输出得分，利用输出得分计算出骨龄伪标签；同时，利用第一全连接层对特征图进行变换获得注意力图，利用骨龄伪标签对注意力图进行加权融合获得新的注意力图，利用所述新的注意力图裁剪出解剖学关键区域的图像；
在训练阶段，利用输出得分与骨龄标签构造第一损失函数并对所述检测网络进行约束；
定义输出得分
Figure 722866DEST_PATH_IMAGE001
，第t个元素
Figure 153847DEST_PATH_IMAGE002
表示将骨龄评估为t时对应的得分，t= 1,2,…,T，T为骨龄标签最大值；利用输出得分计算骨龄概率：
Figure 819094DEST_PATH_IMAGE003
其中，e为自然常数，
Figure 589604DEST_PATH_IMAGE004
表示将骨龄评估为t时对应的概率，
Figure 543654DEST_PATH_IMAGE005
表示将骨龄评估为i时对 应的得分；
对于一张真实骨龄为
Figure 212663DEST_PATH_IMAGE006
的超声髋关节影像，使用标签平滑后的向量
Figure 51306DEST_PATH_IMAGE007
作为其骨龄标签，
Figure 535377DEST_PATH_IMAGE008
是骨龄标签
Figure 863591DEST_PATH_IMAGE009
的第t个元素，通过如下公式计算：
Figure 754317DEST_PATH_IMAGE010
其中，
Figure 458968DEST_PATH_IMAGE011
为控制平滑程度的超参数；
构造的第一损失函数表示为：
Figure 204070DEST_PATH_IMAGE012
。
2.根据权利要求1所述的一种超声髋关节骨龄评估方法，其特征在于，利用输出得分计算出骨龄伪标签的步骤包括：
利用输出得分
Figure 703185DEST_PATH_IMAGE013
计算骨龄评估为t时对应的概率
Figure 330475DEST_PATH_IMAGE014
， t=1,2,…,T，表示为：
Figure 58391DEST_PATH_IMAGE015
其中，
Figure 720316DEST_PATH_IMAGE016
与
Figure 390332DEST_PATH_IMAGE017
分别表示将骨龄评估为t与i时对应的得分， T为骨龄标签最大值；
选出最大概率对应的t的数值，记为
Figure 504919DEST_PATH_IMAGE018
，并利用标签平滑公式得到骨龄伪标签
Figure 33596DEST_PATH_IMAGE019
，其中，
Figure 550028DEST_PATH_IMAGE020
是骨龄伪标签
Figure 390945DEST_PATH_IMAGE021
的第t个元素，计算公式表示为：
Figure 992827DEST_PATH_IMAGE022
其中，e为自然常数，
Figure 328125DEST_PATH_IMAGE011
为控制平滑程度的超参数。
3.根据权利要求1所述的一种超声髋关节骨龄评估方法，其特征在于，利用骨龄伪标签对注意力图进行加权融合获得新的注意力图，利用所述新的注意力图裁剪出解剖学关键区域的图像的步骤包括：
记录骨龄伪标签为
Figure 699063DEST_PATH_IMAGE021
，对特征图进行变换获得注意力图为
Figure 710882DEST_PATH_IMAGE023
，利用骨龄伪标签
Figure 534481DEST_PATH_IMAGE021
对 注意力图
Figure 673470DEST_PATH_IMAGE023
进行加权融合获得新的注意力图
Figure 164494DEST_PATH_IMAGE024
，表示为：
Figure 347213DEST_PATH_IMAGE025
其中，
Figure 658109DEST_PATH_IMAGE020
是骨龄伪标签
Figure 600788DEST_PATH_IMAGE021
的第t个元素，
Figure 680740DEST_PATH_IMAGE026
为注意力图
Figure 299940DEST_PATH_IMAGE023
中的第t张，即骨龄t对应的 注意力图；
将新的注意力图
Figure 98132DEST_PATH_IMAGE024
调整为与所述超声髋关节影像相同的尺寸，从尺寸调整后的注意力 图中选出一个矩形区域，使其包含所有响应值大于阈值的像素点且面积最小，并依照该矩 形区域从所述超声髋关节影像中裁剪出对应的图像，作为解剖学关键区域的图像。
4.根据权利要求1所述的一种超声髋关节骨龄评估方法，其特征在于，所述第二阶段通过回归网络实现，所述回归网络采用双分支并行网络结构，根据性别信息选择相应支路，利用相应支路从所述解剖学关键区域的图像中提取特征图，并通过最大池化操作获得相应的特征向量，再通过第二全连接层，获得骨龄评估结果。
5.根据权利要求4所述的一种超声髋关节骨龄评估方法，其特征在于，训练阶段，所述回归网络中的双分支并行网络分别使用不同性别的样本进行训练，利用骨龄评估结果构造第二损失函数，表示为：
Figure 310414DEST_PATH_IMAGE027
其中，
Figure 510451DEST_PATH_IMAGE028
表示骨龄评估结果，
Figure 300552DEST_PATH_IMAGE006
表示真实骨龄。
6.一种超声髋关节骨龄评估***，其特征在于，基于权利要求1~5任一项所述的方法实现，该***包括：
检测网络，利用注意力机制自动定位超声髋关节影像中的解剖学关键区域，并裁剪出解剖学关键区域的图像；
回归网络，对所述解剖学关键区域的图像进行特征提取，利用特征提取获得的特征向量进行骨龄评估。
7.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~5任一项所述的方法。
8.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~5任一项所述的方法。
CN202210638349.2A 2022-06-08 2022-06-08 超声髋关节骨龄评估方法、***、设备及存储介质 Active CN114723754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210638349.2A CN114723754B (zh) 2022-06-08 2022-06-08 超声髋关节骨龄评估方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210638349.2A CN114723754B (zh) 2022-06-08 2022-06-08 超声髋关节骨龄评估方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114723754A CN114723754A (zh) 2022-07-08
CN114723754B true CN114723754B (zh) 2022-09-02

Family

ID=82233022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210638349.2A Active CN114723754B (zh) 2022-06-08 2022-06-08 超声髋关节骨龄评估方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114723754B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882517B (zh) * 2020-06-08 2024-06-21 杭州深睿博联科技有限公司 一种基于图卷积神经网络的骨龄评测方法、***、终端及存储介质
EP4161391A4 (en) * 2020-06-09 2024-06-19 Annalise-AI Pty Ltd SYSTEMS AND METHODS FOR AUTOMATED ANALYSIS OF MEDICAL IMAGES
WO2022005091A1 (ko) * 2020-06-29 2022-01-06 주식회사 뷰노 골 연령 판독 방법 및 장치
CN112006654B (zh) * 2020-07-16 2021-07-13 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN114549470B (zh) * 2022-02-23 2024-03-05 合肥工业大学 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法

Also Published As

Publication number Publication date
CN114723754A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
Wu et al. Automatic landmark estimation for adolescent idiopathic scoliosis assessment using BoostNet
US9076197B2 (en) Probability density function estimation
CN105555198B (zh) 自动识别测量项的方法、装置及一种超声成像设备
US11386553B2 (en) Medical image data
KR102045223B1 (ko) 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、***及装置
CN111179227A (zh) 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和***
CN108256527A (zh) 一种基于端到端全卷积网络的皮肤病变多类语义分割方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Bano et al. AutoFB: automating fetal biometry estimation from standard ultrasound planes
CN113261012A (zh) 处理图像的方法、装置及***
CN114565572A (zh) 一种基于图像序列分析的脑出血ct图像分类方法
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
Ning et al. Multi-scale gradational-order fusion framework for breast lesions classification using ultrasound images
CN110163907B (zh) 胎儿颈部透明层厚度测量方法、设备及存储介质
Nguyen et al. Towards rapid weight assessment of finishing pigs using a handheld, mobile RGB-D camera
CN113570594A (zh) 超声图像中目标组织的监测方法、装置及存储介质
CN111528918B (zh) 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质
CN114723754B (zh) 超声髋关节骨龄评估方法、***、设备及存储介质
CN113344028A (zh) 乳腺超声序列图像分类方法及装置
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质
CN116129298B (zh) 基于时空记忆网络的甲状腺视频流结节识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant