CN112006654B - 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 - Google Patents
基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 Download PDFInfo
- Publication number
- CN112006654B CN112006654B CN202010685114.XA CN202010685114A CN112006654B CN 112006654 B CN112006654 B CN 112006654B CN 202010685114 A CN202010685114 A CN 202010685114A CN 112006654 B CN112006654 B CN 112006654B
- Authority
- CN
- China
- Prior art keywords
- attention
- bone age
- neural network
- obtaining
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000006835 compression Effects 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 5
- 210000000236 metacarpal bone Anatomy 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 210000003010 carpal bone Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000012488 skeletal system development Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4504—Bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,包括:训练阶段,主干网络输入为掌骨影像,通过特征提取器获得特征图F,进而得到骨龄回归值;多重注意力模块输入为特征图F,经通过压缩操作与注意力图拆分操作得到M个子注意力图,每个子注意力图再与特征图F点乘,进而得到对应的骨龄回归值;结合主干网络与多重注意力模块得到的骨龄回归值,采用多任务学***均评估误差在4.1个月内。
Description
技术领域
本发明涉及智能医学影像分析技术领域,尤其涉及一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法。
背景技术
传统的骨龄评估通常是对被测者的左手掌部和腕部进行X光摄片,然后借助通用标准进行骨龄评估。这一过程严重依赖医生的从业经验,同时也非常耗时。此外,不同人种、气候等条件下骨骼发育有很大差异,因此对应的标准也千差万别,这增加了骨龄评估的复杂性。
为了加快评估速度、提升评估精度并减轻工作强度,基于人工智能的计算机辅助***(CAD)应运而生,在骨龄评估中取得了超过人类专家的精度。然而,这些人工智能技术大多引入了精细的感兴趣区域标注,通过检测、分割的方法,关注特定的骨骼部位作为感兴趣区域(比如腕骨,近端指骨等等),这带来了昂贵的标注成本和模型复杂度,限制了方法的实际应用价值。
发明内容
本发明的目的是提供一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,训练成本与模型复杂度较低。
本发明的目的是通过以下技术方案实现的:
一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,包括:
构建包含主干网络与多重注意力模块的神经网络;
训练阶段,主干网络输入为掌骨影像,通过特征提取器获得特征图F,基于特征图F得到骨龄回归值;多重注意力模块输入为特征图F,经通过压缩操作与注意力图拆分操作得到M个子注意力图,每个子注意力图再与特征图F点乘,基于点乘结果得到对应的骨龄回归值;结合主干网络与多重注意力模块得到的骨龄回归值,采用多任务学习策略训练神经网络;
测试阶段,将待测掌骨影像输入至训练后的神经网络中,通过其中主干网络得到骨龄评估值。
由上述本发明提供的技术方案可以看出,不需要额外感兴趣区域标注,能自动对感兴趣区域的注意力图,最终实现骨龄的自动化评估。该方法高度灵活,可以即插即用于多种主流卷积神经网络,同时额外仅需要极少的计算开支。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法的模型示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,主要包括:
构建包含主干网络与多重注意力模块的神经网络;
训练阶段,主干网络输入为掌骨影像,通过特征提取器获得特征图F,基于特征图F得到骨龄回归值;多重注意力模块输入为特征图F,经通过压缩操作与注意力图拆分操作得到M个子注意力图,每个子注意力图再与特征图F点乘,基于点乘结果得到对应的骨龄回归值;结合主干网络与多重注意力模块得到的骨龄回归值,采用多任务学习策略训练神经网络;
测试阶段,将待测掌骨影像输入至训练后的神经网络中,通过其中主干网络得到骨龄评估值。
为了便于理解,下面针对神经网络、网络训练及测试过程做详细的介绍。
一、神经网络的组成及原理。
如图1所示,为构建的神经网络示意图,包括主干网络与多重注意力模块两个部分。
1)主干网络。
主干网络的输入为掌骨影像(通常为左手掌骨影像),通过特征提取器(例如,可通过卷积神经网络ResNet50实现)提取其特征图F,经过全局平均池化操作得到特征向量vBN,然后经全连接操作Φ(·)得到骨龄回归值EBN。
2)多重注意力模块。以主干网络中的特征图F为输入,通过1×1的通道压缩操作Λ(·),得到M个通道的多重注意力图Ω。将M通道的多重注意力图拆分为M个子注意力图ω1,ω2,...,ωM,每个子注意力图与主干网络中的特征图点乘,然后经过全局平均池化操作得到每个注意力增强后的特征向量与主干网络一样,同样经全连接操作Φ(·)得到各自的骨龄回归值
二、网络训练。
1)对于主干网络,优化目的是保证主要网络骨龄回归值尽可能接近真实骨龄数值。因此主干网络损失定义为一种回归损失,表示为:
其中,gt为骨龄真实值,freg为L1损失函数freg(x,y)=|x-y|,EBN为主干网络得到的骨龄回归值。
2)对于多重注意力模块(RichAttention),优化目的是保证生成多重感兴趣区域的注意力图,这要求多重注意力机制具有区分性和多样性。注意力的区分性意味着每个经注意力增强得到的特征向量都能够提供准确的年龄估计,注意力的多样性意味着经注意力增强得到的特征向量两两之间具有差异性。
与主干网络相似,区分性元素的优化函数定义为一种回归损失,表示为:
多样性元素要求,同一张输入影像的不同注意力增强特征向量应具有不同的语义,不同输入影像的相同注意力增强特征向量应具有相同的语义。可以简单地定义这些语义属性为对应通道的序号,即{1,2,...M},并设计了一个输出为M个单元的全连接层Ψ(·)。将每一注意力增强特征向量经全连接操作Ψ(·)得到其语义属性的分类概率并将多样性损失定义为一种分类损失,表示为:
其中,frec为交叉熵分类损失。
最终,采用多任务学习策略训练神经网络,将整体损失定义为主干网络损失和多重注意力模块损失,表示为:
其中,α,β,γ为超参数。
在训练过程中,同时优化主干网络和多重注意力模块,不断提升骨龄评估精度。示例性的,超参数α,β,γ均设置为1,注意力子图数量M设置为4。
三、网络测试。
在测试过程中,由于神经网络的共享参数特点,多重注意力模块可以关闭,同时不影响主干网络的特征提取能力。因此关闭多重注意力模块,只采用主干网络的骨龄评估值。因此,本发明没有引入额外的计算量,这保证了方法的轻量化和实用性。
与现有方法相比,本发明提供的上述方法不需要任何检测、分割、预处理环节,因此模型可被端到端训练;同时能自动生成注意力分布图,因此具有更好的泛化性;此外,完全基于2D卷积神经网络,速度快,精度高,平均评估误差在4.1个月内。
基于本发明实施例上述方案获得的骨龄评估值,由于其具有较高的精度可以应用在各领域,比如,体育领域或者科研领域等,但是,具体应用方向本发明不做限定。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,其特征在于,包括:
构建包含主干网络与多重注意力模块的神经网络;
训练阶段,主干网络输入为掌骨影像,通过特征提取器获得特征图F,基于特征图F得到骨龄回归值;多重注意力模块输入为特征图F,经通过压缩操作与注意力图拆分操作得到M个子注意力图,每个子注意力图再与特征图F点乘,基于点乘结果得到对应的骨龄回归值;结合主干网络与多重注意力模块得到的骨龄回归值,采用多任务学习策略训练神经网络;
测试阶段,将待测掌骨影像输入至训练后的神经网络中,通过其中主干网络得到骨龄评估值;
2.根据权利要求1所述的一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,其特征在于,所述主干网络的特征提取器通过卷积神经网络实现,获得特征图F后经过全局平均池化得到特征向量vBN,再经全连接操作Φ(·)得到骨龄回归值EBN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010685114.XA CN112006654B (zh) | 2020-07-16 | 2020-07-16 | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010685114.XA CN112006654B (zh) | 2020-07-16 | 2020-07-16 | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112006654A CN112006654A (zh) | 2020-12-01 |
CN112006654B true CN112006654B (zh) | 2021-07-13 |
Family
ID=73499614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010685114.XA Active CN112006654B (zh) | 2020-07-16 | 2020-07-16 | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112006654B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114599B (zh) * | 2021-03-12 | 2022-01-11 | 电子科技大学 | 基于轻量级神经网络的调制识别方法 |
CN113298004B (zh) * | 2021-06-03 | 2022-04-29 | 南京佑驾科技有限公司 | 一种基于人脸特征学习的轻量级多头年龄估计方法 |
CN113269209B (zh) * | 2021-06-30 | 2022-06-07 | 山东建筑大学 | 一种图像识别方法、***、介质及电子设备 |
CN114041780B (zh) * | 2021-12-08 | 2022-08-30 | 中国科学院计算技术研究所 | 一种基于惯性传感器采集的数据进行呼吸监测的方法 |
CN114549470B (zh) * | 2022-02-23 | 2024-03-05 | 合肥工业大学 | 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法 |
CN114723754B (zh) * | 2022-06-08 | 2022-09-02 | 中国科学技术大学 | 超声髋关节骨龄评估方法、***、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及*** |
CN110120266A (zh) * | 2019-06-27 | 2019-08-13 | 中国科学技术大学 | 骨骼年龄评估方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100853187B1 (ko) * | 2006-12-07 | 2008-08-20 | 한국전자통신연구원 | 수지골 경계 추출 영상 획득 방법 및 그 시스템 |
CN110383292A (zh) * | 2017-04-07 | 2019-10-25 | 英特尔公司 | 用于深度神经网络的经预算和经简化的训练的方法和*** |
CN110110642B (zh) * | 2019-04-29 | 2020-12-22 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
CN111161254A (zh) * | 2019-12-31 | 2020-05-15 | 上海体育科学研究所 | 一种骨龄预测方法 |
-
2020
- 2020-07-16 CN CN202010685114.XA patent/CN112006654B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及*** |
CN110120266A (zh) * | 2019-06-27 | 2019-08-13 | 中国科学技术大学 | 骨骼年龄评估方法 |
Non-Patent Citations (2)
Title |
---|
图像显著性检测若干关键问题研究;孙丰东;《中国博士学位论文全文数据库 信息科技辑》;20191115(第11期);第38-40页 * |
基于卷积神经网络的二维人体姿态估计研究;朱靖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115(第01期);第14页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112006654A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112006654B (zh) | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 | |
CN110532996B (zh) | 视频分类的方法、信息处理的方法以及服务器 | |
Jiang et al. | White blood cells classification with deep convolutional neural networks | |
Hou et al. | Classification of tongue color based on CNN | |
CN106709421B (zh) | 一种基于变换域特征和cnn的细胞图像识别分类方法 | |
Dai et al. | Da-nas: Data adapted pruning for efficient neural architecture search | |
CN115393361B (zh) | 低标注成本的皮肤病图像分割方法、装置、设备及介质 | |
Chen et al. | Visual sentiment analysis with active learning | |
Xiao et al. | Deterministic model fitting by local-neighbor preservation and global-residual optimization | |
CN111259735A (zh) | 基于多级预测特征增强卷积神经网络的单人姿态估计方法 | |
Shen et al. | Cross-modal fine-tuning: Align then refine | |
Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
Le Ngwe et al. | PAtt-Lite: lightweight patch and attention MobileNet for challenging facial expression recognition | |
Hou et al. | A face detection algorithm based on two information flow block and retinal receptive field block | |
Chaturvedi et al. | Analyzing the performance of novel activation functions on deep learning architectures | |
Cheema et al. | Dilated temporal fully-convolutional network for semantic segmentation of motion capture data | |
Fachruddin et al. | Network and layer experiment using convolutional neural network for content based image retrieval work | |
CN116645346A (zh) | 肩袖扫描图像的处理方法、电子设备及存储介质 | |
Wang et al. | CFJLNet: Coarse and fine feature joint learning network for bone age assessment | |
Jia et al. | A mix-supervised unified framework for salient object detection | |
Qin et al. | Intelligent Objective Osteon Segmentation Based on Deep Learning | |
Cao et al. | Separable-programming based probabilistic-iteration and restriction-resolving correlation filter for robust real-time visual tracking | |
CN114049303A (zh) | 一种基于多粒度特征融合的渐进式骨龄评估方法 | |
CN110120266B (zh) | 骨骼年龄评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |