CN113570618B - 一种基于深度学习的加权骨龄评估方法及*** - Google Patents

一种基于深度学习的加权骨龄评估方法及*** Download PDF

Info

Publication number
CN113570618B
CN113570618B CN202110718695.7A CN202110718695A CN113570618B CN 113570618 B CN113570618 B CN 113570618B CN 202110718695 A CN202110718695 A CN 202110718695A CN 113570618 B CN113570618 B CN 113570618B
Authority
CN
China
Prior art keywords
bone
hand
wrist
age
carpal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110718695.7A
Other languages
English (en)
Other versions
CN113570618A (zh
Inventor
乔嘉昕
孙锴
黄威
石映崇
宋健
赵明信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University
Original Assignee
Inner Mongolia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University filed Critical Inner Mongolia University
Priority to CN202110718695.7A priority Critical patent/CN113570618B/zh
Publication of CN113570618A publication Critical patent/CN113570618A/zh
Application granted granted Critical
Publication of CN113570618B publication Critical patent/CN113570618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的加权骨龄评估方法及***,该方法包括:对测试者手骨的X光图像进行预处理;然后进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;将粗分割后的感兴趣区域集合输入手骨细分割模型,得到细分割后的多块手骨感兴趣区域;再分别输入手骨分类评级模型,得到每块手骨对应的分类和发育等级;根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS‑CHN方法评估的骨龄;根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3‑C Carpal方法评估的骨龄;将两种方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。

Description

一种基于深度学习的加权骨龄评估方法及***
技术领域
本发明智能医学影像诊断技术领域,尤其涉及骨龄评估方法领域,具体涉及一种基于深度学习的加权骨龄评估方法及***。
背景技术
骨龄是指根据骨骼的发育变化测定的体格发育年龄,是衡量儿章青少年骨骼发育程度的重要数据指标。
通常来讲,儿科内分泌科医生定期观察儿童左手X光图像以估计骨骼的成熟程度,进而评估患者生长发育情况或给出治疗措施。这其中最常采用的方法包括国外源起的G&P图谱法、TW2计分法、TW3计分法以及国内衍生出来的中华05计分法,但读取此类X光图像需要大量的临床经验来对图像做分析对比、统计、计算等工作,是一项劳动密集型任务,并且通常由受过训练的专家(如儿科放射科医生)执行。上述的评估过程不仅比较复杂,而且由评估人员带来的主观因素(例如,不同评估人员对某部分骨骼等级评定存在不同程度的认知,从而造成评估等级不同)及随机误差(人工读片时可能存在错读、漏读,标错等级等情况)也会对评估结果造成不同程度的影响。当前医疗大数据技术和医疗影像AI技术的发展不断推动骨龄评估去往新的研究方向,利用深度学习下的各种神经网络去评估手骨发育年龄的方法也变得层出不穷,目前国内外研究的基于计分法的骨龄自动评估基于的是单一方法下的骨龄评估标准,由于中华05计分法中涵盖多种评估方法且针对每一方法都给出评估标准细则,包括TW3-C RUS、TW3-C Carpal和RUS-CHN三类。因此我们考虑根据手骨各部位发育阶段的不同,采用RUS-CHN法和针对腕骨区域的TW3-C Carpal法加权的方式进行骨龄评估,以实现更具有临床价值的骨龄评估方式。
发明内容
本发明的目的在于克服现有技术缺陷,提出了一种基于深度学习的加权骨龄评估方法及***。
一种基于深度学习的加权骨龄评估方法,所述方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
作为上述方法的一种改进,所述对测试者手骨的X光图像进行预处理;具体包括:
通过灰度转化函数使X光图像的直方图灰度均匀分布在适当的区间范围内,根据调整后的直方图对X光图像进行转化,增强图像对比度;
从转化后的X光图像提取手骨X光图像,消除背景噪声;
采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。
作为上述方法的一种改进,所述对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;具体包括:
遍历手部轮廓像素点,找到手部五个指尖与四个指间的连接凹点,通过四个凹点和腕部与掌部的连接点确定手掌中心,通过每个指尖与相邻两个凹点的中点确定一条直线,并旋转图像使直线垂直;使用该指尖的y坐标和手掌中心的y坐标设置感兴趣区域的上、下边界,使用相邻两个凹点的x坐标设置左右边界,从而确定每个掌指骨感兴趣区域集合;
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨和桡尺骨感兴趣区域集合的上边界,手腕轮廓左右像素的近似直线为左右边界,从而确定腕骨和桡尺骨的感兴趣区域集合位置。
作为上述方法的一种改进,所述手骨细分割模型的输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-C Carpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
作为上述方法的一种改进,所述方法还包括手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并从预处理后的X光图像中随机选取部分进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLO V3网络,从而得到训练好的手骨细分割模型。
作为上述方法的一种改进,所述手骨分类评级模型的输入为细分割后的13块手骨感兴趣区域以及7块腕骨感兴趣区域,输出为每块手骨对应的分类和发育等级以及每块腕骨对应的分类和发育等级;所述手骨分类评级模型采用Xception-BA网络。
作为上述方法的一种改进,所述方法还包括手骨分类评级模型的训练步骤;具体包括:
由手骨细分割模型训练集的13块手骨感兴趣区域和7块腕骨的感兴趣区域建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数为100,图像批量大小为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
作为上述方法的一种改进,所述将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果;具体包括:
根据测试者x的年龄和性别分别确定RUS-CHN方法评估的骨龄权重w1以及TW3-CCarpal方法评估的骨龄权重w2
根据下式计算得到测试者x的骨龄评估结果H(x):
其中,wi为权重,i=1,2,wi≥0且i=1时hi(x)为测试者x采用RUS-CHN方法测算的骨龄,i=2时hi(x)为测试者x采用TW3-C Carpal方法测算的骨龄。
一种基于深度学习的加权骨龄评估***,其特征在于,所述***包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
所述细分割模块,用于将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果
与现有技术相比,本发明的优势在于:
本发明的方法采用粗分割与细分割结合的方法,通过深度学习得到手骨细分割模型和手骨分类评级模型,采用关注年龄段加权的骨龄估计方法,得到的估计结果准确率更高。
附图说明
图1是本发明的基于深度学习的加权骨龄评估方法流程图;
图2(a)是掩模处理前图像;
图2(b)是采用本发明的方法进行掩模处理后图像;
图3是采用本发明的方法进行去噪处理流程图;
图4(a)是仿射变换前手骨X光图像;
图4(b)是根据关键点坐标进行仿射变换后的手骨X光图像;
图5是腕骨感兴趣区域检测步骤;
图6是第三指骨感兴趣区域检测步骤;
图7是本发明所关注的所有手骨感兴趣区域,其中,1是第一远节指骨,2是第一近节指骨,3是第一掌骨,4是第三远节指骨,5是第三中节指骨,6是第三近节指骨,7是第三掌骨,8是第五远节指骨,9是第五中节指骨,10是第五近节指骨,11是第五掌骨,12是桡骨,13是尺骨,14是三角骨,15是月骨,16是舟骨,17是钩骨18是头状骨,19是小多角骨,20是大多角骨;
图8是RUS-CHN法手腕骨成熟度评价图(女);
图9是TW3-C Carpal法成熟度评价图(女)。
具体实施方式
本发明结合数字图像处理技术和深度学习方式,以中华05计分法为评估标准去研究一种计算机自动评定骨龄等级的方法,对提高骨龄等级评定的效率以及实现骨龄的自动识别具有重要意义。本发明采用多种图像处理方式对源X光片进行分步处理,确保得到适用于后面深度学习进行训练的网络模型输入数据;在骨龄评估方面,结合临床医学经验,将腕骨部分的TW3-C Carpal评级计分判定加入依据RUS-CHN法的对其他13块骨ROI区域评级计分判定,采用加权的方式对不同年龄段不同性别的儿童实现有针对性的骨龄评估。最终目的是得到囊括更多临床经验、精度高、速度快的骨龄评估结果,进而解决上述背景中提到的问题。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图所示,本发明的实施例1提供了一种基于深度学习的加权骨龄评估方法。
该方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到对应不同掌指骨的感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合;
将粗分割后的多个掌指骨感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合输入预先建立的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
一、图像预处理
本发明使用了两个数据集,一个是来自北美放射学会(RSNA)提供的公开数据集,另一个是来自内蒙古人民医院提供的本地数据集。数据集图像在明暗度上差异较大,整体图像质量欠佳,存在标尺噪声,灰度分布不均匀、空间坐标未对齐等问题。
1、直方图均衡化操作通过灰度转化函数使直方图的灰度均匀分布在适当的区间范围内,然后根据调整后的直方图对原输入图像进行转化,达到增强图像对比度的效果。rk∈[0,1]表示灰度级,nk表示出现这种灰度级的像素数,Pr(rk)表示灰度级rk出现的概率。其实现过程如下:
灰度的转化函数如下:
通过上式,计算出原灰度级为rk的像素点在均衡后的灰度级sk
2、手骨提取即消除图像中除手骨之外的背景噪声。
首先,使用标注工具手动标注100张手骨X光图像的手骨掩模,确保把手骨区域从图像的背景里分割出来,如图2(a)、(b)所示。然后,使用这些手动标注的图像作为训练集和验证集,开展U-Net网络的初步训练。为了加速模型的收敛速度,缓解梯度消失等问题,训练过程结合了批次规范化操作,通过对训练时的每个批次数据进行规范化计算,输出均值为0、方差为1的数据,从而更加容易和稳定地训练U-Net。由于每张手骨X光图像中有且仅有一只手骨,因此对于每个分割结果,需要移除小的、无关的连接部分,仅保留最大的一块掩模。
经过100张标注好的手骨X光图像数据的训练,U-Net网络可以进行初步的手骨X光图像的去噪操作,虽然去噪效果参差不齐,但部分图像可以取得较好的去噪结果,使用去噪结果较好的图像作为训练集的扩充,继续进行U-Net网络的二次训练。经过反复的迭代训练,U-Net网络在整个数据集上可以达到令人满意的去噪效果。整个U-Net网络迭代训练的过程示意图如图3所示。
3、手骨矫正。
图像存在手骨姿态不一致的问题,如果将其直接输入到后续网络中会影响模型学习效果,因此必须对图像进行矫正。采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。如图4(a)、(b)所示。
二、粗分割和细分割
1、粗分割:
掌指骨ROI-C检测步骤如下:
遍历手部轮廓像素点,找到手部五个指尖与四个指间连接凹点;通过四个凹点和腕部与掌部连接点确定手掌中心;以第三指骨ROI-C检测为例,通过第三指尖与第二第三凹点的中点确定一条直线,并旋转图像使直线垂直;使用指尖的y坐标和手掌中心的y坐标设置ROI-C的上、下边界,使用两侧凹点的x坐标设置左右边界,如图5所示。
腕骨、桡尺骨ROI-C检测步骤如下:
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨、桡尺骨ROI-C上边界,手腕轮廓左右像素近似的直线为左右边界确定腕骨、桡尺骨ROI-C位置,如图6所示。
对通过图像处理检测得到的ROI-C区域进行图像分割,为接下来实际ROI检测做准备,得到4个ROI-C图像如图7所示。
2、细分割:
对于粗分割后得到的如图7所示的4个感兴趣区域集合,利用YOLO V3网络再进行细分割,得到图示所标出的20个手骨感兴趣区域;
三、13块手骨ROI的分别评级(根据RUS-CHN的骨龄评估)
RUS-CHN方法是中华05计分法下对传统13块掌指骨及桡尺骨发育等级进行评估从而得出骨龄的方法:经细分割得到掌指骨及桡尺骨部分的13块骨骼,然后根据表1得到对应的发育分数,将各骨发育等级得分相加,得到对应的成熟度得分。根据所使用的评价方法以及所评价对象的性别,选择相应的手腕骨发育成熟度评价图。根据所评价对象的生活年龄和手腕骨发育成熟度得分,评估该儿童的发育状况以及在其年龄组中所处的位置,由曲线图读出骨龄值,如图8所示。
需要说明的是,本实施例以女性手骨举例,但并不限制于女性的骨龄评估,本技术方案对男性和女性的骨龄评估均适合。对于男性骨龄评估,相应的选取男性相关得分表。
表1 RUS-CHN方法手腕骨发育等级得分表(女)
四、腕骨部分的分割和等级评估(根据TW3-C Carpal的骨龄评估)
TW3-C Carpal方法是中华05计分法下单独对腕骨部分的7块骨骼发育等级进行评估从而得出骨龄的方法:经细分割得到腕骨部分的七块骨骼:头状骨、钩骨、三角骨、月骨、舟骨和大、小多角骨,然后根据表4得到对应的发育分数,将各骨发育等级得分相加,得到手腕骨成熟度得分。根据所使用的评价方法以及所评价对象的性别,选择相应的手腕骨发育成熟度评价图。根据所评价对象的生活年龄和手腕骨发育成熟度得分,评价该儿童的发育状况以及在其年龄组中所处的位置,由曲线图读出骨龄值,如图9所示。
表2 TW3-C Carpal方法手腕骨发育等级得分表(女)
由于评估腕骨骨龄主要依据头状骨、钩骨、三角骨、月骨、舟骨和大、小多角骨等7枚腕骨骨骺的形态变化和关节面形成过程。腕骨早期发育阶段在X光片上表现为密集的点,随发育而不断增大,最后增长至最佳大小和特定形状。与长骨发育不同,腕骨在***之前发育较快,男孩在13岁左右、女孩在11岁左右腕骨已经接近成熟。由于腕骨分期的个体差异较大,有学者建议不宜采用腕骨评估儿童骨龄,尤其对年龄稍大的儿童,应使用长骨;但相对于手腕部长短管状骨,腕骨生长发育对性激素的稍差,结合长骨骨龄的变化有助于早期诊断性早熟;此外,结合临床专业医师对于手骨X光片的判读经验,部分放射科医师尤其会针对腕骨部分ROI进行研究,并以腕骨部分的发育情况作为主要参考目标。以往研究表明,单纯性生长激素分泌不足儿童骨成熟延迟,而腕骨延迟程度较长骨更严重,故评估腕骨骨龄对诊断及治疗肥胖和生长迟缓等常见生长异常状况具有重要意义。男孩7岁左右、女孩5岁左右,7枚腕骨会出现重叠。
本发明采用深度学习的方法,构建手骨细分割模型,输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-CCarpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并对预处理后的部分X光图像进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLO V3网络,从而得到训练好的手骨细分割模型。
本发明采用深度学习的方法,构建手骨发育等级分类模型,提出的Xception-BA骨龄发育分类算法通过神经网络自主学习的方式复现医生对每一块进行完粗分割和细分割后的手骨ROI的特征分析过程,以实现精确、快速的发育等级判别,进而实现骨龄评估。
手骨分类评级模型的训练步骤;具体包括:
对原始数据集经预处理、粗分割及细分割后建立的13块手骨ROI和7块腕骨ROI形成新的数据集,并从数据集中取部分数据建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数epochs为100,图像批量大小batch_size为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
利用经优化过后的Xception-BA网络对所有手骨ROI进行训练,模型构建与训练的深度学习框架为Keras2.4和TensorFlow1.15,通过Python3.6编程实现。***运行环境为Ubuntu16.04,使用GPU进行加速,机器型号为NVIDIA2080,显存为8G。
模型训练时,训练集和测试集的比例设置为9:1,训练迭代次数epochs=100,图像批量大小batch_size=32。训练中采用的优化方案为Adagrad,学习率learning_rate设为0.05。
模型在epoch为20附近时开始收敛,最终在训练集下loss值为32,测试集里loss值为120,在训练集及测试集的MAE分别为4.3和8.4。
五、二者合理加权得出最终骨龄评估结果
儿童检测手骨发育年龄一般(整个数据集遍历的年龄范围)为0~18岁,其中腕骨部分的7块骨骼在7到12岁发育特征明显,在7岁之前并未发育出来,在13岁之后基本定型,不会再有显著的发育特征变化。结合临床医师的经验和建议,我们在儿童手骨属于该发育阶段可以将7枚腕骨的发育特征同传统的13块掌指骨发育特征结合起来共同使用深度学习方法去训练学习进而得出最终骨龄。
首先将13块传统手骨ROI采用Xception-BA算法进行骨龄发育等级分类并转化为相应分数,并根据RUS-CHN评分所建立分数-等级骨龄换算模型将分数映射得到这部分的骨龄评估结果,然后继续使用同样的深度学习网络对7枚腕骨进行评估得到腕骨部分的骨龄评估结果,接着将二者的评估结果加权,从而得出最终的骨龄评估结果。
由于腕骨部分评估骨龄需要在特定年龄段(7~12岁)才能发挥其作用,而且腕骨在临床应用上也根据医生选择作为骨龄评估的主要甄别点或者参考点,所以我们可以根据不同年龄段、不同性别、不同训练样本去赋给腕骨部分不同的权重,最终结合其他13块手骨ROI得出一个更接近实际的骨龄评估结果;如公式(3)为一般采用加权平均所用到的基本公式:
其中ωi为权重,通常ωi要求:ωi≥0,
加权平均法的权重ωi一般从训练数据中学习而得,也可以在开始人为随机分配不同大小的权重,但是有时候权重分配不合适较容易导致训练结果过拟合。
如下表:w1表示采用传统RUS-CHN方法评估13块手骨得出的骨龄结果所赋予的权重,w2表示采用TW3-C Carpal方法评估7块腕骨得出的骨龄结果所赋予的权重,表左侧为年龄段,可以看到在7~12岁阶段w2占得比重比其他两个阶段要大。
表3年龄和骨龄权重示意
实施例2
本发明的实施例2提出了一种基于深度学习的加权骨龄评估***,所述***包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;具体处理方法同实施例1,其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到对应不同掌指骨的感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合;
所述细分割模块,用于将粗分割后的多个掌指骨感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合输入预先建立的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度学习的加权骨龄评估方法,所述方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果;
所述对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;具体包括:
遍历手部轮廓像素点,找到手部五个指尖与四个指间的连接凹点,通过四个凹点和腕部与掌部的连接点确定手掌中心,通过每个指尖与相邻两个凹点的中点确定一条直线,并旋转图像使直线垂直;使用该指尖的y坐标和手掌中心的y坐标设置感兴趣区域的上、下边界,使用相邻两个凹点的x坐标设置左右边界,从而确定每个掌指骨感兴趣区域集合;
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨和桡尺骨感兴趣区域集合的上边界,手腕轮廓左右像素的近似直线为左右边界,从而确定腕骨和桡尺骨的感兴趣区域集合位置;
所述手骨细分割模型的输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-C Carpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
2.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述对测试者手骨的X光图像进行预处理;具体包括:
通过灰度转化函数使X光图像的直方图灰度均匀分布在适当的区间范围内,根据调整后的直方图对X光图像进行转化,增强图像对比度;
从转化后的X光图像提取手骨X光图像,消除背景噪声;
采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。
3.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述方法还包括手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并从预处理后的X光图像中随机选取部分进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLOV3网络,从而得到训练好的手骨细分割模型。
4.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述手骨分类评级模型的输入为细分割后的13块手骨感兴趣区域以及7块腕骨感兴趣区域,输出为每块手骨对应的分类和发育等级以及每块腕骨对应的分类和发育等级;所述手骨分类评级模型采用Xception-BA网络。
5.根据权利要求4所述的基于深度学习的加权骨龄评估方法,其特征在于,所述方法还包括手骨分类评级模型的训练步骤;具体包括:
由手骨细分割模型训练集的13块手骨感兴趣区域和7块腕骨的感兴趣区域建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数为100,图像批量大小为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
6.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果;具体包括:
根据测试者x的年龄和性别分别确定RUS-CHN方法评估的骨龄权重w1以及TW3-C Carpal方法评估的骨龄权重w2
根据下式计算得到测试者x的骨龄评估结果H(x):
其中,wi为权重,i=1,2,wi≥0且i=1时hi(x)为测试者x采用RUS-CHN方法测算的骨龄,i=2时hi(x)为测试者x采用TW3-C Carpal方法测算的骨龄。
7.一种基于深度学习的加权骨龄评估***,其特征在于,所述***包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
所述细分割模块,用于将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果;
所述粗分割模块的处理过程具体包括:
遍历手部轮廓像素点,找到手部五个指尖与四个指间的连接凹点,通过四个凹点和腕部与掌部的连接点确定手掌中心,通过每个指尖与相邻两个凹点的中点确定一条直线,并旋转图像使直线垂直;使用该指尖的y坐标和手掌中心的y坐标设置感兴趣区域的上、下边界,使用相邻两个凹点的x坐标设置左右边界,从而确定每个掌指骨感兴趣区域集合;
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨和桡尺骨感兴趣区域集合的上边界,手腕轮廓左右像素的近似直线为左右边界,从而确定腕骨和桡尺骨的感兴趣区域集合位置;
所述手骨细分割模型的输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-C Carpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
CN202110718695.7A 2021-06-28 2021-06-28 一种基于深度学习的加权骨龄评估方法及*** Active CN113570618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110718695.7A CN113570618B (zh) 2021-06-28 2021-06-28 一种基于深度学习的加权骨龄评估方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110718695.7A CN113570618B (zh) 2021-06-28 2021-06-28 一种基于深度学习的加权骨龄评估方法及***

Publications (2)

Publication Number Publication Date
CN113570618A CN113570618A (zh) 2021-10-29
CN113570618B true CN113570618B (zh) 2023-08-08

Family

ID=78162970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110718695.7A Active CN113570618B (zh) 2021-06-28 2021-06-28 一种基于深度学习的加权骨龄评估方法及***

Country Status (1)

Country Link
CN (1) CN113570618B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114601483B (zh) * 2022-05-11 2022-08-16 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于图像处理的骨龄分析方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272002A (zh) * 2018-09-30 2019-01-25 杭州依图医疗技术有限公司 一种骨龄片的分类方法及装置
CN111080579A (zh) * 2019-11-28 2020-04-28 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
CN112785559A (zh) * 2021-01-05 2021-05-11 四川大学 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN112862749A (zh) * 2020-12-29 2021-05-28 浙江康体汇科技有限公司 一种骨龄图像数字化处理后自动识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008767A1 (de) * 2005-02-25 2006-09-07 Siemens Ag Verfahren für eine Röntgeneinrichtung und Computertomograph zur Verminderung von Strahlaufhärtungsartefakten aus einem erzeugten Bild eines Objektes
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272002A (zh) * 2018-09-30 2019-01-25 杭州依图医疗技术有限公司 一种骨龄片的分类方法及装置
CN111080579A (zh) * 2019-11-28 2020-04-28 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
CN112862749A (zh) * 2020-12-29 2021-05-28 浙江康体汇科技有限公司 一种骨龄图像数字化处理后自动识别方法
CN112785559A (zh) * 2021-01-05 2021-05-11 四川大学 基于深度学习的多个异构模型相互组合的骨龄预测方法

Also Published As

Publication number Publication date
CN113570618A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN108056786B (zh) 一种基于深度学习的骨龄检测方法和装置
CN108334899A (zh) 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法
CN103310457B (zh) 一种基于抛物线修正凸包的肺实质分割方法
WO2022037548A1 (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
US7421104B2 (en) Method of automatically assessing skeletal age of hand radiographs
CN106340000A (zh) 骨龄评估方法
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其***
CN114795258B (zh) 一种儿童髋关节发育不良诊断***
CN113284090B (zh) 一种脊柱侧弯检测方法与医疗平台
Gielis et al. An automated workflow based on hip shape improves personalized risk prediction for hip osteoarthritis in the CHECK study
CN113570618B (zh) 一种基于深度学习的加权骨龄评估方法及***
CN112862749A (zh) 一种骨龄图像数字化处理后自动识别方法
Ricchetti et al. Reliability of the modified Walch classification for advanced glenohumeral osteoarthritis using 3-dimensional computed tomography analysis: a study of the ASES B2 Glenoid Multicenter Research Group
Ahn et al. Assessment of rapidly advancing bone age during puberty on elbow radiographs using a deep neural network model
CN109920002B (zh) 基于三维随机森林模型的头影测量图像中特征点定位方法
Sharp et al. Computer based methods for measurement of joint space width: update of an ongoing OMERACT project.
CN117876402A (zh) 一种用于颞下颌关节紊乱病影像的智能分割方法
Chen et al. Automatic and human level Graf's type identification for detecting developmental dysplasia of the hip
CN112690815A (zh) 基于肺部图像报告辅助诊断病变等级的***和方法
Duryea et al. Neural network based automated algorithm to identify joint locations on hand/wrist radiographs for arthritis assessment
Shi et al. ROI detection of hand bone based on YOLO V3
CN115359002A (zh) 一种颈动脉超声图像斑块自动检测***及方法
Cheng et al. Diagnosis of metacarpophalangeal synovitis with musculoskeletal ultrasound images
CN113436154A (zh) 甲状腺结节边缘征象分类方法、装置和***
CN107392170A (zh) 一种符合自然生长规律的掌纹主线提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant