CN111340760A - 基于多任务两级卷积神经网络的膝关节定位方法 - Google Patents

基于多任务两级卷积神经网络的膝关节定位方法 Download PDF

Info

Publication number
CN111340760A
CN111340760A CN202010097868.3A CN202010097868A CN111340760A CN 111340760 A CN111340760 A CN 111340760A CN 202010097868 A CN202010097868 A CN 202010097868A CN 111340760 A CN111340760 A CN 111340760A
Authority
CN
China
Prior art keywords
knee
knee joint
image
feature map
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010097868.3A
Other languages
English (en)
Other versions
CN111340760B (zh
Inventor
窦勇
王康
牛新
姜晶菲
熊运生
杨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010097868.3A priority Critical patent/CN111340760B/zh
Publication of CN111340760A publication Critical patent/CN111340760A/zh
Application granted granted Critical
Publication of CN111340760B publication Critical patent/CN111340760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多任务两级卷积神经网络的膝关节定位方法，目的提高膝关节的检测准确率。技术方案是搭建两级网络组成的基于多任务两级卷积神经网络的膝关节区域定位网络，第一级网络由第一特征提取模块和初步目标检测模块构成，第二级网络由第二特征提取模块和最终目标检测模块构成；对膝关节区域定位网络进行训练，得到训练好的膝关节区域定位网络模型；对待检测双膝X光片进行预处理，将双膝图像划分成单膝图像；基于训练好的膝关节区域定位网络对单膝图像进行膝关节定位，得到单膝图像的最终边界框及最终膝关节区域的关键点。采用本发明可提高膝关节定位的检测准确率。

Description

基于多任务两级卷积神经网络的膝关节定位方法
技术领域
本发明涉及图像处理、计算机视觉、目标定位领域，具体涉及一种基于多任务两级卷积神经网络的膝关节定位方法。
背景技术
膝关节炎是非常常见的关节疾病甚至可导致残疾。在老年人、肥胖者、久坐不动的人群中具有高病发率，如果膝关节炎严重的话，会产生折磨人的疼痛感甚至造成全关节置换，每个患膝关节炎的病人每年膝关节的治疗费用可达19000欧元，所以膝关节炎是需要高度重视的一种疾病。目前医生主要是基于X光片对膝关节炎进行临床诊断，尽管还有一些其他医学成像种类，比如：磁共振成像、超声成像，但X光片是一种便宜且广泛使用的医学成像。在临床上，患者拍摄的X光片是包含双腿的医学图像，而膝关节炎主要表现出膝关节间隙变窄、骨赘形成及硬化的病理特征，所以只需要关注膝关节区域。由于医生在评阅X光片的时候具有主观性且比较耗时耗力，随着计算机技术的发展，计算机辅助方式也开始步入医疗领域，但对于包含双膝的X光片，无论是医生对其进行视觉诊断还是借助计算机辅助诊断，进行膝关节区域定位是诊断的前提，也是至关重要的一步。
目前对包含双膝的X光片定位膝关节区域，可以通过手动标注的方式，即基于人眼查看每张X光片手动标注出膝关节区域，这种手动标注的方式是耗时耗力的。后来出现计算机辅助的膝关节区域的定位方法，例如，(文献“Early detection of radiographic kneeosteoarthritis using computer-aided analysis[J].Osteoarthritis and Cartilage,2009,17(10):1307-1312.”译为：利用计算机辅助分析早期发现放射性膝关节炎，《骨关节炎和软骨期刊》)提出采用模板匹配的方法自动检测膝关节部位，这种方法对于大数据集比较慢，并且膝关节检测准确率也比较低。(文献“Quantifying radiographic kneeosteoarthritis severity using deep convolutional neural networks[C]//201623rdInternational Conference on Pattern Recognition(ICPR).IEEE,2016:1195-1200.”译为：利用深度卷积神经网络量化放射性膝关节炎严重性，《2016年第23届模式识别国际会议》)提出基于Sobel水平图像梯度和支持向量机(SVM)的方法，首先自动检测膝关节中心，然后根据检测的膝关节中心提取一个固定区域作为感兴趣的膝关节部位。在公开数据库OAI(https://oai.epi-ucsf.org/datarelease/)中4496张膝关节X光片上最高检测率为81.8％，采用模板匹配的方法最高检测率为54.4％。(文献“A novel method forautomatic localization of joint area on knee plain radiographs[C]//Scandinavian Conference on Image Analysis.Springer,Cham,2017:290-301.”译为：一种自动定位光片中膝关节区域的新方法，《斯堪的纳维亚图像分析会议》)提出使用方向梯度直方图(HOG)与支持向量机(SVM)结合的方法完成膝关节区域的定位。在公开数据集MOST(http://most.ucsf.edu)中473张膝关节X光片上测得平均IOU(IOU为交并比，即
Figure BDA0002385850050000021
为0.84。以上多采用提取传统特征和结合传统分类器的方式定位膝关节区域，漏检和误检率较高，膝关节检测率还有待提高。随着深度学习的发展，深度学习技术能有效的表示图像特征，且已经广泛应用于图像中目标识别、目标检测等领域。
发明内容
本发明要解决的技术问题是：为了进一步提高膝关节的检测准确率，提出一种基于多任务两级卷积神经网络的膝关节定位方法。
本发明的技术方案是：提供一种基于多任务两级卷积神经网络的膝关节定位方法，主要包括网络的搭建、网络的训练、待检测X光片的图像预处理以及待检测X光片中的膝关节定位过程，整体步骤如图1所示：
第一步，搭建基于多任务两级卷积神经网络的膝关节区域定位网络。
基于多任务两级卷积神经网络的膝关节区域定位网络包括两级网络：第一级网络和第二级网络，第一级网络的输出作为第二级网络的输入。
第一级网络由第一特征提取模块和初步目标检测模块构成。第一特征提取模块从外界接收单膝图像I，对单膝图像I提取第一图像特征，将第一图像特征发送给初步目标检测模块；初步目标检测模块对第一图像特征进行检测，输出单膝图像I中的初步膝关节区域。
第一特征提取模块由5个卷积层和3个最大池化层构成，5个卷积层中包括4个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层。
第一3×3卷积层对单膝图像I进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I进行池化操作，得到特征图F1；第二3×3卷积层对特征图F1进行卷积操作，第一3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2；第三3×3卷积层对特征图F2进行卷积操作，第二2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3；第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4，第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5，特征图F5即为提取的第一图像特征。
初步目标检测模块包括一个1×1卷积层、膝关节边界框坐标操作层以及第一非极大值抑制筛选层。1×1卷积层对特征图F5进行卷积，得到两组向量，即膝关节的概率向量A1、膝关节边界框坐标偏移向量B1。膝关节边界框坐标操作层根据A1和B1确定膝关节边界框，得到单膝图像I中的膝关节区域。第一非极大值抑制筛选层对单膝图像I中的膝关节区域进行非极大抑制筛选，得到单膝图像I中的初步膝关节区域，将单膝图像I及单膝图像I中的初步膝关节区域发送给第二级网络。
第二级网络由第二特征提取模块和最终目标检测模块构成。第二特征提取模块对从第一级网络接收的单膝图像I以及单膝图像I中的初步膝关节区域进行特征提取，得到第二图像特征；最终目标检测模块对第二图像特征进行目标检测，得到单膝图像I的最终膝关节边界框坐标以及单膝图像I的膝关节区域关键点坐标。
第二特征提取模块由4个卷积层、3个最大池化层和1个全连接层构成，4个卷积层中包括3个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层。
第二特征提取模块中的第一3×3卷积层对单膝图像I中的初步膝关节区域进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I中的初步膝关节区域进行池化操作，得到特征图F6；第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，得到特征图F7；第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，得到特征图F8；第四3×3卷积层对特征图F8进行卷积操作，得到特征图F9，第一全连接层对特征图F9进行全连接操作，得到特征图F10，特征图F10即为提取的第二图像特征。
最终目标检测模块包括第二全连接层、膝关节边界框以及膝关节区域的关键点坐标操作层以及第二非极大值抑制筛选层。第二全连接层对特征图F10进行全连接，得到三组向量，即膝关节的概率向量A2、膝关节边界框坐标偏移向量B2、膝关节区域六个关键点坐标偏移向量C。膝关节边界框以及膝关节区域的关键点坐标操作层根据A2、B2、C对单膝图像I进行膝关节边界框坐标以及膝关节区域的关键点坐标确定。第二非极大值抑制筛选层对单膝图像I中的膝关节区域及膝关节关键点坐标进行非极大抑制筛选，输出单膝图像I及单膝图像I的最终膝关节区域、以及单膝图像I的膝关节区域关键点坐标。
第二步，对基于多任务两级卷积神经网络的膝关节区域定位网络进行训练。
2.1准备基于多任务两级卷积神经网络的膝关节区域定位网络的数据。
2.1.1对M张(M为正整数且M>2000)原始图像进行预处理，得到经直方图均衡化处理的2M张单膝图像，方法是：
2.1.1.1从OAI baseline公开数据库(https://oai.epi-ucsf.org/datarelease/，2008年11月版本)中随机选取M张原始图像。原始图像是包含左右膝的X线片医学图像，由于拍摄时受到不同光照的影响，它既可能是背景成亮色、双腿成暗色的双膝图像，又可能是背景成暗色、双腿成亮色的双膝图像。
2.1.1.2将M张原始图像统一转化成背景成暗色、双腿成亮色的图像。首先从M张原始图像中挑选出背景成亮色、双腿成暗色的双膝图像，然后进行图像像素反转，即用255减去原始像素值，将M张原始图像统一转化成背景成暗色、双腿成亮色的图像。
2.1.1.3将M张背景成暗色、双腿成亮色的图像的像素转化成[0，255]的范围，即将背景成暗色、双腿成亮色的图像处理成uint8的图像，方法是：将M张背景成暗色、双腿成亮色的图像中的每个像素的像素值做如下处理：
Figure BDA0002385850050000041
其中P为处理前图像中任意一个像素的像素值，Pmax为处理前图像中的最大像素值，Pmin为处理前图像中的最小像素值，Pnew为处理后图像中的任意一个像素的像素值。
2.1.1.4将M张uint8的图像转化成2M张单膝图像，方法是：首先分别找到M张uint8的图像的宽W以及宽度的一半
Figure BDA0002385850050000042
然后对宽度的一半
Figure BDA0002385850050000043
取整，记为
Figure BDA0002385850050000044
最后从uint8的图像中按照宽度坐标
Figure BDA0002385850050000045
截取，即每张uint8的图被划分成2张单膝图像，最终获得2M张单膝图像。
2.1.1.5对2M张单膝图像分别进行直方图均衡化处理。直方图均衡化处理方法见(文献“任艳斐.直方图均衡化在图像处理中的应用[J].科技信息,2007(04):第39-40页.”)。
2.1.2标注经直方图均衡化处理后的2M张单膝图像中膝关节真实边界框，方法是：
2.1.2.1初始化变量m＝1；
2.1.2.2人工手动标注第m张单膝图像膝关节区域的6个关键点。由于医生或计算机主要关注膝关节间隙及骨赘部位，所以手动标注膝关节间隙及骨赘处边界的6个点作为膝关节区域主要关键点，如图3(a)所示右膝的6个关键点，分别为股骨内侧骨赘点(FM)、股骨外侧骨赘点(FL)、胫骨内侧骨赘点(TM)、胫骨外侧骨赘点(TL)、关节间隙内侧点(JSM)、关节间隙外侧点(JSL)。如图3(b)所示,左膝的6个关键点，也分别为股骨内侧骨赘点(FM)、股骨外侧骨赘点(FL)、胫骨内侧骨赘点(TM)、胫骨外侧骨赘点(TL)、关节间隙内侧点(JSM)、关节间隙外侧点(JSL)。如图所示，左膝和右膝的6个关键点成镜像对称。后续步骤是针对6个关键点进行处理，无须关心是左膝还是右膝。
2.1.2.3根据手动标注的关键点，标注出第m张单膝图像中膝关节的边界框，方法是：
2.1.2.3.1分别计算出第m张单膝图像中6个关键点的中心点坐标(xmid,ymid)。记6个关键点坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)，6个关键点的中心点坐标(xmid,ymid)为：
Figure BDA0002385850050000051
Figure BDA0002385850050000052
2.1.2.3.2计算膝关节的宽度wknee，方法是：计算出6个关键点的最大横坐标(xmax)和最小横坐标(xmin)，最大横坐标(xmax)和最小横坐标(xmin)之间的差作为膝关节宽度wknee，即：
xmax＝max(x1,x2,x3,x4,x5,x6)
xmin＝min(x1,x2,x3,x4,x5,x6)
wknee＝xmax-xmin
2.1.2.3.3标注膝关节区域，获得真实膝关节区域边界框坐标
Figure BDA0002385850050000053
该坐标表示真实膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。以6个关键点的中心点为中心上下左右各扩展膝关节宽度的0.65倍(0.65倍就可以框住每张图上的膝关节区域),作为真正感兴趣的膝关节区域，即标注的边界框，计算公式如下：
Figure BDA0002385850050000054
Figure BDA0002385850050000061
Figure BDA0002385850050000062
Figure BDA0002385850050000063
2.1.2.4若m≥2M，转2.2；若m<2M，令m＝m+1，转2.1.2.2。
2.2为基于多任务两级卷积神经网络的膝关节区域定位网络中第一级网络准备训练样本，方法是：
2.2.1初始化变量m＝1；
2.2.2在第m张单膝图像上为第一级网络准备训练样本，方法是：
2.2.2.1初始化变量k＝1；
2.2.2.2在第m张单膝图像上随机取第k个点，令第k个点的坐标为
Figure BDA0002385850050000064
以点
Figure BDA0002385850050000065
作为随机选取的边界框的左上坐标点。
2.2.2.2取第k个随机选取的边界框的宽
Figure BDA0002385850050000066
和高
Figure BDA0002385850050000067
设第m张单膝图像的宽为wm，高为hm，并取wm和hm的最小值的一半，且进行取整操作，即为int(min(wm,hm)/2),int(min(wm,hm)/2)表示对min(wm,hm)/2取整，在[48，int(min(wm,hm)/2)]的取值区间中随机取一个整数作为随机选取的边界框的宽
Figure BDA0002385850050000068
和高
Figure BDA0002385850050000069
2.2.2.3确定第k个随机选取的边界框的坐标。令点
Figure BDA00023858500500000610
为随机选取的边界框的右下坐标点，
Figure BDA00023858500500000611
随机选取的边界框坐标为
Figure BDA00023858500500000612
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。
2.2.2.4计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure BDA00023858500500000613
若
Figure BDA00023858500500000614
则将第k个随机选取的边界框即
Figure BDA00023858500500000615
作为训练的正样本，转2.2.2.5；若
Figure BDA00023858500500000616
则将第k个随机选取的边界框即
Figure BDA00023858500500000617
作为训练的部分样本，转2.2.2.5；若
Figure BDA0002385850050000074
则将第k个随机选取的边界框即
Figure BDA0002385850050000071
作为训练的负样本，转2.2.2.5。
2.2.2.5若k<K(K>50，K为第m张单膝图像上总共随机选取的边界框数目)，令k＝k+1，转2.2.2.2；若k≥K，转2.2.2.6。
2.2.2.6若m≥2M，转2.2.3；若m<2M，令m＝m+1，转2.2.2。
2.2.3将2.2.2步生成的训练样本(包括正样本、部分样本、负样本)尺度缩减为48×48×3(图像长×图像宽×图像通道数)。因为是RGB图像，所以图像通道数为3。
2.2.4将2.2.3步尺度缩减后的训练样本做镜像操作增广，方法是：将每张训练样本进行左右水平翻转，即为对每张训练样本做镜像操作，生成第一级网络的训练样本，包括N11个正样本、N12个部分样本、N13个负样本，N11、N12和N13均为正整数，由在膝图像上随机选取的边界框以及计算得到的交并比值大小决定。
2.3采用第一级网络训练样本对第一级网络进行训练，得到训练后的第一级网络，方法是：
2.3.1初始化变量q＝1,设置模型参数的值，包括设置学习率为0.001，批处理大小batch_size为500；
2.3.2将第一级网络的训练样本输入第一级网络，输出一个总体的损失函数Lq，Lq的计算如下，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新第一级网络中的参数，得到第q次更新了参数的第一级网络NETq；
Figure BDA0002385850050000072
其中，N是第一级网络的训练样本的数量，N＝N11+N12+N13，
Figure BDA0002385850050000073
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位,αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝1,膝关节边界框定位任务的重要程度系数α2＝0.5，膝关节关键点定位任务的重要程度系数α3＝0；
2.3.3令q＝q+1，若2≤q≤Q，Q为网络训练的次数，Q＝10，转2.3.4；否则训练完毕，得到训练后的第一级网络即NETQ，转2.4；
2.3.4将第一级网络的训练样本输入NETq-1，输出第q次总体损失函数Lq，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新NETq-1中的参数,得到第q次更新了参数的第一级网络NETq，转2.3.3；
2.4为基于多任务两级卷积神经网络的膝关节区域定位网络中第二级网络准备训练样本，方法是：
2.4.1初始化变量m＝1；
2.4.2利用训练后的第一级网络定位第m张单膝图像I的初步膝关节区域，方法是:
2.4.2.1生成第m张单膝图像I的图片金字塔，方法是：将第m张单膝图像I依次乘以不同的缩放因子s(s为正实数，且0<s≤1)，对第m张单膝图像I进行不同尺度的缩放，得到PP(PP为正整数且0<PP<100)张不同大小的单膝图像，构成单膝图像I的图片金字塔。图片金字塔(PP张)中每张图像大小记为H×W×3(图像的高×图像的宽×图像通道数，因为是RGB图像，所以有3个通道)。
2.4.2.2初始化变量p＝1；
2.4.2.3经过训练的第一特征提取模块提取图片金字塔中第p张图片的特征，得到第一图像特征F5，F5为
Figure BDA0002385850050000081
(图片高×图片宽×特征图的通道数)。
2.4.2.4初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域，膝关节区域检测方法是：
2.4.2.4.1初步目标检测模块中的1×1卷积层对图片金字塔中第p张图片的第一图像特征F5进行1×1卷积，输出两组向量：膝关节的概率向量A1p，A1p为
Figure BDA0002385850050000082
Figure BDA0002385850050000083
表示向量的个数，1表示每个向量的维度)，向量A1p存放的是认为是膝关节的概率值(范围为[0，1])，当概率值不低于α时认为是膝关节，α为第一阈值，α∈[0.5，1]，α优选值为0.6；膝关节边界框坐标偏移向量B1p，B1p为
Figure BDA0002385850050000084
Figure BDA0002385850050000085
表示向量的个数，4表示每个向量的维度)，每个向量的4维度(x1，y1，x2，y2)表示边界框的(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)。
2.4.2.4.2初步目标检测模块的膝关节边界框坐标操作层对A1p和B1p筛选和计算，得到单膝图像I中的膝关节区域。搜索到A1p中概率值不低于α的N个向量位置
Figure BDA0002385850050000091
同时在B1p中找到对应的这N个向量位置
Figure BDA0002385850050000092
以及该N个位置对应的4维坐标偏移向量
Figure BDA0002385850050000093
其中，
Figure BDA0002385850050000094
表示第n个边界框的坐标偏移量(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)。计算原单膝图像I中N个膝关节区域边界框坐标
Figure BDA0002385850050000095
根据边界框坐标在原图I上框出N个膝关节区域，其中，
Figure BDA0002385850050000096
表示第n个边界框的坐标(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，计算公式如下：
Figure BDA0002385850050000097
Figure BDA0002385850050000098
Figure BDA0002385850050000099
Figure BDA00023858500500000910
其中,
Figure BDA00023858500500000911
表示第n个边界框的坐标偏移量(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，s(0<s≤1)表示原始单膝图像I的缩放因子。
2.4.2.5若p≥PP，转2.4.2.6；若p<PP，令p＝p+1，转2.4.2.3。
2.4.2.6第一非极大值抑制筛选层采用非极大值抑制(NMS)算法对第m张单膝图片I的所有膝关节区域进行过滤。非极大值抑制(NMS)算法参考(文献“Efficient Non-Maximum Suppression[C]//18th International Conference on Pattern Recognition(ICPR 2006),20-24August 2006,Hong Kong,China.IEEE Computer Society,2006.”译为：高效的非极大值抑制，《第18届模式识别国际会议》)所述，设非极大值抑制过滤阈值δ为0.6，膝关节边界区域经过阈值筛选，得到第m张单膝图像I的N1(N1为正整数且0≤N1≤100)个初步膝关节区域。
2.4.3在第m张单膝图像上为第二级网络准备训练样本，方法是：
2.4.3.1初始化变量n1＝1，k＝1；
2.4.3.2计算第m张单膝图像I的第n1个初步膝关节区域与第m张单膝图像I标注的膝关节区域的交并比
Figure BDA0002385850050000101
若
Figure BDA0002385850050000102
将第n1个初步膝关节区域作为第二级网络训练的正样本，转2.4.3.3；若
Figure BDA0002385850050000103
将第n1个初步膝关节区域作为第二级网络训练的部分样本，转2.4.3.3；若
Figure BDA0002385850050000104
将第n1个初步膝关节区域作为第二级网络训练的负样本，转2.4.3.3。
2.4.3.3若n1≥N1(N1是第m张单膝图像I中初步膝关节区域的个数，0≤N1≤100)，转2.4.3.4；若n1<N1，令n1＝n1+1，转2.4.3.2。
2.4.3.4在第m张单膝图像上随机取第k个点
Figure BDA0002385850050000105
将点
Figure BDA0002385850050000106
作为随机选取的边界框的左上坐标点。
2.4.3.5取第k个随机选取的边界框的宽
Figure BDA0002385850050000107
和高
Figure BDA0002385850050000108
设第m张单膝图像的宽为wm，高为hm，取wm和hm的最小值的一半，并进行取整操作，即为int(min(wm,hm)/2),在[48，int(min(wm,hm)/2)]的区间中随机取一个整数作为随机选取的边界框的宽
Figure BDA0002385850050000109
和高
Figure BDA00023858500500001010
2.4.3.6确定第k个随机选取的边界框的坐标：点
Figure BDA00023858500500001011
记为第k个随机选取的边界框的右下坐标点，
Figure BDA00023858500500001012
第k个随机选取的边界框坐标为
Figure BDA00023858500500001013
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。
2.4.3.7计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure BDA00023858500500001014
若
Figure BDA00023858500500001015
则将第k个随机选取的边界框作为膝关节区域关键点定位的训练数据，转2.4.3.8；若
Figure BDA00023858500500001016
直接转2.4.3.8。
2.4.3.8若k<K，令k＝k+1，转2.4.3.4，若k≥K，转2.4.4。
2.4.4若m≥2M，转2.4.5；若m<2M，令m＝m+1，转2.4.2。
2.4.5将2.4.3～2.4.4步生成的正样本、部分样本、负样本尺度缩减为48×48×3(图像长×图像宽×图像通道数)。因为是RGB图像，所以图像通道数为3。
2.4.6将2.4.5步尺度缩减后的正样本、部分样本、负样本做镜像操作增广，方法是：将每张训练样本进行左右方向翻转，即为镜像操作，得到第二级网络的训练样本，包括N21个正样本、N22个部分样本、N23个负样本，N21、N22和N23均为正整数，由在单膝图像上选取的初步膝关节区域以及计算得到的交并比值大小来决定。
2.5采用2.4.6步生成的第二级网络训练样本对第二级网络进行训练，得到训练后的第二级网络，方法是：
2.5.1初始化变量t＝1，设置模型参数的值，包括设置学习率为0.0001，批处理大小batch_size为500；
2.5.2将第二级网络的训练样本输入第二级网络，输出一个总体的损失函数Lt，Lt的计算如下，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新第二级网络中的参数，得到第t次更新了参数的第二级网络NETt；
Figure BDA0002385850050000111
其中，N2是训练样本的数量，N2＝N21+N22+N23；
Figure BDA0002385850050000112
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝0.8,膝关节边界框定位任务的重要程度系数α2＝0.6，膝关节关键点定位任务的重要程度系数α3＝1.5；
2.5.3令t＝t+1，若2≤t≤T，T为网络训练的次数，T＝10，转2.5.4；否则训练完毕，得到训练后的第二级网络即NETT,转第三步；
2.5.4将第二级网络的训练样本输入NETt-1，输出第t次总体损失函数Lt，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新NETt-1中的参数,得到第t次更新了参数的第二级网络NETt；转2.5.3。
第三步，对待检测双膝X光片进行预处理，得到经直方图均衡化处理的2张待检测单膝图像，方法是：
3.1若待检测双膝X光片是背景成亮色、双腿成暗色，则将待检测双膝X光片转化成背景成暗色、双腿成亮色的图像，即用255减去待检测双膝X光片原始像素值作为新图像像素值，转化成背景成暗色、双腿成亮色的图像，转3.2；若待检测双膝X光片是背景成暗色、双腿成亮色，直接转3.2。
3.2将待检测双膝X光片的像素转化成[0，255]的范围，即将待检测双膝X光片处理成uint8的双膝图像；uint8的双膝图像中每个像素对应的新像素值为
Figure BDA0002385850050000113
Figure BDA0002385850050000121
P为处理前图像每个像素的像素值，Pmax为处理前图像的最大像素值，Pmin为处理前图像的最小像素值。
3.3将uint8的双膝图像转化成单膝图像，方法是：分别找到uint8双膝图像的宽W以及宽度的一半
Figure BDA0002385850050000122
然后对宽度的一半
Figure BDA0002385850050000123
取整，记为
Figure BDA0002385850050000124
最后从双膝图像中按照宽度坐标[0，int(W/2)]、[int(W/2)+1，W-1]截取，即uint8的双膝图像被划分成2张单膝图像。
3.4对2张单膝图像进行直方图均衡化处理，这2张经过直方图均衡化处理的单膝图像作为待检测单膝图像。
第四步，基于训练好的多任务两级卷积神经网络的膝关节区域定位网络对第三步获得的2张待检测单膝图像进行膝关节定位，方法是：
4.1初始化变量d＝1；
4.2生成第d张待检测单膝图像的图片金字塔。将单膝图像进行不同尺度的缩放，缩放因子为s(0<s≤1)，得到PP(0<PP<100)张不同大小的单膝图像，设每张图像大小为H×W×3(图像的高×图像的宽×图像通道数)，称为该待检测单膝图像的图片金字塔。
4.3基于训练好的多任务两级卷积神经网络的膝关节区域定位网络中的第一级网络处理第d张待检测单膝图像的图片金字塔，得到初步膝关节区域，方法是：
4.3.1初始化变量p＝1；
4.3.2第一特征提取模块提取第d张待检测单膝图像的图片金字塔中第p张图像的特征，方法是：
4.3.2.1第一特征提取模块中的第一3×3卷积层对第d张待检测单膝图像的图片金字塔中第p张图片进行卷积操作，第一2×2最大池化层对完成卷积操作的第p张图片进行池化操作，输出特征图F1：卷积操作步长为1，最大池化操作步长为2，图片金字塔中第p张图片大小设为H×W×3(图片高×图片宽×图片通道数，因为是RGB图像，所以图片通道数为3)，经过第一卷积和最大池化操作层得到
Figure BDA0002385850050000125
(特征图高×特征图宽×特征图F1的通道数)大小的特征图F1。
4.3.2.2第一特征提取模块中的第二3×3卷积层对特征图F1进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2：卷积操作步长为1，最大池化操作步长为2，
Figure BDA0002385850050000126
(特征图高×特征图宽×特征图F1的通道数)大小的特征图F1经过第二卷积和最大池化操作层得到
Figure BDA0002385850050000131
Figure BDA0002385850050000132
(特征图高×特征图宽×特征图F2的通道数)大小的特征图F2。
4.3.2.3第一特征提取模块中的第三3×3卷积层对特征图F2进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3：卷积操作步长为1，最大池化操作步长为2，
Figure BDA0002385850050000133
(特征图高×特征图宽×特征图F2的通道数)经过第三卷积和最大池化操作层得到
Figure BDA0002385850050000134
(特征图高×特征图宽×特征图F3的通道数)大小的特征图F3。
4.3.2.4第一特征提取模块中的第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4：卷积操作步长为1，
Figure BDA0002385850050000135
(特征图高×特征图宽×特征图F3的通道数)大小的特征图F3经过第四卷积操作层得到
Figure BDA0002385850050000136
(特征图高×特征图宽×特征图F4的通道数)大小的特征图F4。
4.3.2.5第一特征提取模块中的第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5：卷积操作步长为1，
Figure BDA0002385850050000137
(特征图高×特征图宽×特征图F4的通道数)大小的特征图F4经过第五卷积操作层得到
Figure BDA0002385850050000138
(特征图高×特征图宽×特征图F5的通道数)大小的特征图F5，特征图F5即为第d张待检测单膝图像的图片金字塔的第p张图片输入第一级网络提取的第一图像特征。
4.3.3第一级网络的初步目标检测模块采用2.4.2.4所述的膝关节区域检测方法对F5进行检测，得到待检测单膝图像的膝关节区域；
4.3.4若p<PP，令p＝p+1，转4.3.2；若p≥PP，则转4.3.5。
4.3.5第二非极大值抑制筛选层采用非极大值抑制(NMS)算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤。非极大值抑制(NMS)算法过滤阈值δ设为0.7，待检测单膝图像中的多个膝关节边界框经过阈值筛选，过滤后的边界框在第d张待检测单膝图像上框出膝关节区域，为第一级网络输出的N1个初步膝关节区域。
4.4第二级网络处理第d张待检测单膝图像的N1个初步膝关节区域，得到最终膝关节区域以及该区域的关键点，方法是：
4.4.1初始化变量n1＝1；
4.4.2将第一级网络输出的第d张待检测单膝图像的第n1个初步膝关节区域尺度归一化为48×48×3(图像高×图像宽×图像的通道数)。
4.4.3第二级网络提取第d张待检测单膝图像上的第n1张初始膝关节区域图像的特征，方法是：
4.4.3.1第二特征提取模块中的第一3×3卷积层对第n1张初始膝关节区域图像进行卷积操作，第一2×2最大池化层对完成卷积操作的第n1张初始膝关节区域图像进行池化操作，输出特征图F6。卷积操作步长为1，最大池化操作步长为2，尺度归一化的初始膝关节区域图像大小为48×48×3(图片高×图片宽×图片通道数，因为是RGB图像，所以图片通道数为3)，经过第一卷积和最大池化操作层得到23×23×32(特征图高×特征图宽×特征图F6的通道数)大小的特征图F6。
4.4.3.2第二特征提取模块中的第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，输出特征图F7。卷积操作步长为1，最大池化操作步长为2，23×23×32(特征图高×特征图宽×特征图F6的通道数)大小的特征图F6经过第二卷积和最大池化操作层得到10×10×64(特征图高×特征图宽×特征图F7的通道数)大小的特征图F7。
4.4.3.3第二特征提取模块中的第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，输出特征图F8。卷积操作步长为1，最大池化操作步长为2，10×10×64(特征图高×特征图宽×特征图F7的通道数)大小的特征图F7经过第三卷积和最大池化操作层得到4×4×64(特征图高×特征图宽×特征图F8的通道数)大小的特征图F8。
4.4.3.4第二特征提取模块中的第四3×3卷积层对特征图F8进行卷积操作，输出特征图F9。第四层卷积操作步长为1，4×4×64(特征图高×特征图宽×特征图F8的通道数)大小的特征图F8经过第四卷积操作层得到2×2×128(特征图高×特征图宽×特征图F9的通道数)大小的特征图F9。
4.4.3.5第二特征提取模块中的第一全连接层对特征图F9进行全连接操作，输出特征图F10。2×2×128(特征图高×特征图宽×特征图F9的通道数)大小的特征图F9经过第一全连接层得到包含256维向量的特征图F10，特征图F10即为提取的第二图像特征。
4.4.4第二级网络的最终目标检测模块处理第二图像特征即特征图F10，输出第d张待检测单膝图像的最终膝关节区域及关键点坐标，方法是：
4.4.4.1第二级网络最终目标检测模块的第二全连接层对特征图F10进行全连接，输出三组向量:是膝关节的概率向量
Figure BDA0002385850050000151
膝关节边界框坐标偏移向量
Figure BDA0002385850050000152
膝关节关键点坐标偏移向量
Figure BDA0002385850050000153
其中
Figure BDA0002385850050000154
有一个1维向量，
Figure BDA0002385850050000155
有一个4维向量，
Figure BDA0002385850050000156
有一个12维向量。
4.4.4.2第二级网络最终目标检测模块的膝关节边界框坐标以及膝关节区域关键点坐标操作层对
Figure BDA0002385850050000157
向量进行筛选和计算，得到第d张待检测单膝图像的膝关节区域及膝关节区域的关键点。向量
Figure BDA0002385850050000158
存放的是认为是膝关节的概率值(范围为[0，1])，当概率值不低于β时认为是膝关节，β为第二阈值，β∈[0.5，1]，β优选值为0.7，若
Figure BDA0002385850050000159
的概率值大于β，则第n1张初步膝关节区域被保留，第n1张初步膝关节区域边界框坐标为
Figure BDA00023858500500001510
表示第n1张初步膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，同时保留膝关节边界框坐标偏移向量
Figure BDA00023858500500001511
和膝关节关键点坐标偏移向量
Figure BDA00023858500500001512
设
Figure BDA00023858500500001513
表示第n1张膝关节边界框的偏移坐标(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，设
Figure BDA00023858500500001514
表示第n1个膝关节区域的关键点FM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500001515
表示第n1个膝关节区域的关键点FL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500001516
表示第n1个膝关节区域的关键点TM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500001517
表示第n1个膝关节区域的关键点TL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500001518
表示第n1个膝关节区域的JSM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500001519
表示第n1个膝关节区域的JSL点的偏移坐标(偏移横坐标，偏移纵坐标)。最终的第n1个膝关节边界框坐标
Figure BDA00023858500500001520
(表示第n1个膝关节边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标))以及6个关键点坐标
Figure BDA00023858500500001521
(表示第n1个膝关节区域的FM点的坐标)，
Figure BDA00023858500500001522
(表示第n1个膝关节区域的FL点的坐标)，
Figure BDA00023858500500001523
(表示第n1个膝关节区域的TM点的坐标)，
Figure BDA00023858500500001524
(表示第n1个膝关节区域的TL点的坐标)，
Figure BDA00023858500500001525
(表示第n1个膝关节区域的JSL点的坐标)，
Figure BDA0002385850050000161
(表示第n1个膝关节区域的JSM点的坐标)计算如下：
Figure BDA0002385850050000162
Figure BDA0002385850050000163
Figure BDA0002385850050000164
Figure BDA0002385850050000165
Figure BDA0002385850050000166
Figure BDA0002385850050000167
Figure BDA0002385850050000168
Figure BDA0002385850050000169
Figure BDA00023858500500001610
Figure BDA00023858500500001611
Figure BDA00023858500500001612
Figure BDA00023858500500001613
Figure BDA00023858500500001614
Figure BDA00023858500500001615
Figure BDA00023858500500001616
Figure BDA00023858500500001617
4.4.4.3若n1<N1，令n1＝n1+1，转4.4.2；若n1≥N1，转4.4.4.4。
4.4.4.4第二非极大值抑制筛选层采用非极大值抑制(NMS)算法对第d张待检测单膝图像中膝关节边界框进行筛选，得到第d张待检测单膝图像的最终边界框及最终膝关节区域的关键点，非极大值抑制(NMS)算法的过滤阈值δ为0.7。
4.4.4.5若d<2，令d＝d+1，转4.2；若d≥2，转第五步。
第五步，结束。
采用本发明可以达到以下有益效果：本发明基于多任务两级卷积神经网络的膝关节定位方法提高了膝关节定位的检测率。本发明与HOG+SVM方法(文献“A novel methodfor automatic localization of joint area on knee plain radiographs[C]//Scandinavian Conference on Image Analysis.Springer,Cham,2017:290-301.”译为：一种自动定位光片中膝关节区域的新方法，《斯堪的纳维亚图像分析会议》)在OAI和MOST公开数据库上进行了对比，实验平台均采用：Ubuntu16.04、GPU 2080Ti、python3.6、pytorch0.4。在OAI数据库(45110张单膝图像)上测试，本发明测得的平均检测准确率为99.93％，HOG+SVM方法测得的平均检测准确率为91.73％；在MOST数据库(19383张单膝图像)上测试，本发明测得的平均检测准确率为99.02％，HOG+SVM方法测得的平均检测准确率为98.20％。可见本发明有效提高了膝关节定位的检测率。
附图说明
图1是本发明基于多任务两级卷积神经网络的膝关节定位整体流程图；
图2是本发明基于多任务两级卷积神经网络的逻辑结构图；
图3是本发明第2.1.2.2步左右膝6个关键点标注示例图。
具体实施方式
图1是本发明基于多任务两级卷积神经网络的膝关节定位整体流程图；如图1所示，本发明包括以下步骤：
第一步，搭建基于多任务两级卷积神经网络的膝关节区域定位网络。
基于多任务两级卷积神经网络的膝关节区域定位网络如图2所示，包括两级网络：第一级网络和第二级网络，第一级网络的输出作为第二级网络的输入。
第一级网络由第一特征提取模块和初步目标检测模块构成。第一特征提取模块从外界接收单膝图像I，对单膝图像I提取第一图像特征，将第一图像特征发送给初步目标检测模块；初步目标检测模块对第一图像特征进行检测，输出单膝图像I中的初步膝关节区域。
第一特征提取模块由5个卷积层和3个最大池化层构成，5个卷积层中包括4个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层。
第一3×3卷积层对单膝图像I进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I进行池化操作，得到特征图F1；第二3×3卷积层对特征图F1进行卷积操作，第一3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2；第三3×3卷积层对特征图F2进行卷积操作，第二2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3；第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4，第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5，特征图F5即为提取的第一图像特征。
初步目标检测模块包括一个1×1卷积层、膝关节边界框坐标操作层以及第一非极大值抑制筛选层。1×1卷积层对特征图F5进行卷积，得到两组向量，即膝关节的概率向量A1、膝关节边界框坐标偏移向量B1。膝关节边界框坐标操作层根据A1和B1确定膝关节边界框，得到单膝图像I中的膝关节区域。第一非极大值抑制筛选层对单膝图像I中的膝关节区域进行非极大抑制筛选，得到单膝图像I中的初步膝关节区域，将单膝图像I及单膝图像I中的初步膝关节区域发送给第二级网络。
第二级网络由第二特征提取模块和最终目标检测模块构成。第二特征提取模块对从第一级网络接收的单膝图像I以及单膝图像I中的初步膝关节区域进行特征提取，得到第二图像特征；最终目标检测模块对第二图像特征进行目标检测，得到单膝图像I的最终膝关节边界框坐标以及单膝图像I的膝关节区域关键点坐标。
第二特征提取模块由4个卷积层、3个最大池化层和1个全连接层构成，4个卷积层中包括3个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层。
第二特征提取模块中的第一3×3卷积层对单膝图像I中的初步膝关节区域进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I中的初步膝关节区域进行池化操作，得到特征图F6；第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，得到特征图F7；第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，得到特征图F8；第四3×3卷积层对特征图F8进行卷积操作，得到特征图F9，第一全连接层对特征图F9进行全连接操作，得到特征图F10，特征图F10即为提取的第二图像特征。
最终目标检测模块包括第二全连接层、膝关节边界框以及膝关节区域的关键点坐标操作层以及第二非极大值抑制筛选层。第二全连接层对特征图F10进行全连接，得到三组向量，即膝关节的概率向量A2、膝关节边界框坐标偏移向量B2、膝关节区域六个关键点坐标偏移向量C。膝关节边界框以及膝关节区域的关键点坐标操作层根据A2、B2、C对单膝图像I进行膝关节边界框坐标以及膝关节区域的关键点坐标确定。第二非极大值抑制筛选层对单膝图像I中的膝关节区域及膝关节关键点坐标进行非极大抑制筛选，输出单膝图像I及单膝图像I的最终膝关节区域、以及单膝图像I的膝关节区域关键点坐标。
第二步，对基于多任务两级卷积神经网络的膝关节区域定位网络进行训练。
2.1准备基于多任务两级卷积神经网络的膝关节区域定位网络的数据。
2.1.1对M张(M为正整数且M>2000)原始图像进行预处理，得到经直方图均衡化处理的2M张单膝图像，方法是：
2.1.1.1从OAI baseline公开数据库(https://oai.epi-ucsf.org/datarelease/，2008年11月版本)中随机选取M张原始图像。原始图像是包含左右膝的X线片医学图像。
2.1.1.2将M张原始图像统一转化成背景成暗色、双腿成亮色的图像。首先从M张原始图像中挑选出背景成亮色、双腿成暗色的双膝图像，然后进行图像像素反转，即用255减去原始像素值，将M张原始图像统一转化成背景成暗色、双腿成亮色的图像。
2.1.1.3将M张背景成暗色、双腿成亮色的图像的像素转化成[0，255]的范围，即将背景成暗色、双腿成亮色的图像处理成uint8的图像，方法是：将M张背景成暗色、双腿成亮色的图像中的每个像素的像素值做如下处理：
Figure BDA0002385850050000191
其中P为处理前图像中任意一个像素的像素值，Pmax为处理前图像中的最大像素值，Pmin为处理前图像中的最小像素值，Pnew为处理后图像中的任意一个像素的像素值。
2.1.1.4将M张uint8的图像转化成2M张单膝图像，方法是：首先分别找到M张uint8的图像的宽W以及宽度的一半
Figure BDA0002385850050000192
然后对宽度的一半
Figure BDA0002385850050000193
取整，记为
Figure BDA0002385850050000194
最后从uint8的图像中按照宽度坐标
Figure BDA0002385850050000195
截取，即每张uint8的图被划分成2张单膝图像，最终获得2M张单膝图像。
2.1.1.5对2M张单膝图像分别进行直方图均衡化处理。直方图均衡化处理方法见文献“任艳斐.直方图均衡化在图像处理中的应用[J].科技信息,2007(04):第39-40页.”。
2.1.2标注经直方图均衡化处理后的2M张单膝图像中膝关节真实边界框，方法是：
2.1.2.1初始化变量m＝1；
2.1.2.2人工手动标注第m张单膝图像膝关节区域的6个关键点。由于医生或计算机主要关注膝关节间隙及骨赘部位，所以手动标注膝关节间隙及骨赘处边界的6个点作为膝关节区域主要关键点。图3是本发明第2.1.2.2步左右膝6个关键点标注示例图，如图3(a)所示右膝的6个关键点，分别为股骨内侧骨赘点(FM)、股骨外侧骨赘点(FL)、胫骨内侧骨赘点(TM)、胫骨外侧骨赘点(TL)、关节间隙内侧点(JSM)、关节间隙外侧点(JSL)。如图3(b)所示,左膝的6个关键点，也分别为股骨内侧骨赘点(FM)、股骨外侧骨赘点(FL)、胫骨内侧骨赘点(TM)、胫骨外侧骨赘点(TL)、关节间隙内侧点(JSM)、关节间隙外侧点(JSL)。如图所示，左膝和右膝的6个关键点成镜像对称。后续步骤是针对6个关键点进行处理，无须关心是左膝还是右膝。
2.1.2.3根据手动标注的关键点，标注出第m张单膝图像中膝关节的边界框，方法是：
2.1.2.3.1分别计算出第m张单膝图像中6个关键点的中心点坐标(xmid,ymid)。记6个关键点坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)，6个关键点的中心点坐标(xmid,ymid)为：
Figure BDA0002385850050000201
Figure BDA0002385850050000202
2.1.2.3.2计算膝关节的宽度wknee，方法是：计算出6个关键点的最大横坐标(xmax)和最小横坐标(xmin)，最大横坐标(xmax)和最小横坐标(xmin)之间的差作为膝关节宽度wknee，即：
xmax＝max(x1,x2,x3,x4,x5,x6)
xmin＝min(x1,x2,x3,x4,x5,x6)
wknee＝xmax-xmin
2.1.2.3.3标注膝关节区域，获得真实膝关节区域边界框坐标
Figure BDA0002385850050000203
该坐标表示真实膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。以6个关键点的中心点为中心上下左右各扩展膝关节宽度的0.65倍(0.65倍就可以框住每张图上的膝关节区域),作为真正感兴趣的膝关节区域，即标注的边界框，计算公式如下：
Figure BDA0002385850050000204
Figure BDA0002385850050000205
Figure BDA0002385850050000206
Figure BDA0002385850050000211
2.1.2.4若m≥2M，转2.2；若m<2M，令m＝m+1，转2.1.2.2。
2.2为基于多任务两级卷积神经网络的膝关节区域定位网络中第一级网络准备训练样本，方法是：
2.2.1初始化变量m＝1；
2.2.2在第m张单膝图像上为第一级网络准备训练样本，方法是：
2.2.2.1初始化变量k＝1；
2.2.2.2在第m张单膝图像上随机取第k个点，令第k个点的坐标为
Figure BDA0002385850050000212
以点
Figure BDA0002385850050000213
作为随机选取的边界框的左上坐标点。
2.2.2.2取第k个随机选取的边界框的宽
Figure BDA0002385850050000214
和高
Figure BDA0002385850050000215
设第m张单膝图像的宽为wm，高为hm，并取wm和hm的最小值的一半，且进行取整操作，即为int(min(wm,hm)/2),int(min(wm,hm)/2)表示对min(wm,hm)/2取整，在[48，int(min(wm,hm)/2)]的取值区间中随机取一个整数作为随机选取的边界框的宽
Figure BDA0002385850050000216
和高
Figure BDA0002385850050000217
2.2.2.3确定第k个随机选取的边界框的坐标。令点
Figure BDA0002385850050000218
为随机选取的边界框的右下坐标点，
Figure BDA0002385850050000219
随机选取的边界框坐标为
Figure BDA00023858500500002110
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。
2.2.2.4计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure BDA00023858500500002111
若
Figure BDA00023858500500002112
则将第k个随机选取的边界框即
Figure BDA00023858500500002113
作为训练的正样本，转2.2.2.5；若
Figure BDA00023858500500002114
则将第k个随机选取的边界框即
Figure BDA00023858500500002115
作为训练的部分样本，转2.2.2.5；若
Figure BDA00023858500500002116
则将第k个随机选取的边界框即
Figure BDA00023858500500002117
作为训练的负样本，转2.2.2.5。
2.2.2.5若k<K(K>50，K为第m张单膝图像上总共随机选取的边界框数目)，令k＝k+1，转2.2.2.2；若k≥K，转2.2.2.6。
2.2.2.6若m≥2M，转2.2.3；若m<2M，令m＝m+1，转2.2.2。
2.2.3将2.2.2步生成的训练样本(包括正样本、部分样本、负样本)尺度缩减为48×48×3(图像长×图像宽×图像通道数)。
2.2.4将2.2.3步尺度缩减后的训练样本做镜像操作增广，方法是：将每张训练样本进行左右水平翻转，即为对每张训练样本做镜像操作，生成第一级网络的训练样本，第一级网络正样本个数为N11、部分样本个数为N12、负样本个数为N13，N11、N12和N13均为正整数。
2.3采用第一级网络训练样本对第一级网络进行训练，得到训练后的第一级网络，方法是：
2.3.1初始化变量q＝1,设置模型参数的值，包括设置学习率为0.001，批处理大小batch_size为500；
2.3.2将第一级网络的训练样本输入第一级网络，输出一个总体的损失函数Lq，Lq的计算如下，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新第一级网络中的参数，得到第q次更新了参数的第一级网络NETq；
Figure BDA0002385850050000221
其中，N是第一级网络的训练样本的数量，N＝N11+N12+N13，
Figure BDA0002385850050000222
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位,αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝1,膝关节边界框定位任务的重要程度系数α2＝0.5，膝关节关键点定位任务的重要程度系数α3＝0；
2.3.3令q＝q+1，若2≤q≤Q，Q为网络训练的次数，Q＝10，转2.3.4；否则训练完毕，得到训练后的第一级网络即NETQ，转2.4；
2.3.4将第一级网络的训练样本输入NETq-1，输出第q次总体损失函数Lq，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新NETq-1中的参数,得到第q次更新了参数的第一级网络NETq，转2.3.3；
2.4为基于多任务两级卷积神经网络的膝关节区域定位网络中第二级网络准备训练样本，方法是：
2.4.1初始化变量m＝1；
2.4.2利用训练后的第一级网络定位第m张单膝图像I的初步膝关节区域，方法是:
2.4.2.1生成第m张单膝图像I的图片金字塔，方法是：将第m张单膝图像I依次乘以不同的缩放因子s(s为正实数，且0<s≤1)，对第m张单膝图像I进行不同尺度的缩放，得到PP(PP为正整数且0<PP<100)张不同大小的单膝图像，构成单膝图像I的图片金字塔。图片金字塔(PP张)中每张图像大小记为H×W×3(图像的高×图像的宽×图像通道数，因为是RGB图像，所以有3个通道)。
2.4.2.2初始化变量p＝1；
2.4.2.3经过训练的第一特征提取模块提取图片金字塔中第p张图片的特征，得到第一图像特征F5，F5为
Figure BDA0002385850050000231
(图片高×图片宽×特征图的通道数)。
2.4.2.4初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域，膝关节区域检测方法是：
2.4.2.4.1初步目标检测模块中的1×1卷积层对图片金字塔中第p张图片的第一图像特征F5进行1×1卷积，输出两组向量：膝关节的概率向量A1p，A1p为
Figure BDA0002385850050000232
Figure BDA0002385850050000233
表示向量的个数，1表示每个向量的维度)，向量A1p存放的是认为是膝关节的概率值(范围为[0，1])，当概率值不低于α时认为是膝关节，α为第一阈值，α∈[0.5，1]，α优选值为0.6；膝关节边界框坐标偏移向量B1p，B1p为
Figure BDA0002385850050000234
Figure BDA0002385850050000235
表示向量的个数，4表示每个向量的维度)，每个向量的4维度(x1，y1，x2，y2)表示边界框的(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)。
2.4.2.4.2初步目标检测模块的膝关节边界框坐标操作层对A1p和B1p筛选和计算，得到单膝图像I中的膝关节区域。搜索到A1p中概率值不低于α的N个向量位置
Figure BDA0002385850050000236
同时在B1p中找到对应的这N个向量位置
Figure BDA0002385850050000237
以及该N个位置对应的4维坐标偏移向量
Figure BDA0002385850050000241
其中，
Figure BDA0002385850050000242
表示第n个边界框的坐标偏移量(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)。计算原单膝图像I中N个膝关节区域边界框坐标
Figure BDA0002385850050000243
根据边界框坐标在原图I上框出N个膝关节区域，其中，
Figure BDA0002385850050000244
表示第n个边界框的坐标(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，计算公式如下：
Figure BDA0002385850050000245
Figure BDA0002385850050000246
Figure BDA0002385850050000247
Figure BDA0002385850050000248
其中,
Figure BDA0002385850050000249
表示第n个边界框的坐标偏移量(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，s(0<s≤1)表示原始单膝图像I的缩放因子。
2.4.2.5若p≥PP，转2.4.2.6；若p<PP，令p＝p+1，转2.4.2.3。
2.4.2.6第一非极大值抑制筛选层采用非极大值抑制(NMS)算法对第m张单膝图片I的所有膝关节区域进行过滤。非极大值抑制(NMS)算法参考(文献“Efficient Non-Maximum Suppression[C]//18th International Conference on Pattern Recognition(ICPR 2006),20-24 August 2006,Hong Kong,China.IEEE Computer Society,2006.”译为：高效的非极大值抑制，《第18届模式识别国际会议》)所述，设非极大值抑制过滤阈值δ为0.6，膝关节边界区域经过阈值筛选，得到第m张单膝图像I的N1(N1为正整数且0≤N1≤100)个初步膝关节区域。
2.4.3在第m张单膝图像上为第二级网络准备训练样本，方法是：
2.4.3.1初始化变量n1＝1，k＝1；
2.4.3.2计算第m张单膝图像I的第n1个初步膝关节区域与第m张单膝图像I标注的膝关节区域的交并比
Figure BDA00023858500500002410
若
Figure BDA00023858500500002411
将第n1个初步膝关节区域作为第二级网络训练的正样本，转2.4.3.3；若
Figure BDA00023858500500002412
将第n1个初步膝关节区域作为第二级网络训练的部分样本，转2.4.3.3；若
Figure BDA0002385850050000251
将第n1个初步膝关节区域作为第二级网络训练的负样本，转2.4.3.3。
2.4.3.3若n1≥N1(N1是第m张单膝图像I中初步膝关节区域的个数，0≤N1≤100)，转2.4.3.4；若n1<N1，令n1＝n1+1，转2.4.3.2。
2.4.3.4在第m张单膝图像上随机取第k个点
Figure BDA0002385850050000252
将点
Figure BDA0002385850050000253
作为随机选取的边界框的左上坐标点。
2.4.3.5取第k个随机选取的边界框的宽
Figure BDA0002385850050000254
和高
Figure BDA0002385850050000255
设第m张单膝图像的宽为wm，高为hm，取wm和hm的最小值的一半，并进行取整操作，即为int(min(wm,hm)/2),在[48，int(min(wm,hm)/2)]的区间中随机取一个整数作为随机选取的边界框的宽
Figure BDA0002385850050000256
和高
Figure BDA0002385850050000257
2.4.3.6确定第k个随机选取的边界框的坐标：点
Figure BDA0002385850050000258
记为第k个随机选取的边界框的右下坐标点，
Figure BDA0002385850050000259
第k个随机选取的边界框坐标为
Figure BDA00023858500500002510
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)。
2.4.3.7计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure BDA00023858500500002511
若
Figure BDA00023858500500002512
则将第k个随机选取的边界框作为膝关节区域关键点定位的训练数据，转2.4.3.8；若
Figure BDA00023858500500002513
直接转2.4.3.8。
2.4.3.8若k<K，令k＝k+1，转2.4.3.4，若k≥K，转2.4.4。
2.4.4若m≥2M，转2.4.5；若m<2M，令m＝m+1，转2.4.2。
2.4.5将2.4.3～2.4.4步生成的正样本、部分样本、负样本尺度缩减为48×48×3(图像长×图像宽×图像通道数)。因为是RGB图像，所以图像通道数为3。
2.4.6将2.4.5步尺度缩减后的正样本、部分样本、负样本做镜像操作增广，方法是：将每张训练样本进行左右方向翻转，即为镜像操作，得到第二级网络的训练样本，第二级网络训练的正样本个数为N21、部分样本个数为N22、负样本个数为N23，N21、N22和N23均为正整数。
2.5采用2.4.6步生成的第二级网络训练样本对第二级网络进行训练，得到训练后的第二级网络，方法是：
2.5.1初始化变量t＝1，设置模型参数的值，包括设置学习率为0.0001，批处理大小batch_size为500；
2.5.2将第二级网络的训练样本输入第二级网络，输出一个总体的损失函数Lt，Lt的计算如下，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新第二级网络中的参数，得到第t次更新了参数的第二级网络NETt；
Figure BDA0002385850050000261
其中，N2是训练样本的数量，N2＝N21+N22+N23；
Figure BDA0002385850050000262
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝0.8,膝关节边界框定位任务的重要程度系数α2＝0.6，膝关节关键点定位任务的重要程度系数α3＝1.5；
2.5.3令t＝t+1，若2≤t≤T，T为网络训练的次数，T＝10，转2.5.4；否则训练完毕，得到训练后的第二级网络即NETT,转第三步；
2.5.4将第二级网络的训练样本输入NETt-1，输出第t次总体损失函数Lt，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新NETt-1中的参数,得到第t次更新了参数的第二级网络NETt；转2.5.3。
第三步，对待检测双膝X光片进行预处理，得到经直方图均衡化处理的2张待检测单膝图像，方法是：
3.1若待检测双膝X光片是背景成亮色、双腿成暗色，则将待检测双膝X光片转化成背景成暗色、双腿成亮色的图像，即用255减去待检测双膝X光片原始像素值作为新图像像素值，转化成背景成暗色、双腿成亮色的图像，转3.2；若待检测双膝X光片是背景成暗色、双腿成亮色，直接转3.2。
3.2将待检测双膝X光片的像素转化成[0，255]的范围，即将待检测双膝X光片处理成uint8的双膝图像；uint8的双膝图像中每个像素对应的新像素值为
Figure BDA0002385850050000263
Figure BDA0002385850050000264
P为处理前图像每个像素的像素值，Pmax为处理前图像的最大像素值，Pmin为处理前图像的最小像素值。
3.3将uint8的双膝图像转化成单膝图像，方法是：分别找到uint8双膝图像的宽W以及宽度的一半
Figure BDA0002385850050000271
然后对宽度的一半
Figure BDA0002385850050000272
取整，记为
Figure BDA0002385850050000273
最后从双膝图像中按照宽度坐标[0，int(W/2)]、[int(W/2)+1，W-1]截取，即uint8的双膝图像被划分成2张单膝图像。
3.4对2张单膝图像进行直方图均衡化处理，这2张经过直方图均衡化处理的单膝图像作为待检测单膝图像。
第四步，基于训练好的多任务两级卷积神经网络的膝关节区域定位网络对第三步获得的2张待检测单膝图像进行膝关节定位，方法是：
4.1初始化变量d＝1；
4.2生成第d张待检测单膝图像的图片金字塔。将单膝图像进行不同尺度的缩放，缩放因子为s(0<s≤1)，得到PP(0<PP<100)张不同大小的单膝图像，设每张图像大小为H×W×3(图像的高×图像的宽×图像通道数)，称为该待检测单膝图像的图片金字塔。
4.3基于训练好的多任务两级卷积神经网络的膝关节区域定位网络中的第一级网络处理第d张待检测单膝图像的图片金字塔，得到初步膝关节区域，方法是：
4.3.1初始化变量p＝1；
4.3.2第一特征提取模块提取第d张待检测单膝图像的图片金字塔中第p张图像的特征，方法是：
4.3.2.1第一特征提取模块中的第一3×3卷积层对第d张待检测单膝图像的图片金字塔中第p张图片进行卷积操作，第一2×2最大池化层对完成卷积操作的第p张图片进行池化操作，输出特征图F1：卷积操作步长为1，最大池化操作步长为2，图片金字塔中第p张图片大小设为H×W×3(图片高×图片宽×图片通道数，因为是RGB图像，所以图片通道数为3)，经过第一卷积和最大池化操作层得到
Figure BDA0002385850050000274
(特征图高×特征图宽×特征图F1的通道数)大小的特征图F1。
4.3.2.2第一特征提取模块中的第二3×3卷积层对特征图F1进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2：卷积操作步长为1，最大池化操作步长为2，
Figure BDA0002385850050000275
(特征图高×特征图宽×特征图F1的通道数)大小的特征图F1经过第二卷积和最大池化操作层得到
Figure BDA0002385850050000276
Figure BDA0002385850050000277
(特征图高×特征图宽×特征图F2的通道数)大小的特征图F2。
4.3.2.3第一特征提取模块中的第三3×3卷积层对特征图F2进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3：卷积操作步长为1，最大池化操作步长为2，
Figure BDA0002385850050000281
(特征图高×特征图宽×特征图F2的通道数)经过第三卷积和最大池化操作层得到
Figure BDA0002385850050000282
(特征图高×特征图宽×特征图F3的通道数)大小的特征图F3。
4.3.2.4第一特征提取模块中的第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4：卷积操作步长为1，
Figure BDA0002385850050000283
(特征图高×特征图宽×特征图F3的通道数)大小的特征图F3经过第四卷积操作层得到
Figure BDA0002385850050000284
(特征图高×特征图宽×特征图F4的通道数)大小的特征图F4。
4.3.2.5第一特征提取模块中的第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5：卷积操作步长为1，
Figure BDA0002385850050000285
(特征图高×特征图宽×特征图F4的通道数)大小的特征图F4经过第五卷积操作层得到
Figure BDA0002385850050000286
(特征图高×特征图宽×特征图F5的通道数)大小的特征图F5，特征图F5即为第d张待检测单膝图像的图片金字塔的第p张图片输入第一级网络提取的第一图像特征。
4.3.3第一级网络的初步目标检测模块采用2.4.2.4所述的膝关节区域检测方法对F5进行检测，得到待检测单膝图像的膝关节区域；
4.3.4若p<PP，令p＝p+1，转4.3.2；若p≥PP，则转4.3.5。
4.3.5第二非极大值抑制筛选层采用非极大值抑制(NMS)算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤。非极大值抑制(NMS)算法过滤阈值δ设为0.7，待检测单膝图像中的多个膝关节边界框经过阈值筛选，过滤后的边界框在第d张待检测单膝图像上框出膝关节区域，为第一级网络输出的N1个初步膝关节区域。
4.4第二级网络处理第d张待检测单膝图像的N1个初步膝关节区域，得到最终膝关节区域以及该区域的关键点，方法是：
4.4.1初始化变量n1＝1；
4.4.2将第一级网络输出的第d张待检测单膝图像的第n1个初步膝关节区域尺度归一化为48×48×3(图像高×图像宽×图像的通道数)。
4.4.3第二级网络提取第d张待检测单膝图像上的第n1张初始膝关节区域图像的特征，方法是：
4.4.3.1第二特征提取模块中的第一3×3卷积层对第n1张初始膝关节区域图像进行卷积操作，第一2×2最大池化层对完成卷积操作的第n1张初始膝关节区域图像进行池化操作，输出特征图F6。卷积操作步长为1，最大池化操作步长为2，尺度归一化的初始膝关节区域图像大小为48×48×3(图片高×图片宽×图片通道数，因为是RGB图像，所以图片通道数为3)，经过第一卷积和最大池化操作层得到23×23×32(特征图高×特征图宽×特征图F6的通道数)大小的特征图F6。
4.4.3.2第二特征提取模块中的第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，输出特征图F7。卷积操作步长为1，最大池化操作步长为2，23×23×32(特征图高×特征图宽×特征图F6的通道数)大小的特征图F6经过第二卷积和最大池化操作层得到10×10×64(特征图高×特征图宽×特征图F7的通道数)大小的特征图F7。
4.4.3.3第二特征提取模块中的第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，输出特征图F8。卷积操作步长为1，最大池化操作步长为2，10×10×64(特征图高×特征图宽×特征图F7的通道数)大小的特征图F7经过第三卷积和最大池化操作层得到4×4×64(特征图高×特征图宽×特征图F8的通道数)大小的特征图F8。
4.4.3.4第二特征提取模块中的第四3×3卷积层对特征图F8进行卷积操作，输出特征图F9。第四层卷积操作步长为1，4×4×64(特征图高×特征图宽×特征图F8的通道数)大小的特征图F8经过第四卷积操作层得到2×2×128(特征图高×特征图宽×特征图F9的通道数)大小的特征图F9。
4.4.3.5第二特征提取模块中的第一全连接层对特征图F9进行全连接操作，输出特征图F10。2×2×128(特征图高×特征图宽×特征图F9的通道数)大小的特征图F9经过第一全连接层得到包含256维向量的特征图F10，特征图F10即为提取的第二图像特征。
4.4.4第二级网络的最终目标检测模块处理第二图像特征即特征图F10，输出第d张待检测单膝图像的最终膝关节区域及关键点坐标，方法是：
4.4.4.1第二级网络最终目标检测模块的第二全连接层对特征图F10进行全连接，输出三组向量:是膝关节的概率向量
Figure BDA0002385850050000291
膝关节边界框坐标偏移向量
Figure BDA0002385850050000292
膝关节关键点坐标偏移向量
Figure BDA0002385850050000293
其中
Figure BDA0002385850050000294
有一个1维向量，
Figure BDA0002385850050000295
有一个4维向量，
Figure BDA0002385850050000296
有一个12维向量。
4.4.4.2第二级网络最终目标检测模块的膝关节边界框坐标以及膝关节区域关键点坐标操作层对
Figure BDA0002385850050000301
向量进行筛选和计算，得到第d张待检测单膝图像的膝关节区域及膝关节区域的关键点。向量
Figure BDA0002385850050000302
存放的是认为是膝关节的概率值(范围为[0，1])，当概率值不低于β时认为是膝关节，β为第二阈值，β∈[0.5，1]，β优选值为0.7，若
Figure BDA0002385850050000303
的概率值大于β，则第n1张初步膝关节区域被保留，第n1张初步膝关节区域边界框坐标为
Figure BDA0002385850050000304
表示第n1张初步膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，同时保留膝关节边界框坐标偏移向量
Figure BDA0002385850050000305
和膝关节关键点坐标偏移向量
Figure BDA0002385850050000306
设
Figure BDA0002385850050000307
表示第n1张膝关节边界框的偏移坐标(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，设
Figure BDA0002385850050000308
表示第n1个膝关节区域的关键点FM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA0002385850050000309
表示第n1个膝关节区域的关键点FL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500003010
表示第n1个膝关节区域的关键点TM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500003011
表示第n1个膝关节区域的关键点TL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500003012
表示第n1个膝关节区域的JSM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure BDA00023858500500003013
表示第n1个膝关节区域的JSL点的偏移坐标(偏移横坐标，偏移纵坐标)。最终的第n1个膝关节边界框坐标
Figure BDA00023858500500003014
(表示第n1个膝关节边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标))以及6个关键点坐标
Figure BDA00023858500500003015
(表示第n1个膝关节区域的FM点的坐标)，
Figure BDA00023858500500003016
(表示第n1个膝关节区域的FL点的坐标)，
Figure BDA00023858500500003017
(表示第n1个膝关节区域的TM点的坐标)，
Figure BDA00023858500500003018
(表示第n1个膝关节区域的TL点的坐标)，
Figure BDA00023858500500003019
(表示第n1个膝关节区域的JSL点的坐标)，
Figure BDA00023858500500003020
(表示第n1个膝关节区域的JSM点的坐标)计算如下：
Figure BDA0002385850050000311
Figure BDA0002385850050000312
Figure BDA0002385850050000313
Figure BDA0002385850050000314
Figure BDA0002385850050000315
Figure BDA0002385850050000316
Figure BDA0002385850050000317
Figure BDA0002385850050000318
Figure BDA0002385850050000319
Figure BDA00023858500500003110
Figure BDA00023858500500003111
Figure BDA00023858500500003112
Figure BDA00023858500500003113
Figure BDA00023858500500003114
Figure BDA00023858500500003115
Figure BDA00023858500500003116
4.4.4.3若n1<N1，令n1＝n1+1，转4.4.2；若n1≥N1，转4.4.4.4。
4.4.4.4第二非极大值抑制筛选层采用非极大值抑制(NMS)算法对第d张待检测单膝图像中膝关节边界框进行筛选，得到第d张待检测单膝图像的最终边界框及最终膝关节区域的关键点，非极大值抑制(NMS)算法的过滤阈值δ为0.7。
4.4.4.5若d<2，令d＝d+1，转4.2；若d≥2，转第五步。
第五步，结束。

Claims (11)

1.一种基于多任务两级卷积神经网络的膝关节定位方法，其特征在于包括以下步骤：
第一步，搭建基于多任务两级卷积神经网络的膝关节区域定位网络，基于多任务两级卷积神经网络的膝关节区域定位网络包括第一级网络和第二级网络，第一级网络的输出作为第二级网络的输入；
第一级网络由第一特征提取模块和初步目标检测模块构成；第一特征提取模块从外界接收单膝图像I，对单膝图像I提取第一图像特征，将第一图像特征发送给初步目标检测模块；初步目标检测模块对第一图像特征进行检测，输出单膝图像I中的初步膝关节区域；
第一特征提取模块由5个卷积层和3个最大池化层构成，5个卷积层中包括4个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；
第一3×3卷积层对单膝图像I进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I进行池化操作，得到特征图F1；第二3×3卷积层对特征图F1进行卷积操作，第一3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2；第三3×3卷积层对特征图F2进行卷积操作，第二2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3；第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4，第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5，特征图F5即为提取的第一图像特征；
初步目标检测模块包括一个1×1卷积层、膝关节边界框坐标操作层以及第一非极大值抑制筛选层；1×1卷积层对特征图F5进行卷积，得到两组向量，即膝关节的概率向量A1、膝关节边界框坐标偏移向量B1；膝关节边界框坐标操作层根据A1和B1确定膝关节边界框，得到单膝图像I中的膝关节区域；第一非极大值抑制筛选层对单膝图像I中的膝关节区域进行非极大抑制筛选，得到单膝图像I中的初步膝关节区域，将单膝图像I及单膝图像I中的初步膝关节区域发送给第二级网络；
第二级网络由第二特征提取模块和最终目标检测模块构成；第二特征提取模块对从第一级网络接收的单膝图像I以及单膝图像I中的初步膝关节区域进行特征提取，得到第二图像特征；最终目标检测模块对第二图像特征进行目标检测，得到单膝图像I的最终膝关节边界框坐标以及单膝图像I的膝关节区域关键点坐标；
第二特征提取模块由4个卷积层、3个最大池化层和1个全连接层构成，4个卷积层中包括3个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；
第二特征提取模块中的第一3×3卷积层对单膝图像I中的初步膝关节区域进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I中的初步膝关节区域进行池化操作，得到特征图F6；第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，得到特征图F7；第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，得到特征图F8；第四3×3卷积层对特征图F8进行卷积操作，得到特征图F9，第一全连接层对特征图F9进行全连接操作，得到特征图F10，特征图F10即为提取的第二图像特征；
最终目标检测模块包括第二全连接层、膝关节边界框以及膝关节区域的关键点坐标操作层以及第二非极大值抑制筛选层；第二全连接层对特征图F10进行全连接，得到三组向量，即膝关节的概率向量A2、膝关节边界框坐标偏移向量B2、膝关节区域六个关键点坐标偏移向量C；膝关节边界框以及膝关节区域的关键点坐标操作层根据A2、B2、C对单膝图像I进行膝关节边界框坐标以及膝关节区域的关键点坐标确定；第二非极大值抑制筛选层对单膝图像I中的膝关节区域及膝关节关键点坐标进行非极大抑制筛选，输出单膝图像I及单膝图像I的最终膝关节区域、以及单膝图像I的膝关节区域关键点坐标；
第二步，对基于多任务两级卷积神经网络的膝关节区域定位网络进行训练，方法是：
2.1准备基于多任务两级卷积神经网络的膝关节区域定位网络的数据：
2.1.1对M张原始图像即包含左右膝的X线片医学图像进行预处理，得到经直方图均衡化处理的2M张单膝图像，M为正整数；
2.1.2标注经直方图均衡化处理后的2M张单膝图像中膝关节真实边界框，方法是：
2.1.2.1初始化变量m＝1；
2.1.2.2人工手动标注第m张单膝图像膝关节区域的6个关键点；6个关键点指膝关节间隙及骨赘处边界的6个点，左膝和右膝的6个点分别为股骨内侧骨赘点FM、股骨外侧骨赘点FL、胫骨内侧骨赘点TM、胫骨外侧骨赘点TL、关节间隙内侧点JSM、关节间隙外侧点JSL；左膝和右膝的6个关键点呈镜像对称；
2.1.2.3根据手动标注的关键点，标注出第m张单膝图像中膝关节的边界框，方法是：
2.1.2.3.1分别计算出第m张单膝图像中6个关键点的中心点坐标(xmid，ymid)；记6个关键点坐标分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)、(x6，y6)，6个关键点的中心点坐标(xmid，ymid)为：
Figure FDA0002385850040000031
Figure FDA0002385850040000032
2.1.2.3.2计算膝关节的宽度wknee，方法是：计算出6个关键点的最大横坐标xmax和最小横坐标xmin，膝关节宽度wknee为最大横坐标xmax和最小横坐标xmin之间的差，即：
xmax＝max(x1，x2，x3，x4，x5，x6)；
xmih＝min(x1，x2，x3，x4，x5，x6)；
wknee＝xmax-xmin；
2.1.2.3.3标注膝关节区域，获得真实膝关节区域边界框坐标
Figure FDA0002385850040000033
该坐标表示真实膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；以6个关键点的中心点为中心上下左右各扩展膝关节宽度的0.65倍，作为真正感兴趣的膝关节区域，即标注的边界框，计算公式如下：
Figure FDA0002385850040000034
Figure FDA0002385850040000035
Figure FDA0002385850040000036
Figure FDA0002385850040000037
2.1.2.4若m≥2M，转2.2；若m<2M，令m＝m+1，转2.1.2.2；
2.2为基于多任务两级卷积神经网络的膝关节区域定位网络中第一级网络准备训练样本，方法是：
2.2.1初始化变量m＝1；
2.2.2在第m张单膝图像上为第一级网络准备训练样本，方法是：
2.2.2.1初始化变量k＝1；
2.2.2.2在第m张单膝图像上随机取第k个点，令第k个点的坐标为
Figure FDA0002385850040000041
以点
Figure FDA0002385850040000042
作为随机选取的边界框的左上坐标点；
2.2.2.2取第k个随机选取的边界框的宽
Figure FDA0002385850040000043
和高
Figure FDA0002385850040000044
2.2.2.3确定第k个随机选取的边界框的坐标，方法是：令点
Figure FDA0002385850040000045
为随机选取的边界框的右下坐标点，
Figure FDA0002385850040000046
Figure FDA0002385850040000047
随机选取的边界框坐标为
Figure FDA0002385850040000048
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；
2.2.2.4计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure FDA0002385850040000049
Figure FDA00023858500400000410
若
Figure FDA00023858500400000411
则将第k个随机选取的边界框即
Figure FDA00023858500400000412
作为训练的正样本，转2.2.2.5；若
Figure FDA00023858500400000413
则将第k个随机选取的边界框即
Figure FDA00023858500400000414
作为训练的部分样本，转2.2.2.5；若
Figure FDA00023858500400000415
则将第k个随机选取的边界框即
Figure FDA00023858500400000416
作为训练的负样本，转2.2.2.5；
2.2.2.5若k<K，K为正整数，K为第m张单膝图像上总共随机选取的边界框数目，令k＝k+1，转2.2.2.2；若k≥K，转2.2.2.6；
2.2.2.6若m≥2M，转2.2.3；若m<2M，令m＝m+1，转2.2.2；
2.2.3将2.2.2生成的训练样本即正样本、部分样本、负样本尺度缩减为图像长×图像宽×图像通道数为48×48×3；
2.2.4将2.2.3步尺度缩减后的训练样本做镜像操作增广，即将每张训练样本进行左右水平翻转，即对每张训练样本做镜像操作，生成第一级网络训练样本，第一级网络正样本个数为N11、部分样本个数为N12、负样本个数为N13，N11、N12和N13均为正整数；
2.3采用第一级网络训练样本对第一级网络进行训练，得到训练后的第一级网络；
2.4为基于多任务两级卷积神经网络的膝关节区域定位网络中第二级网络准备训练样本，方法是：
2.4.1初始化变量m＝1；
2.4.2利用训练后的第一级网络定位第m张单膝图像I的初步膝关节区域，方法是:
2.4.2.1生成第m张单膝图像I的图片金字塔，方法是：将第m张单膝图像I依次乘以不同的缩放因子s，s为正实数，对第m张单膝图像I进行不同尺度的缩放，得到PP张不同大小的单膝图像，构成单膝图像I的图片金字塔，PP为正整数；图片金字塔中每张图像大小记为图像的高×图像的宽×图像通道数＝H×W×3；
2.4.2.2初始化变量p＝1；
2.4.2.3经过训练的第一特征提取模块提取图片金字塔中第p张图片的特征，得到第一图像特征F5，F5为
Figure FDA0002385850040000051
2.4.2.4初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域；
2.4.2.5若p≥PP，转2.4.2.6；若p<PP，令p＝p+1，转2.4.2.3；
2.4.2.6第一非极大值抑制筛选层采用非极大值抑制算法即NMS算法对第m张单膝图片I的所有膝关节区域进行过滤，得到第m张单膝图像I的N1个初步膝关节区域，N1为正整数；
2.4.3在第m张单膝图像上为第二级网络准备训练样本，方法是：
2.4.3.1初始化变量n1＝1，k＝1；
2.4.3.2计算第m张单膝图像I的第n1个初步膝关节区域与第m张单膝图像I标注的膝关节区域的交并比
Figure FDA0002385850040000052
若
Figure FDA0002385850040000053
将第n1个初步膝关节区域作为第二级网络训练的正样本，转2.4.3.3；若
Figure FDA0002385850040000061
将第n1个初步膝关节区域作为第二级网络训练的部分样本，转2.4.3.3；若
Figure FDA0002385850040000062
将第n1个初步膝关节区域作为第二级网络训练的负样本，转2.4.3.3；
2.4.3.3若n1≥N1，转2.4.3.4；若n1<N1，令n1＝n1+1，转2.4.3.2；
2.4.3.4在第m张单膝图像上随机取第k个点即
Figure FDA0002385850040000063
将点
Figure FDA0002385850040000064
作为随机选取的边界框的左上坐标点；
2.4.3.5取第k个随机选取的边界框的宽
Figure FDA0002385850040000065
和高；
2.4.3.6确定第k个随机选取的边界框的坐标：点
Figure FDA0002385850040000066
记为第k个随机选取的边界框的右下坐标点，
Figure FDA0002385850040000067
Figure FDA0002385850040000068
第k个随机选取的边界框坐标为
Figure FDA0002385850040000069
代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；
2.4.3.7计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比
Figure FDA00023858500400000610
Figure FDA00023858500400000611
若
Figure FDA00023858500400000612
则将第k个随机选取的边界框作为膝关节区域关键点定位的训练数据，转2.4.3.8；若
Figure FDA00023858500400000613
直接转2.4.3.8；
2.4.3.8若k<K，令k＝k+1，转2.4.3.4，若k≥K，转2.4.4；
2.4.4若m≥2M，转2.4.5；若m<2M，令m＝m+1，转2.4.2；
2.4.5将2.4.3～2.4.4步生成的正样本、部分样本、负样本尺度缩减为48×48×3；
2.4.6将2.4.5步尺度缩减后的正样本、部分样本、负样本做镜像操作增广，方法是：将每张训练样本进行左右方向翻转，即为镜像操作，得到第二级网络的训练样本，第二级网络训练的正样本个数为N21、部分样本个数为N22、负样本个数为N23，N21、N22和N23均为正整数；
2.5采用2.4.6步生成的第二级网络训练样本对第二级网络进行训练，得到训练后的第二级网络；
第三步，对待检测双膝X光片进行预处理，得到经直方图均衡化处理的2张待检测单膝图像；
第四步，基于训练好的多任务两级卷积神经网络的膝关节区域定位网络对2张待检测单膝图像进行膝关节定位，方法是：
4.1初始化变量d＝1；
4.2生成第d张待检测单膝图像的图片金字塔，方法是：将单膝图像进行不同尺度的缩放，缩放因子为s，得到PP张不同大小的单膝图像，设每张图像大小为H×W×3，称为该待检测单膝图像的图片金字塔；
4.3基于训练好的多任务两级卷积神经网络的膝关节区域定位网络中的第一级网络处理第d张待检测单膝图像的图片金字塔，得到初步膝关节区域，方法是：
4.3.1初始化变量p＝1；
4.3.2第一特征提取模块提取第d张待检测单膝图像的图片金字塔中第p张图像的特征，方法是：
4.3.2.1第一特征提取模块中的第一3×3卷积层对第d张待检测单膝图像的图片金字塔中第p张图片进行卷积操作，第一2×2最大池化层对完成卷积操作的第p张图片进行池化操作，输出特征图F1：卷积操作步长为1，最大池化操作步长为2，图片金字塔中第p张图片大小设为H×W×3，经过第一卷积和最大池化操作层得到
Figure FDA0002385850040000071
大小的特征图F1；
4.3.2.2第一特征提取模块中的第二3×3卷积层对特征图F1进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2：卷积操作步长为1，最大池化操作步长为2，
Figure FDA0002385850040000072
大小的特征图F1经过第二卷积和最大池化操作层得到
Figure FDA0002385850040000073
大小的特征图F2；
4.3.2.3第一特征提取模块中的第三3×3卷积层对特征图F2进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3：卷积操作步长为1，最大池化操作步长为2，
Figure FDA0002385850040000074
经过第三卷积和最大池化操作层得到
Figure FDA0002385850040000075
大小的特征图F3；
4.3.2.4第一特征提取模块中的第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4：卷积操作步长为1，
Figure FDA0002385850040000081
大小的特征图F3经过第四卷积操作层得到
Figure FDA0002385850040000082
大小的特征图F4；
4.3.2.5第一特征提取模块中的第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5：卷积操作步长为1，
Figure FDA0002385850040000083
大小的特征图F4经过第五卷积操作层得到
Figure FDA0002385850040000084
大小的特征图F5，特征图F5即为第d张待检测单膝图像的图片金字塔的第p张图片输入第一级网络提取的第一图像特征；
4.3.3第一级网络的初步目标检测模块采用膝关节区域检测方法对F5进行检测，得到待检测单膝图像的膝关节区域；
4.3.4若p<PP，令p＝p+1，转4.3.2；若p≥PP，则转4.3.5；
4.3.5第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤，过滤后的边界框在第d张待检测单膝图像上框出膝关节区域，为第一级网络输出的N1个初步膝关节区域；
4.4第二级网络处理第d张待检测单膝图像的N1个初步膝关节区域，得到最终膝关节区域以及该区域的关键点，方法是：
4.4.1初始化变量n1＝1；
4.4.2将第一级网络输出的第d张待检测单膝图像的第n1个初步膝关节区域尺度归一化为48×48×3；
4.4.3第二级网络提取第d张待检测单膝图像上的第n1张初始膝关节区域图像的特征，方法是：
4.4.3.1第二特征提取模块中的第一3×3卷积层对第n1张初始膝关节区域图像进行卷积操作，第一2×2最大池化层对完成卷积操作的第n1张初始膝关节区域图像进行池化操作，输出特征图F6：卷积操作步长为1，最大池化操作步长为2，尺度归一化的初始膝关节区域图像大小为48×48×3，经过第一卷积和最大池化操作层得到23×23×32大小的特征图F6；
4.4.3.2第二特征提取模块中的第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，输出特征图F7：卷积操作步长为1，最大池化操作步长为2，23×23×32大小的特征图F6经过第二卷积和最大池化操作层得到10×10×64大小的特征图F7；
4.4.3.3第二特征提取模块中的第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，输出特征图F8：卷积操作步长为1，最大池化操作步长为2，10×10×64大小的特征图F7经过第三卷积和最大池化操作层得到4×4×64大小的特征图F8；
4.4.3.4第二特征提取模块中的第四3×3卷积层对特征图F8进行卷积操作，输出特征图F9：第四层卷积操作步长为1，4×4×64大小的特征图F8经过第四卷积操作层得到2×2×128大小的特征图F9；
4.4.3.5第二特征提取模块中的第一全连接层对特征图F9进行全连接操作，输出特征图F10：2×2×128大小的特征图F9经过第一全连接层得到包含256维向量的特征图F10，特征图F10即为提取的第二图像特征；
4.4.4第二级网络的最终目标检测模块处理F10，输出第d张待检测单膝图像的最终膝关节区域及关键点坐标，方法是：
4.4.4.1第二级网络最终目标检测模块的第二全连接层对F10进行全连接，输出三组向量:是膝关节的概率向量
Figure FDA0002385850040000091
膝关节边界框坐标偏移向量
Figure FDA0002385850040000092
膝关节关键点坐标偏移向量
Figure FDA0002385850040000093
其中
Figure FDA0002385850040000094
有一个1维向量，
Figure FDA0002385850040000095
有一个4维向量，
Figure FDA0002385850040000096
有一个12维向量；
4.4.4.2第二级网络最终目标检测模块的膝关节边界框坐标以及膝关节区域关键点坐标操作层对
Figure FDA0002385850040000097
向量进行筛选和计算，得到第d张待检测单膝图像的膝关节区域及膝关节区域的关键点；向量
Figure FDA0002385850040000098
存放的是认为是膝关节的概率值，当概率值不低于β时认为是膝关节，β为第二阈值，β∈[0.5，1]，若
Figure FDA0002385850040000099
的概率值大于β，则第n1张初步膝关节区域被保留，第n1张初步膝关节区域边界框坐标为
Figure FDA00023858500400000910
表示第n1张初步膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，同时保留膝关节边界框坐标偏移向量
Figure FDA00023858500400000911
和膝关节关键点坐标偏移向量
Figure FDA00023858500400000912
设
Figure FDA00023858500400000913
表示第n1张膝关节边界框的偏移坐标(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，设
Figure FDA0002385850040000101
表示第n1个膝关节区域的关键点FM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure FDA0002385850040000102
表示第n1个膝关节区域的关键点FL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure FDA0002385850040000103
表示第n1个膝关节区域的关键点TM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure FDA0002385850040000104
表示第n1个膝关节区域的关键点TL点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure FDA0002385850040000105
表示第n1个膝关节区域的JSM点的偏移坐标(偏移横坐标，偏移纵坐标)，
Figure FDA0002385850040000106
表示第n1个膝关节区域的JSL点的偏移坐标(偏移横坐标，偏移纵坐标)；最终的第n1个膝关节边界框坐标
Figure FDA0002385850040000107
Figure FDA0002385850040000108
即第n1个膝关节边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)以及6个关键点坐标
Figure FDA0002385850040000109
即第n1个膝关节区域的FM点的坐标，
Figure FDA00023858500400001010
即第n1个膝关节区域的FL点的坐标，
Figure FDA00023858500400001011
Figure FDA00023858500400001012
即第n1个膝关节区域的TM点的坐标，
Figure FDA00023858500400001013
即第n1个膝关节区域的TL点的坐标，
Figure FDA00023858500400001014
即第n1个膝关节区域的JSL点的坐标，
Figure FDA00023858500400001015
即第n1个膝关节区域的JSM点的坐标计算如下：
Figure FDA00023858500400001016
Figure FDA00023858500400001017
Figure FDA00023858500400001018
Figure FDA00023858500400001019
Figure FDA00023858500400001020
Figure FDA00023858500400001021
Figure FDA00023858500400001022
Figure FDA0002385850040000111
Figure FDA0002385850040000112
Figure FDA0002385850040000113
Figure FDA0002385850040000114
Figure FDA0002385850040000115
Figure FDA0002385850040000116
Figure FDA0002385850040000117
Figure FDA0002385850040000118
Figure FDA0002385850040000119
4.4.4.3若n1<N1，令n1＝n1+1，转4.4.2；若n1≥N1，转4.4.4.4；
4.4.4.4第二非极大值抑制筛选层采用非极大值抑制NMS算法对第d张待检测单膝图像中膝关节边界框进行筛选，得到第d张待检测单膝图像的最终边界框及最终膝关节区域的关键点；
4.4.4.5若d<2，令d＝d+1，转4.2；若d≥2，转第五步；
第五步，结束。
2.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.1.1步所述对原始图像进行预处理的方法是：
2.1.1.1从OAIbaseline公开数据库中随机选取M张原始图像即包含左右膝的X线片医学图像；
2.1.1.2将M张原始图像统一转化成背景成暗色、双腿成亮色的图像：首先从M张原始图像中挑选出背景成亮色、双腿成暗色的双膝图像，然后进行图像像素反转，即用255减去原始像素值，将M张原始图像统一转化成背景成暗色、双腿成亮色的图像；
2.1.1.3将M张背景成暗色、双腿成亮色的图像的像素转化成[0，255]的范围，即将背景成暗色、双腿成亮色的图像处理成uint8的图像，方法是：将M张背景成暗色、双腿成亮色的图像中的每个像素的像素值做如下处理：
Figure FDA0002385850040000121
Figure FDA0002385850040000122
其中P为处理前图像中任意一个像素的像素值，Pmax为处理前图像中的最大像素值，Pmin为处理前图像中的最小像素值，Pnew为处理后图像中的任意一个像素的像素值；
2.1.1.4将M张uint8的图像转化成2M张单膝图像，方法是：首先分别找到M张uint8的图像的宽W以及宽度的一半
Figure FDA0002385850040000123
然后对宽度的一半
Figure FDA0002385850040000124
取整，记为
Figure FDA0002385850040000125
最后从uint8的图像中按照宽度坐标
Figure FDA0002385850040000126
截取，即每张uint8的图被划分成2张单膝图像，最终获得2M张单膝图像；
2.1.1.5对2M张单膝图像分别进行直方图均衡化处理，得到经直方图均衡化处理的2M张单膝图像。
3.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.2.2.2步和2.4.3.5所述取第k个随机选取的边界框的宽
Figure FDA0002385850040000127
和高
Figure FDA0002385850040000128
的方法是：设第m张单膝图像的宽为wm，高为hm，并取wm和hm的最小值的一半，且进行取整操作，即为int(min(wm，hm)/2)，int(min(wm，hm)/2)表示对min(wm，hm)/2取整，在[48，int(min(wm，hm)/2)]的取值区间中随机取一个整数作为随机选取的边界框的宽
Figure FDA0002385850040000129
和高
Figure FDA00023858500400001210
4.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于所述M满足M>2000，所述K满足K>50，所述PP满足0<PP<100，所述s满足0<s≤1，所述N1满足0≤N1≤100。
5.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.3步所述对第一级网络进行训练的方法是：
2.3.1初始化变量q＝1，设置模型参数的值，包括设置学习率为0.001，批处理大小batch_size为500；
2.3.2将第一级网络的训练样本输入第一级网络，输出一个总体的损失函数Lq，Lq的计算如下，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新第一级网络中的参数，得到第q次更新了参数的第一级网络NETq；
Figure FDA0002385850040000131
其中，N是第一级网络的训练样本的数量，N＝N11+N12+N13，
Figure FDA0002385850040000132
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝1，膝关节边界框定位任务的重要程度系数α2＝0.5，膝关节关键点定位任务的重要程度系数α3＝0；
2.3.3令q＝q+1，若2≤q≤Q，Q为网络训练的次数，Q＝10，转2.3.4；否则训练完毕，得到训练后的第一级网络即NETQ，结束；
2.3.4将第一级网络的训练样本输入NETq-1，输出第q次总体损失函数Lq，在2.3.1步设置的模型参数下，通过Lq值的反向传播更新NETq-1中的参数，得到第q次更新了参数的第一级网络NETq，转2.3.3；
6.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.4步所述初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域，膝关节区域检测方法是：
2.4.2.4.1初步目标检测模块中的1×1卷积层对图片金字塔中第p张图片的第一图像特征F5进行1×1卷积，输出两组向量：膝关节的概率向量A1p，A1p为
Figure FDA0002385850040000133
(
Figure FDA0002385850040000134
表示向量的个数，1表示每个向量的维度)，向量A1p存放的是认为是膝关节的概率值，当概率值不低于第一阈值α时认为是膝关节，α∈[0.5，1]；膝关节边界框坐标偏移向量B1p，B1p为
Figure FDA0002385850040000135
(
Figure FDA0002385850040000136
表示向量的个数，4表示每个向量的维度)，每个向量的4维度(x1，y1，x2，y2)表示边界框的(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)；
2.4.2.4.2初步目标检测模块的膝关节边界框坐标操作层对A1p和B1p筛选和计算，得到单膝图像I中的膝关节区域；搜索到A1p中概率值不低于α的N个向量位置
Figure FDA0002385850040000137
N≥n≥1，N≥1，同时在B1p中找到对应的这N个向量位置
Figure FDA0002385850040000141
以及该N个位置对应的4维坐标偏移向量
Figure FDA0002385850040000142
其中，
Figure FDA0002385850040000143
表示第n个边界框的坐标偏移量(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)；计算原单膝图像I中N个膝关节区域边界框坐标
Figure FDA0002385850040000144
根据边界框坐标在原图I上框出N个膝关节区域，其中，
Figure FDA0002385850040000145
表示第n个边界框的坐标(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，计算公式如下：
Figure FDA0002385850040000146
Figure FDA0002385850040000147
Figure FDA0002385850040000148
Figure FDA0002385850040000149
Figure FDA00023858500400001410
其中，
Figure FDA00023858500400001411
表示第n个边界框的坐标偏移量(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，s表示原始单膝图像I的缩放因子。
7.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.4.1步所述α为0.6。
8.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.5步对第二级网络进行训练的方法是：
2.5.1初始化变量t＝1，设置模型参数的值，包括设置学习率为0.0001，批处理大小batch_size为500；
2.5.2将第二级网络的训练样本输入第二级网络，输出一个总体的损失函数Lt，Lt的计算如下，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新第二级网络中的参数，得到第t次更新了参数的第二级网络NETt；
Figure FDA0002385850040000151
其中，N2是训练样本的数量，N2＝N21+N22+N23；
Figure FDA0002385850040000152
表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，αj表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α1＝0.8，膝关节边界框定位任务的重要程度系数α2＝0.6，膝关节关键点定位任务的重要程度系数α3＝1.5；
2.5.3令t＝t+1，若2≤t≤T，T为网络训练的次数，T＝10，转2.5.4；否则训练完毕，得到训练后的第二级网络即NETT，结束；
2.5.4将第二级网络的训练样本输入NETt-1，输出第t次总体损失函数Lt，在2.5.1步设置的的模型参数下，通过Lt值的反向传播更新NETt-1中的参数，得到第t次更新了参数的第二级网络NETt；转2.5.3。
9.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于第三步所述对待检测双膝X光片进行预处理的方法是：
3.1若待检测双膝X光片是背景成亮色、双腿成暗色，则将待检测双膝X光片转化成背景成暗色、双腿成亮色的图像，即用255减去待检测双膝X光片原始像素值作为新图像像素值，转化成背景成暗色、双腿成亮色的图像，转3.2；若待检测双膝X光片是背景成暗色、双腿成亮色，直接转3.2；
3.2将待检测双膝X光片的像素转化成[0，255]的范围，即将待检测双膝X光片处理成uint8的双膝图像；uint8的双膝图像中每个像素对应的新像素值为
Figure FDA0002385850040000153
P为处理前图像每个像素的像素值，Pmax为处理前图像的最大像素值，Pmin为处理前图像的最小像素值；
3.3将uint8的双膝图像转化成单膝图像，方法是：分别找到uint8双膝图像的宽W以及宽度的一半
Figure FDA0002385850040000154
然后对宽度的一半
Figure FDA0002385850040000155
取整，记为
Figure FDA0002385850040000156
最后从双膝图像中按照宽度坐标[0，int(W/2)]、[int(W/2)+1，W-1]截取，即uint8的双膝图像被划分成2张单膝图像；
3.4对2张单膝图像进行直方图均衡化处理，这2张经过直方图均衡化处理的单膝图像作为待检测单膝图像。
10.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.6上所述第一非极大值抑制筛选层采用非极大值抑制算法对第m张单膝图片I的所有膝关节区域进行过滤时过滤阈值δ为0.6；4.3.5步所述第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤时过滤阈值δ设为0.7；4.4.4.4步所述第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中膝关节边界框进行筛选获得最终的膝关节边界框及最终膝关节区域的关键点时过滤阈值δ为0.7。
11.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于4.4.4.2步所述β取值为0.7。
CN202010097868.3A 2020-02-17 2020-02-17 基于多任务两级卷积神经网络的膝关节定位方法 Active CN111340760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010097868.3A CN111340760B (zh) 2020-02-17 2020-02-17 基于多任务两级卷积神经网络的膝关节定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010097868.3A CN111340760B (zh) 2020-02-17 2020-02-17 基于多任务两级卷积神经网络的膝关节定位方法

Publications (2)

Publication Number Publication Date
CN111340760A true CN111340760A (zh) 2020-06-26
CN111340760B CN111340760B (zh) 2022-11-08

Family

ID=71186920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010097868.3A Active CN111340760B (zh) 2020-02-17 2020-02-17 基于多任务两级卷积神经网络的膝关节定位方法

Country Status (1)

Country Link
CN (1) CN111340760B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767857A (zh) * 2020-06-30 2020-10-13 电子科技大学 一种基于轻量级两阶段神经网络的行人检测方法
CN113076987A (zh) * 2021-03-29 2021-07-06 北京长木谷医疗科技有限公司 骨赘识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109902806A (zh) * 2019-02-26 2019-06-18 清华大学 基于卷积神经网络的噪声图像目标边界框确定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109902806A (zh) * 2019-02-26 2019-06-18 清华大学 基于卷积神经网络的噪声图像目标边界框确定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苗光等: "二维和三维卷积神经网络相结合的CT图像肺结节检测方法", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767857A (zh) * 2020-06-30 2020-10-13 电子科技大学 一种基于轻量级两阶段神经网络的行人检测方法
CN113076987A (zh) * 2021-03-29 2021-07-06 北京长木谷医疗科技有限公司 骨赘识别方法、装置、电子设备及存储介质
WO2022205928A1 (zh) * 2021-03-29 2022-10-06 北京长木谷医疗科技有限公司 骨赘识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111340760B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
Saeedi et al. Infrared and visible image fusion using fuzzy logic and population-based optimization
Choi et al. Boosting proximal dental caries detection via combination of variational methods and convolutional neural network
Lin et al. Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network
Reddy et al. A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging
CN104680508B (zh) 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN106940816A (zh) 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN112308822B (zh) 基于深度卷积神经网络的椎间盘ct图像检测方法
Bala Intracardiac mass detection and classification using double convolutional neural network classifier
Chen et al. Blood vessel enhancement via multi-dictionary and sparse coding: Application to retinal vessel enhancing
Liu et al. Automatic delineation of ribs and clavicles in chest radiographs using fully convolutional DenseNets
CN111340760B (zh) 基于多任务两级卷积神经网络的膝关节定位方法
Wang et al. Generative image deblurring based on multi-scaled residual adversary network driven by composed prior-posterior loss
Kora et al. Automatic segmentation of polyps using U-net from colonoscopy images
Hasegawa et al. Convolution neural-network-based detection of lung structures
CN107146202A (zh) 基于l0正则化和模糊核后处理的图像盲去模糊的方法
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
Venugopal et al. A deep learning-based illumination transform for devignetting photographs of dermatological lesions
Sharma et al. Solving image processing critical problems using machine learning
Hassanien et al. Digital mammogram segmentation algorithm using pulse coupled neural networks
Sivakumar et al. A novel method on earlier detection of bone cancer using Markov random field segmentation
Suresh et al. Improving the mammogram images by intelligibility mammogram enhancement method
Cheng et al. Spherical transformer for quality assessment of pediatric cortical surfaces
Tsujii et al. Lung contour detection in chest radiographs using 1-D convolution neural networks
JP2011018199A (ja) 画像処理装置および方法、並びにプログラム
Long et al. A Deep Learning Method for Brain Tumor Classification Based on Image Gradient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant