CN110464380B - 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 - Google Patents

一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 Download PDF

Info

Publication number
CN110464380B
CN110464380B CN201910861272.3A CN201910861272A CN110464380B CN 110464380 B CN110464380 B CN 110464380B CN 201910861272 A CN201910861272 A CN 201910861272A CN 110464380 B CN110464380 B CN 110464380B
Authority
CN
China
Prior art keywords
layer
section
fetus
certain part
section image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910861272.3A
Other languages
English (en)
Other versions
CN110464380A (zh
Inventor
李肯立
李胜利
谭光华
文华轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lanxiang Zhiying Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910861272.3A priority Critical patent/CN110464380B/zh
Publication of CN110464380A publication Critical patent/CN110464380A/zh
Application granted granted Critical
Publication of CN110464380B publication Critical patent/CN110464380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法，包括：获取胎儿某部位切面图像，对胎儿某部位切面图像进行预处理操作，以得到预处理胎儿某部位切面图像，将预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中，以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标，对于类别为标准的胎儿某部位切面图像，直接输出“某部位标准切面”结果，对类别为非标准的胎儿某部位切面图像，直接输出“某部位非标准切面”结果，并指出非标准切面的原因。为该胎儿某部位切面图像生成分数、以及质量评估报告。本发明能够解决现有方法在实际临床中难以广泛推广应用的技术问题。

Description

一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
技术领域
本发明属于产前超声检查技术领域，更具体地，涉及一种对中晚孕期胎儿的超声切面图像进行质量控制的方法。
背景技术
目前，中晚孕期胎儿超声检查是产前诊断与缺陷儿筛查的首选检查方法。然而，由于胎位的不确定性、母体的体重指数、医生操作手法、超声物理特性、胎儿运动等因素的影响，超声检查所获得的胎儿超声切面图像清晰度、标准度往往存在很大差异，从而极大影响了检查结果的准确性。因此，有必要对胎儿超声切面图像进行质量控制(Quality Control，简称QC)。
现有的对胎儿超声切面图像进行质量控制的方法，主要是通过医院组织大量专家对胎儿超声切面图像进行主观评价和客观评分的方式，具体是通过判断胎儿超声切面图像中关键解剖结构是否存在、以及该关键解剖结构的几何形状是否标准来定量评估切面图像。
然而，该方法存在一些不可忽略的缺陷：首先，该方法需要消耗大量的人力和物力，在实际临床中难以广泛推广应用；其次，不同医师对胎儿超声切面图像是否标准的认知不尽相同，这会导致质量控制结果出现不一致性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法，其目的在于，解决现有人工质量控制方法由于需要消耗大量的人力和物力，导致在实际临床中难以广泛推广应用的技术问题，以及不同医师对胎儿超声切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题，本发明能够辅助超声医师遴选出更加标准、质量更高的胎儿近40个切面(包括丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、最大羊水池切面)图像。
为实现上述目的，按照本发明的一个方面，提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法，包括以下步骤：
(1)获取胎儿某部位切面图像；
(2)对步骤(1)获取的胎儿某部位切面图像进行预处理操作，以得到预处理胎儿某部位切面图像；
(3)将步骤(2)得到的预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中，以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标；
(4)对于步骤(3)中得到的标准胎儿超声切面图像，直接输出“某部位切面标准”，并为该标准胎儿超声切面图像设置分数10；而对步骤(3)中得到的非标准胎儿超声切面图像，直接输出“某部位切面非标准”结果，根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果，其中该质量评估报告说明了该胎儿某部位切面图像是非标准胎儿超声切面图像的原因。
优选地，步骤(2)包括以下子步骤：
(2-1)删除该胎儿某部位切面图像中与超声设备参数相关的冗余信息，对删除冗余信息后的胎儿某部位切面图像的长宽大小不是32倍数的，对该胎儿某部位切面图像进行补边处理，使其长宽大小变为32的倍数，将补边后的胎儿某部位切面图像缩放为960x736像素大小，并使用线性函数对缩放后的胎儿某部位切面图像进行归一化处理，以得到归一化后的胎儿某部位切面图像；
(2-2)对步骤(2-1)归一化后的胎儿某部位切面图像进行随机增强操作，以得到随机增强后的胎儿某部位切面图像。
优选地，胎儿某部位切面包括丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、以及最大羊水池切面，其中丘脑、大脑、脑室、小脑构成颅脑部位。
优选地，当胎儿某部位切面图像为胎儿颅脑部位切面图像时，关键结构包括外侧裂(lateral sulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation of septum pellucidum，简称CSP)、第三脑室(Third ventricle，简称TV)、脑中线(Brain middle，简称BM)、以及颅骨(Skull，简称S)。
优选地，根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果这一过程具体为：
(4-1)判断步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构中是否包括BM，如果包括则进入步骤(4-2)，否则为该胎儿某部位切面图像设置分数0，并生成该胎儿某部位切面图像的质量评估报告。然后过程结束；
(4-2)获取该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与BM的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构；
(4-3)判断步骤(4-2)处理后的该胎儿某部位切面图像中包含的关键结构中是否包括LS，如果包括则进入步骤(4-4)，否则直接进入步骤(4-5)；
(4-4)获取步骤(4-3)处理后的该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与LS的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤(4-5)；
(4-5)根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数，并为该胎儿某部位切面图像生成质量评估报告，该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
优选地，深度卷积神经网络包括顺次连接的骨干网Darknet-53、特征交互层、目标检测子网和分类子网，其中目标检测子网和分类子网是并列的。
优选地，骨干网Darknet-53的网络结构为：
第一层是输入层，其输入为736*960*3像素的矩阵；
第二层是特征抽取层，其采用的是公开的特征抽取网络Darknet-53，并取特征抽取网络Darknet-53中去掉FC层的最后一层、第152层和92层这三层的输出矩阵作为提取的特征C1、C2、C3，其大小分别是23*30*1024、46*60*512和92*120*256；
特征交互层的网络结构为：
第一层是在特征C1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第三层到第四层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第一到二层一一对应；
第五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512，记为T1；
第六层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024，记为C4；
第七层是在T1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第八层是上采样层，设置为2倍上采样，输出矩阵为46*60*256；
第九层是连接层，将第八层的输出和特征C2连接，输出矩阵为46*60*768；
第十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256；
第十一层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512；
第十二层到第十三层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十到十一层一一对应；
第十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256，记为T2；
第十五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512，记为C5；
第十六层是在T2基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为46*60*128；
第十七层是上采样层，设置为2倍上采样，输出矩阵为92*120*128；
第十八层是连接层，第十七层的输出和特征C3连接，输出矩阵为92*120*384；
第十九层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256；
第二十一层到第二十二层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十九到二十层一一对应；
第二十三层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256，记为C6。
优选地，目标检测子网的输入矩阵为特征交互层输出的C4、C5、C6，输出D1、D2、D3，分别对应于在三个不同尺度上对胎儿超声颅脑切面中关键结构的类别和位置坐标预测，共3层，目标检测子网的网络结构为：
第一层是在C4基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D1；
第二层是在C5基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D2；
第三层是在C6基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D3。
优选地，分类子网的输入是C4、C5、C6，共18层，分类子网的网络结构为：
第一层到第三层都是顺次连接的卷积层具有相同的参数和输出大小，且第一层的输入是C4，卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第四层是全局最大池化层，输出矩阵为256；
第五层是Reshape层，输出矩阵为1*1*256,记为E1；
第六层到第十层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第六层的输入是C4，最终输出矩阵为1*1*256,记为E2；
第十一层到第十五层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第十一层的输入是C5，最终输出矩阵为1*1*256,记为E3；
第十六层是连接层，将E1、E2、E3连接，输出矩阵为1*1*256；
第十七层是卷积层，卷积核的尺寸为1*1*2，步长为1，该层使用SAME模式填充，输出矩阵为1*1*2；
第十八层是Flatten层，输入矩阵为大小为2。
优选地，深度卷积神经网络是通过如下步骤训练得到：
(1)获取数据集，将其发送到放射科专家，并获取放射科专家标注后的数据集；
(2)对标注后的数据集进行预处理，以得到预处理后的数据集；
(3)使用K-means聚类算法对步骤(1)标注后的数据集进行统计，以获取9个最能代表数据集中超声胎儿对应部位切面中关键结构的长宽大小值，将其设置为深度卷积神经网络中的锚点；
(4)将预处理后的数据集中的训练集部分分批次输入深度卷积神经网络中由骨干网Darknet-53、特征交互层和目标检测子网顺次连接所组成的目标检测分支中，以获得目标检测分支的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对目标检测子网的损失函数中，以获取损失值。
(5)使用Adam算法和步骤(4)得到的损失值对深度卷积神经网络中目标检测分支的损失函数进行优化，以达到逐步更新目标检测分支网络中参数的目的；
(6)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(4)和步骤(5)，直到目标检测分支收敛到最佳状态为止；
(7)取(6)中训练好的目标检测分支中的骨干网Darknet-53和特征交互层两部分的权重，以迁移学习的方式初始化深度卷积神经网络中由骨干网Darknet-53、特征交互层和分类子网顺次连接组成的网络分类分支中的骨干网Darknet-53和特征交互层部分，然后固定网络分类分支中骨干网Darknet-53的权重，使其不参与网络分类分支的训练(即在网络分类分支训练过程中保持不变)；
(8)使用步骤(2)得到的预处理后的数据集中的训练集部分，将其分批次送入到步骤(7)中设置好的网络分类分支，以获得网络分类分支的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到网络分类分支的损失函数中，以获取损失值；
(9)使用Adam算法和步骤(8)得到的损失值对深度卷积神经中网络分类分支的损失函数进行优化，以达到逐步更新网络分类分支中非骨干网Darknet-53部分的参数的目的。
(10)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(8)和步骤(9)，直到网络分类分支收敛到最佳状态为止；
(11)将步骤(6)中训练得到的目标检测分支的模型权重和步骤(10)中训练得到的网络分类分支的模型权重加载到整个深度卷积神经网络中，并使用步骤(2)中预处理后的数据集中的训练集部分验证整个深度卷积神经网络的收敛情况。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明是全自动化智能化的，在训练完成后将不再需要人工干预，因此能解决现有人工质量控制方法由于需要消耗大量的人力和物力，导致在实际临床中难以落实质量控制的问题。
(2)由于本发明中确定胎儿各部位切面图像是相应部位的标准胎儿超声切面图像还是非标准胎儿超声切面图像，是基于统一的质量控制标准(即预先建立的重合度关联表、以及组织-得分映射表)，因此质量控制的结果具有一致性，从而能够有效解决现有人工质量控制方法中由于不同医师对胎儿各部位切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题。
(3)由于本发明学习阶段所使用的样本均是由超声医师根据临床经验遴选和精确标注，所以本发明能够学习到最有经验的超声医师的知识，从而能够保证本发明方法能获得标准且质量好的胎儿各部位切面图像。
(4)由于本发明方法能够直接得出中晚孕期胎儿的各部位切面图像是否是相应部位的标准切面图像，以及相应部位的非标准切面图像中各个关键结构的得分情况，并指出该部位切面图像是相应部位非标准切面图像的原因，该结果具备客观性和说服性，且得到的相应部位的非标准切面图像中存在的低得分的情况也有助于超声医师及时改进其专业技能、严格把控超声检测质量，并减少或避免不专业的操作。
(5)本发明能够辅助超声医师遴选出更加标准、质量更高的胎儿近40个部位(包括颅脑切面、丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、双眼球水平横切面、鼻唇冠状切面等)的切面图像、
附图说明
图1是本发明对中晚孕期胎儿的超声切面图像进行质量控制的方法的流程图；
图2是本发明方法的步骤(3)中使用的深度卷积神经网络的架构图。
图3是本发明方法的步骤(3)得到的胎儿颅脑部位切面图像中各个关键结构的示意图。
图4(a)至(c)分别是本发明方法对三帧胎儿颅脑部位切面图像进行处理后，最终得到的三个质量控制结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基本思路在于提供一种对中晚孕期胎儿的各个部位(总共有接近40个部位)的超声切面图像进行质量控制的方法，利用计算机学习中晚孕期胎儿各个部位的切面图像中包含的超声专家经验知识，然后结合超声医师专家团队制定的针对中晚孕期胎儿的各个部位切面图像质量控制标准，做出详细的质量评估报告；本发明还使用深度学习网络，对中晚孕期胎儿的各个部位切面图像图片进行训练学习，然后对新的各个部位切面图像进行推理，判断新的各个部位切面图像是否是标准切面，并对检测结果做出评分，如果判定该某部位切面图像不是相应部位的标准胎儿超声切面图像，则提供详细的该某部位切面图像不是相应部位标准胎儿超声切面图像的原因。
如图1所示，本发明提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法，包括以下步骤：
(1)获取胎儿某部位切面图像；
具体而言，胎儿某部位切面图像是从市场上主流厂商(包括三星、开立、西门子等)超声设备中获取的。
本步骤中的某部位切面，可以是丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、最大羊水池切面，其中丘脑、大脑、脑室、小脑等多个结构构成颅脑部位。
(2)对步骤(1)获取的胎儿某部位切面图像进行预处理操作，以得到预处理胎儿某部位切面图像。
本步骤包括以下子步骤：
(2-1)删除该胎儿某部位切面图像中与超声设备参数相关的冗余信息，对删除冗余信息后的胎儿某部位切面图像的长宽大小不是32倍数的，对该胎儿某部位切面图像进行补边处理(即补充黑色边缘)，使其长宽大小变为32的倍数，将补边后的胎儿某部位切面图像缩放为960x736像素大小，并使用线性函数对缩放后的胎儿某部位切面图像进行归一化处理，以得到归一化后的胎儿某部位切面图像；
(2-2)对步骤(2-1)归一化后的胎儿某部位切面图像进行随机增强操作，以得到随机增强后的胎儿某部位切面图像；
具体而言，增强操作可以是以不超过10度的随机旋转，垂直翻转、边缘镜像填充方式的随机缩放(缩放范围不超过对应长宽的2％)、小范围程度的亮度随机扰动中的一种操作或任意多种组合的操作，所有这些增强后的图片构成预处理后的数据集。
(3)将步骤(2)得到的预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中，以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标；
具体而言，本步骤中得到的胎儿某部位切面图像的类别包括标准胎儿超声切面图像和非标准胎儿超声切面图像。
当胎儿某部位切面图像为胎儿颅脑部位切面图像时，本步骤中得到的关键结构包括外侧沟(lateral sulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation of septum pellucidum，简称CSP)、第三脑室(Thirdventricle，简称TV)、脑中线(Brain middle，简称BM)、以及颅骨(Skull，简称S)，如图3中所示。
(4)对于步骤(3)中得到的标准胎儿超声切面图像，直接输出“某部位切面标准”，并为该标准胎儿超声切面图像设置分数10；而对步骤(3)中得到的非标准胎儿超声切面图像，直接输出“某部位切面非标准”结果，根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果，其中该质量评估报告说明了该胎儿某部位切面图像是非标准胎儿超声切面图像的原因。
具体而言，当胎儿某部位切面图像为胎儿颅脑部位切面图像时，本步骤中根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果这一过程具体为：
(4-1)判断步骤(3)中得到的该胎儿颅脑部位切面图像中包含的关键结构中是否包括BM，如果包括则进入步骤(4-2)，否则为该胎儿颅脑部位切面图像设置分数0，并生成该胎儿颅脑部位切面图像的质量评估报告。然后过程结束；
(4-2)获取该胎儿颅脑部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与BM的重合度，并从该胎儿颅脑部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构。
具体而言，本发明中重合度的标准是从预先建立好的重合度关联表(如下所示)中确定的，落入该重合度关联表中对应范围的重合度，才是符合标准的。
重合度关联表
Figure BDA0002199844200000141
例如，如果本步骤中得到的CSP和BM的重合度是80％，该重合度是落入上表的范围(即76％到99.99％)，说明该重合度满足标准。
(4-3)判断步骤(4-2)处理后的该胎儿颅脑部位切面图像中包含的关键结构中是否包括LS，如果包括则进入步骤(4-4)，否则直接进入步骤(4-5)；
(4-4)获取步骤(4-3)处理后的该胎儿颅脑部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与LS的重合度，并从该胎儿颅脑部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤(4-5)；
具体而言，本发明中重合度的标准也是从上述重合度关联表中确定的，落入该重合度关联表中对应范围的重合度，才是符合标准的。
(4-5)根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿颅脑部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿颅脑部位切面图像的分数，并为该胎儿颅脑部位切面图像生成质量评估报告，该胎儿颅脑部位切面图像的分数和质量评估报告共同构成最终的质量控制结果，如图4(a)至(c)所示。
从图4(a)中可以看出，该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像，最终输出的包括“颅脑切面非标准”和质量控制结果，该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(图中是4分)、以及质量评估报告，该质量评估报告中具体指明了该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像的原因(即各个关键结构所对应的分数)。
从图4(b)中可以看出，该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像，最终输出的包括“颅脑切面非标准”和质量控制结果，该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(图中是7分)、以及质量评估报告，该质量评估报告中具体指明了该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像的原因(即各个关键结构所对应的分数)。
从图4(c)中可以看出，该胎儿颅脑部位切面图像是标准胎儿颅脑部位切面图像，最终输出的包括“颅脑切面标准”和质量控制结果，该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(10分)、以及质量评估报告，该质量评估报告中指明了该胎儿颅脑部位切面图像完全符合颅脑标准切面的标准。
下表为本发明预先建立的组织-得分映射表。
组织-得分映射表
Figure BDA0002199844200000151
如图4(a)至(c)所示，其为本发明方法对三帧胎儿颅脑部位切面图像的进行处理后，最终得到的三个质量控制结果，可以看出，第一帧胎儿颅脑部位切面图像的分数为4分，第二帧胎儿颅脑部位切面图像的分数为6分，即第一帧和第二帧都属于非标准的胎儿颅脑部位切面图像，因此针对这两帧，分别生成了质量评估报告；而第三帧胎儿颅脑部位切面图像的分数为10分(即该胎儿颅脑部位切面图像为标准的胎儿颅脑部位切面图像)。
如图2所示，本发明中使用的深度卷积神经网络包括顺次连接的骨干网Darknet-53、特征交互层、目标检测子网和分类子网(其中目标检测子网和分类子网是并列的)。
对于骨干网Darknet-53而言，其网络结构如下：
第一层是输入层，其输入为736*960*3像素的矩阵；
第二层是特征抽取层，其采用的是公开的特征抽取网络Darknet-53，并取特征抽取网络Darknet-53中去掉FC层的最后一层、第152层和92层这三层的输出矩阵作为提取的特征C1、C2、C3，其大小分别是23*30*1024、46*60*512和92*120*256；
对于特征交互层而言，其对骨干网Darknet-53输出的特征C1、C2、C3进行多尺度融合，并输出融合后的3个尺度的特征C4、C5、C6，其中会使用到DarknetConv2D_BN_Leaky型卷积层，该层是由一个卷积层、一个批次正则化层和一个LeakyRelu激活层顺次连接构成，该特征交互层又可细分为具体的24层，其网络结构如下：
第一层是在特征C1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第三层到第四层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第一到二层一一对应；
第五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512，记为T1；
第六层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024，记为C4；
第七层是在T1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第八层是上采样层，设置为2倍上采样，输出矩阵为46*60*256；
第九层是连接层，将第八层的输出和特征C2连接，输出矩阵为46*60*768；
第十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256；
第十一层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512；
第十二层到第十三层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十到十一层一一对应；
第十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256，记为T2；
第十五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512，记为C5；
第十六层是在T2基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为46*60*128；
第十七层是上采样层，设置为2倍上采样，输出矩阵为92*120*128；
第十八层是连接层，第十七层的输出和特征C3连接，输出矩阵为92*120*384；
第十九层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256；
第二十一层到第二十二层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十九到二十层一一对应；
第二十三层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256，记为C6；
对于目标检测子网，其输入矩阵为特征交互层输出的C4、C5、C6，输出D1、D2、D3，分别对应于在三个不同尺度上对胎儿超声对应部位的切面中关键结构的类别和位置坐标预测，共3层，其具体结构如下：
第一层是在C4基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D1；
第二层是在C5基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D2；
第三层是在C6基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D3；
对于分类子网，输入是C4、C5、C6，共18层，具体网络结构如下：
第一层到第三层都是顺次连接的卷积层具有相同的参数和输出大小，且第一层的输入是C4，卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第四层是全局最大池化层，输出矩阵为256；
第五层是Reshape层，输出矩阵为1*1*256,记为E1；
第六层到第十层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第六层的输入是C4，最终输出矩阵为1*1*256,记为E2；
第十一层到第十五层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第十一层的输入是C5，最终输出矩阵为1*1*256,记为E3；
第十六层是连接层，将E1、E2、E3连接，输出矩阵为1*1*256；
第十七层是卷积层，卷积核的尺寸为1*1*2，步长为1，该层使用SAME模式填充，输出矩阵为1*1*2；
第十八层是Flatten层，输入矩阵为大小为2。
本深度卷积神经网络中使用的损失函数主要分为两部分，一部分用于目标检测子网，另一部分用于分类子网，具体如下：
1、针对目标检测子网，其损失函数的公式如下：
Figure BDA0002199844200000201
该损失函数由4个小部分组成：
1.1、对预测的胎儿对应部位的切面图像中关键结构的位置坐标的损失：
Figure BDA0002199844200000202
函数计算了针对输入切面所有被预测的第i个局部区域(其中i＝0，...，S2，S表示局部区域的数量)的第j个边界框预测值(其中j＝0，...，B，B表示针对一个局部区域预测的边界框的数量)的总和；其中
Figure BDA0002199844200000203
表示取值在第i个局部区域中存在目标obj，且局部区域i的第j个边界框预测值对该目标obj的预测有效时为1，否则为0；(xi，yi)表示针对第i个局部区域预测的关键结构的位置坐标，
Figure BDA0002199844200000204
表示实际情况下的实际位置，λcoord是加权常数，其具体取值为5。
1.2、对预测边界框的宽高的损失：
Figure BDA0002199844200000205
其中，(wi，hi)是针对输入切面所有被预测的第i个局部区域预测边界框的宽和高，
Figure BDA0002199844200000211
表示实际情况下的实际目标的边框宽和高。
1.3、对超声胎儿对应部位切面图像中关键结构类别预测的损失：
Figure BDA0002199844200000212
其中，pi(c)表示针对输入切面所有被预测局部区域被预测为含有第i类目标的概率，
Figure BDA0002199844200000213
表示实际情况下目标实际属于第i类的概率(取值为0或1)。
1.4、对每个边界框预测值的置信度的损失：
Figure BDA0002199844200000214
其中，Ci表示第i个针对输入切面所有被预测局部区域的置信度得分，
Figure BDA0002199844200000215
是预测边界框与基本事实的交叉部分，λnoobj，是加权常数本发明中取0.5，用于控制该部分损失函数的加权。
2、针对分类子网，其损失函数公式如下：
Figure BDA0002199844200000216
其中，yj表示第j个中晚孕期胎儿某部位的切面图像样本被预测的标准类型(即该部位标准切面图像还是该部位非标准切面图像)，
Figure BDA0002199844200000217
表示从实际情况下第j个样本标准与否的信息(标准则取值为1，否则取值为0)。
具体地，本步骤中使用的深度卷积神经网络是通过如下步骤训练得到：
(1)获取数据集，将其发送到放射科专家，并获取放射科专家标注后的数据集；
具体而言，数据集是从市场上主流厂商(包括三星、西门子、凯立等)制造的超声设备获取的80000张关于超声胎儿各部位的切面图像，将这些胎儿超声切面图像随机划分为3部分，其中80％作为训练集(Train set)，10％作为验证集(Validation set)，10％作为测试集(Test set)。
(2)对标注后的数据集进行预处理，以得到预处理后的数据集；
具体而言，本步骤的预处理过程和前文中所述的预处理过程完全相同，在此不再赘述。
(3)使用K-means聚类算法对步骤(1)标注后的数据集进行统计，以获取9个最能代表数据集中超声胎儿对应部位切面中关键结构的长宽大小值，设置为深度卷积神经网络中的锚点(anchor)；
(4)使用步骤(2)得到的预处理后的数据集中的训练集部分，将其分批次送入到上述设计的深度卷积神经网络的目标检测分支(由骨干网Darknet-53、特征交互层和目标检测子网顺次连接组成)，以获得目标检测的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对目标检测子网的损失函数中，以获取损失值。
(5)使用Adam算法和步骤(4)得到的损失值对深度卷积神经网络中目标检测分支的损失函数进行优化，以达到逐步更新目标检测分支网络中参数的目的。
(6)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(4)和步骤(5)，直到目标检测分支收敛到最佳状态为止；
该训练过程，共设置了120个周期(实际训练过程中可能因为模型提前达到最佳状态而提前终止)，每个周期迭代次数为5000次，每个批次4张图片。
(7)取(6)中训练好的目标检测分支中的骨干网Darknet-53和特征交互层两部分的权重，以迁移学习的方式初始化网络分类分支(由骨干网Darknet-53、特征交互层和分类子网顺次连接组成)中的骨干网Darknet-53和特征交互层部分，然后固定网络分类分支中骨干网Darknet-53对应的权重，使其不参与网络分类分支的训练(即在网络分类分支训练过程中保持不变)。
(8)使用步骤(2)得到的预处理后的数据集中的训练集部分，将其分批次送入到步骤(7)中设置好的网络分类分支，以获得网络分类分支的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对网络分类分支的损失函数中，以获取损失值。
(9)使用Adam算法和步骤(8)得到的损失值对深度卷积神经中网络分类分支的损失函数进行优化，以达到逐步更新网络分类分支中非骨干网Darknet-53部分的参数的目的。
(10)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(8)和步骤(9)，直到网络分类分支模型收敛到最佳状态为止；
该训练过程，共设置了120个周期(实际训练过程中可能因为模型提前达到最佳状态而提前终止)，每个周期迭代次数为2500次，每个批次8张图片。
(11)将步骤(6)中训练得到的目标检测分支的模型权重和步骤(10)中训练得到的网络分类分支的模型权重加载到整个深度卷积神经网络中，并使用步骤(2)中预处理后的数据集中的训练集部分验证整个深度卷积神经网络的收敛情况。
测试结果
以下通过举例说明的测试来说明本发明的实际效果。
将本发明应用在新的测试集上的颅脑各组织检测的召回率、精准率、以及标准与否的分类准确率如下：
Figure BDA0002199844200000241
从上表可以看出，本发明方法最终能够以高准确率判断出标准的胎儿颅脑部位切面图像是标准的胎儿颅脑部位切面图像还是非标准的胎儿颅脑部位切面图像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，包括以下步骤：
(1)获取胎儿某部位切面图像；
(2)对步骤(1)获取的胎儿某部位切面图像进行预处理操作，以得到预处理胎儿某部位切面图像；
(3)将步骤(2)得到的预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中，以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标；其中当胎儿某部位切面图像为胎儿颅脑部位切面图像时，关键结构包括外侧裂LS、丘脑T、脉络丛CP、透明间隔腔CSP、第三脑室TV、脑中线BM、以及颅骨S；
(4)对于步骤(3)中得到的标准胎儿超声切面图像，直接输出“某部位切面标准”，并为该标准胎儿超声切面图像设置分数10；而对步骤(3)中得到的非标准胎儿超声切面图像，直接输出“某部位切面非标准”结果，根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果，其中该质量评估报告说明了该胎儿某部位切面图像是非标准胎儿超声切面图像的原因，根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果这一过程具体为：
(4-1)判断步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构中是否包括脑中线BM，如果包括则进入步骤(4-2)，否则为该胎儿某部位切面图像设置分数0，并生成该胎儿某部位切面图像的质量评估报告，然后过程结束；
(4-2)获取该胎儿某部位切面图像中包含的关键结构中除脑中线BM和外侧裂LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与脑中线BM的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构；
(4-3)判断步骤(4-2)处理后的该胎儿某部位切面图像中包含的关键结构中是否包括外侧裂LS，如果包括则进入步骤(4-4)，否则直接进入步骤(4-5)；
(4-4)获取步骤(4-3)处理后的该胎儿某部位切面图像中包含的关键结构中除脑中线BM和外侧裂LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与外侧裂LS的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤(4-5)；
(4-5)根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数，并为该胎儿某部位切面图像生成质量评估报告，该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
2.根据权利要求1所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，步骤(2)包括以下子步骤：
(2-1)删除该胎儿某部位切面图像中与超声设备参数相关的冗余信息，对删除冗余信息后的胎儿某部位切面图像的长宽大小不是32倍数的，对该胎儿某部位切面图像进行补边处理，使其长宽大小变为32的倍数，将补边后的胎儿某部位切面图像缩放为960x736像素大小，并使用线性函数对缩放后的胎儿某部位切面图像进行归一化处理，以得到归一化后的胎儿某部位切面图像；
(2-2)对步骤(2-1)归一化后的胎儿某部位切面图像进行随机增强操作，以得到随机增强后的胎儿某部位切面图像。
3.根据权利要求1所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，
胎儿某部位切面包括丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、以及最大羊水池切面，其中丘脑、大脑、脑室、小脑构成颅脑部位。
4.根据权利要求1所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，深度卷积神经网络包括顺次连接的骨干网Darknet-53、特征交互层、目标检测子网和分类子网，其中目标检测子网和分类子网是并列的。
5.根据权利要求4所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，
骨干网Darknet-53的网络结构为：
第一层是输入层，其输入为736*960*3像素的矩阵；
第二层是特征抽取层，其采用的是公开的特征抽取网络Darknet-53，并取特征抽取网络Darknet-53中去掉FC层的最后一层、第152层和92层这三层的输出矩阵作为提取的特征C1、C2、C3，其大小分别是23*30*1024、46*60*512和92*120*256；
特征交互层的网络结构为：
第一层是在特征C1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第二层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024；
第三层到第四层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第一到二层一一对应；
第五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为23*30*512，记为T1；
第六层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*1024，步长为1，该层使用SAME模式填充，输出矩阵为23*30*1024，记为C4；
第七层是在T1基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第八层是上采样层，设置为2倍上采样，输出矩阵为46*60*256；
第九层是连接层，将第八层的输出和特征C2连接，输出矩阵为46*60*768；
第十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256；
第十一层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512；
第十二层到第十三层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十到十一层一一对应；
第十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*256，步长为1，该层使用SAME模式填充，输出矩阵为46*60*256，记为T2；
第十五层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*512，步长为1，该层使用SAME模式填充，输出矩阵为46*60*512，记为C5；
第十六层是在T2基础上的DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为46*60*128；
第十七层是上采样层，设置为2倍上采样，输出矩阵为92*120*128；
第十八层是连接层，第十七层的输出和特征C3连接，输出矩阵为92*120*384；
第十九层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256；
第二十一层到第二十二层是彼此连续的DarknetConv2D_BN_Leaky型卷积层，各层设置，以及输出大小均和第十九到二十层一一对应；
第二十三层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为1*1*128，步长为1，该层使用SAME模式填充，输出矩阵为92*120*128；
第二十四层是DarknetConv2D_BN_Leaky型卷积层，其卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为92*120*256，记为C6。
6.根据权利要求5所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，目标检测子网的输入矩阵为特征交互层输出的C4、C5、C6，输出D1、D2、D3，分别对应于在三个不同尺度上对胎儿超声切面中关键结构的类别和位置坐标预测，共3层，目标检测子网的网络结构为：
第一层是在C4基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D1；
第二层是在C5基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D2；
第三层是在C6基础上的卷积层，其卷积核的尺寸为1*1*36，步长为1，该层使用SAME模式填充，输出矩阵为23*30*36，记为D3。
7.根据权利要求6所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，分类子网的输入是C4、C5、C6，共18层，分类子网的网络结构为：
第一层到第三层都是顺次连接的卷积层具有相同的参数和输出大小，且第一层的输入是C4，卷积核的尺寸为3*3*256，步长为1，该层使用SAME模式填充，输出矩阵为23*30*256；
第四层是全局最大池化层，输出矩阵为256；
第五层是Reshape层，输出矩阵为1*1*256,记为E1；
第六层到第十层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第六层的输入是C4，最终输出矩阵为1*1*256,记为E2；
第十一层到第十五层都是顺次连接的卷积层，其各层设置以及输出矩阵大小均和第一层到第五层一一对应，且第十一层的输入是C5，最终输出矩阵为1*1*256,记为E3；
第十六层是连接层，将E1、E2、E3连接，输出矩阵为1*1*256；
第十七层是卷积层，卷积核的尺寸为1*1*2，步长为1，该层使用SAME模式填充，输出矩阵为1*1*2；
第十八层是Flatten层，输入矩阵为大小为2。
8.根据权利要求1所述的对中晚孕期胎儿的超声切面图像进行质量控制的方法，其特征在于，深度卷积神经网络是通过如下步骤训练得到：
(1)获取数据集，将其发送到放射科专家，并获取放射科专家标注后的数据集；
(2)对标注后的数据集进行预处理，以得到预处理后的数据集；
(3)使用K-means聚类算法对步骤(1)标注后的数据集进行统计，以获取9个最能代表数据集中超声胎儿对应部位切面中关键结构的长宽大小值，将其设置为深度卷积神经网络中的锚点；
(4)将预处理后的数据集中的训练集部分分批次输入深度卷积神经网络中由骨干网Darknet-53、特征交互层和目标检测子网顺次连接所组成的目标检测分支中，以获得目标检测分支的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对目标检测子网的损失函数中，以获取损失值；
(5)使用Adam算法和步骤(4)得到的损失值对深度卷积神经网络中目标检测分支的损失函数进行优化，以达到逐步更新目标检测分支网络中参数的目的；
(6)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(4)和步骤(5)，直到目标检测分支收敛到最佳状态为止；
(7)取(6)中训练好的目标检测分支中的骨干网Darknet-53和特征交互层两部分的权重，以迁移学习的方式初始化深度卷积神经网络中由骨干网Darknet-53、特征交互层和分类子网顺次连接组成的网络分类分支中的骨干网Darknet-53和特征交互层部分，然后固定网络分类分支中骨干网Darknet-53的权重，使其不参与网络分类分支的训练(即在网络分类分支训练过程中保持不变)；
(8)使用步骤(2)得到的预处理后的数据集中的训练集部分，将其分批次送入到步骤(7)中设置好的网络分类分支，以获得网络分类分支的推理输出，将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到网络分类分支的损失函数中，以获取损失值；
(9)使用Adam算法和步骤(8)得到的损失值对深度卷积神经中网络分类分支的损失函数进行优化，以达到逐步更新网络分类分支中非骨干网Darknet-53部分的参数的目的；
(10)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(8)和步骤(9)，直到网络分类分支收敛到最佳状态为止；
(11)将步骤(6)中训练得到的目标检测分支的模型权重和步骤(10)中训练得到的网络分类分支的模型权重加载到整个深度卷积神经网络中，并使用步骤(2)中预处理后的数据集中的训练集部分验证整个深度卷积神经网络的收敛情况。
CN201910861272.3A 2019-09-12 2019-09-12 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 Active CN110464380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910861272.3A CN110464380B (zh) 2019-09-12 2019-09-12 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910861272.3A CN110464380B (zh) 2019-09-12 2019-09-12 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法

Publications (2)

Publication Number Publication Date
CN110464380A CN110464380A (zh) 2019-11-19
CN110464380B true CN110464380B (zh) 2021-10-29

Family

ID=68515733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910861272.3A Active CN110464380B (zh) 2019-09-12 2019-09-12 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法

Country Status (1)

Country Link
CN (1) CN110464380B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人***、超声扫查方法及介质
CN111223092A (zh) * 2020-02-28 2020-06-02 长沙大端信息科技有限公司 胎儿超声切面图像自动质控***及检测方法
CN111326256B (zh) * 2020-02-28 2023-12-29 李胜利 胎儿超声标准切面图像智能识别自我训练学习***及考试方法
CN111462059B (zh) * 2020-03-24 2023-09-29 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN112102230A (zh) * 2020-07-24 2020-12-18 湖南大学 超声切面识别方法、***、计算机设备和存储介质
CN111904469A (zh) * 2020-08-07 2020-11-10 长沙大端信息科技有限公司 可并行处理的心脏切面检测方法及***
CN112070119B (zh) * 2020-08-11 2024-06-14 深圳蓝湘智影科技有限公司 超声切面图像质量控制方法、装置和计算机设备
CN112102244A (zh) * 2020-08-17 2020-12-18 湖南大学 胎儿超声标准切面图像检测方法、计算机设备和存储介质
CN112155603B (zh) * 2020-09-24 2023-06-09 广州爱孕记信息科技有限公司 胎儿结构特征的权重值确定方法及装置
CN112155601B (zh) * 2020-09-24 2022-12-30 广州爱孕记信息科技有限公司 一种胎儿超声图像的成像质量控制的确定方法及装置
CN112241952B (zh) * 2020-10-22 2023-09-05 平安科技（深圳）有限公司 大脑中线识别方法、装置、计算机设备及存储介质
CN112991289B (zh) * 2021-03-10 2024-03-26 深圳市鹭鸣科技有限公司 图像标准切面的处理方法及装置
CN113139956B (zh) * 2021-05-12 2023-04-14 深圳大学 基于语言知识导向的切面识别模型的生成方法及识别方法
CN113393456B (zh) * 2021-07-13 2022-04-19 湖南大学 基于多任务的早孕期胎儿标准切面的自动质量控制方法
CN114782407A (zh) * 2022-05-23 2022-07-22 中山大学附属第一医院 基于卷积神经网络的胎儿超声关键切面识别方法及装置
CN114882019B (zh) * 2022-07-01 2023-02-03 首都医科大学附属北京妇产医院 孕早期或孕中期超声图像标准化质量控制方法、***及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927559A (zh) * 2014-04-17 2014-07-16 深圳大学 超声图像胎儿颜面部标准切面自动识别方法及***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101791231A (zh) * 2010-01-28 2010-08-04 深圳市妇幼保健院 一种从超声图像上自动判断胎儿脑积水的图像处理方法
WO2014155272A1 (en) * 2013-03-28 2014-10-02 Koninklijke Philips N.V. Real-time quality control for acquisition of 3d ultrasound images
CN105078514A (zh) * 2014-04-22 2015-11-25 重庆海扶医疗科技股份有限公司 三维模型的构建方法及装置、图像监控方法及装置
US10905400B2 (en) * 2015-02-23 2021-02-02 Canon Medical Systems Corporation Apparatus and method for optimization of ultrasound images
CN112120736B (zh) * 2015-05-07 2023-04-18 深圳迈瑞生物医疗电子股份有限公司 三维超声成像方法和装置
CN106408566B (zh) * 2016-11-10 2019-09-10 深圳大学 一种胎儿超声图像质量控制方法及***
JP6772112B2 (ja) * 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
CN109833061B (zh) * 2017-11-24 2020-08-04 无锡祥生医疗科技股份有限公司 基于深度学习的优化超声成像***参数的方法
CN107948637A (zh) * 2017-12-14 2018-04-20 上海联影医疗科技有限公司 一种模体图像质量检测方法和***
CN108289221B (zh) * 2018-01-17 2019-08-30 华中科技大学 异常值检测的无参考图像质量评价模型及构建方法
CN109191442B (zh) * 2018-08-28 2021-04-13 深圳大学 超声图像评估及筛选方法和装置
CN109726796A (zh) * 2018-12-03 2019-05-07 三峡大学 一种基于神经网络的养殖场管理方法
CN110033020A (zh) * 2019-03-07 2019-07-19 李胜利 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别***
CN110111329B (zh) * 2019-05-17 2021-05-11 四川大学华西第二医院 一种基于人工智能超声影像检测方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927559A (zh) * 2014-04-17 2014-07-16 深圳大学 超声图像胎儿颜面部标准切面自动识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FETAL FACIAL STANDARD PLANE RECOGNITION VIA VERY DEEP CONVOLUTIONAL NETWORKS;Yu, Zhen;《2016 38TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》;20161231;第627-630页 *

Also Published As

Publication number Publication date
CN110464380A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110464380B (zh) 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
CN107730497B (zh) 一种基于深度迁移学习的血管内斑块属性分析方法
Torrents-Barrena et al. Segmentation and classification in MRI and US fetal imaging: recent trends and future prospects
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断***
CN105760874B (zh) 面向尘肺的ct图像处理***及其ct图像处理方法
CN110047082A (zh) 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及***
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的***及方法
CN111223092A (zh) 胎儿超声切面图像自动质控***及检测方法
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量***
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN111062948A (zh) 一种基于胎儿四腔心切面图像的多组织分割方法
CN110279433A (zh) 一种基于卷积神经网络的胎儿头围自动精确测量方法
CN111798976A (zh) 一种ddh人工智能辅助诊断方法及装置
Diniz et al. Deep learning strategies for ultrasound in pregnancy
CN114795258B (zh) 一种儿童髋关节发育不良诊断***
Hennessey et al. Artificial intelligence in veterinary diagnostic imaging: A literature review
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN113284126A (zh) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN112768065A (zh) 一种基于人工智能的面瘫分级诊断方法、装置
Lin et al. Using deep learning in ultrasound imaging of bicipital peritendinous effusion to grade inflammation severity
Yunchao et al. Application of computer vision and deep learning in breast cancer assisted diagnosis
Dan et al. DeepGA for automatically estimating fetal gestational age through ultrasound imaging
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
CN113889229A (zh) 基于人机结合的医学影像诊断标准的构建方法
CN113393456A (zh) 基于多任务的早孕期胎儿标准切面的自动质量控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211221

Address after: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Patentee after: SOUTHERN MEDICAL University

Patentee after: Hunan University

Address before: 410082 Yuelu District Lushan South Road Lushan Gate, Changsha City, Hunan Province

Patentee before: Li Kenli

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230530

Address after: 518000, 6th Floor, Building A3, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Lanxiang Zhiying Technology Co.,Ltd.

Address before: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Patentee before: SOUTHERN MEDICAL University

Patentee before: HUNAN University

TR01 Transfer of patent right