CN113781439B - 超声视频病灶分割方法及装置 - Google Patents

超声视频病灶分割方法及装置 Download PDF

Info

Publication number
CN113781439B
CN113781439B CN202111065625.2A CN202111065625A CN113781439B CN 113781439 B CN113781439 B CN 113781439B CN 202111065625 A CN202111065625 A CN 202111065625A CN 113781439 B CN113781439 B CN 113781439B
Authority
CN
China
Prior art keywords
image
feature map
focus
lesion
pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111065625.2A
Other languages
English (en)
Other versions
CN113781439A (zh
Inventor
马璐
王东
王立威
张文涛
王子腾
张佳琦
丁佳
胡阳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Yizhun Intelligent Technology Co ltd
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Guangxi Yizhun Intelligent Technology Co ltd
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Yizhun Intelligent Technology Co ltd, Beijing Yizhun Medical AI Co Ltd filed Critical Guangxi Yizhun Intelligent Technology Co ltd
Priority to CN202111065625.2A priority Critical patent/CN113781439B/zh
Publication of CN113781439A publication Critical patent/CN113781439A/zh
Application granted granted Critical
Publication of CN113781439B publication Critical patent/CN113781439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请提供了一种超声视频病灶分割方法及装置；所述方法包括：从超声影像中获取病灶的图像；利用空洞卷积网络对所述病灶的图像进行特征提取，得到病灶的图像的特征图；基于金字塔池化模块获取所述病灶的图像的特征图的语境信息，得到金字塔特征图；基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割。

Description

超声视频病灶分割方法及装置
本申请是申请号为202011333447.2，申请日为2020年11月25日，发明名称为：一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法的分案申请。
技术领域
本申请涉及医学图像领域，特别涉及一种超声视频病灶分割方法及装置。
背景技术
乳腺癌即乳腺恶性肿瘤，根据国家癌症中心公布的数据显示，乳腺癌位居我国女性恶性肿瘤发病第1位，严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《NEngl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
乳腺超声技术具有无创、快捷、重复性强等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性，可适用于任何年龄，尤其是妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
但我国的超声检查却面临两大难题：一是超声医生培养难，医生在能够正确解读超声图像之前，需要经过大量的培训，且学***衡，已经成为临床实践中亟待解决的主要问题之一。
医学影像的全面数字化和计算机技术的发展，为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis，CAD)***。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能上很快到达瓶颈，其临床价值没有得到充分肯定。
近几年，随着深度学习算法的出现和成熟，AI技术在医学影像中的应用逐步走向了更高的层面，为突破传统CAD***的准确性瓶颈带来了可能。与传统CAD不同的是，深度学习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明了这一点。例如liu及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S-DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过了人类医生。但目前这些探索大多都还着眼于二维影像的结节，对于临床实际应用场景来讲，一是基于二维图的辅助检测对临床的帮助非常有限，通常需要医生手动截图，再将图像传给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
关于为什么目前极少有关于乳腺超声动态视频的探索？首先是视频数据缺乏，通常的超声检查只会保留个别二维图，而不会保存视频影像，所以乳腺超声的视频数据很难获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质量标注的数据的，而视频以每秒30帧来计算，每个检查大约十分钟，所以每个病人就要标注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设计模型。
有鉴于此，提出本发明。
发明内容
针对现有乳腺超声的检测和分割研究大多只着眼于肿块，且多为基于二维影像的研究，而临床诊断通常需要结合前后帧的信息综合判断，所以基于二维影像的人工智能临床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，对临床帮助严重不足的现状，本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和分割的装置、***及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊问题，提高医生诊断效率。
为实现上述目的，本发明第一方面提供了一种超声视频病灶分割方法，所述方法包括：从超声影像中获取病灶的图像；利用空洞卷积网络对所述病灶的图像进行特征提取，得到病灶的图像的特征图；基于金字塔池化模块获取所述病灶的图像的特征图的语境信息，得到金字塔特征图；基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割。
在一些方式中，所述基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割，包括：
对每个所述金字塔特征图进行上采样，经所述上采样得到的特征图与所述病灶的图像的特征图的尺寸相同；
将经所述上采样得到的特征图与所述病灶的图像的特征图执行连结操作，得到全局特征图；
利用卷积层对所述全局特征图进行处理，得到从所述超声影像中分割的所述病灶。
在一些方式中，所述基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割，包括：
对每个所述金字塔特征图进行上采样，经所述上采样得到的特征图与所述病灶的图像的特征图的尺寸相同；
将经所述上采样得到的特征图与所述病灶的图像的特征图执行连结操作，得到全局特征图；
利用卷积层对所述全局特征图进行处理，得到从所述超声影像中分割的所述病灶。
在一些方式中，所述将所述病灶的图像从所述超声影像中分割之后，所述方法还包括：根据形态学方法确定分割后的所述病灶的长径和短径。
在一些方式中，所述病灶的图像的特征图的大小为所述病灶的图像的八分之一。
在一些方式中，所述金字塔特征图中特征的维度为所述病灶的图像的特征图的维度的四分之一。
本发明另一方面提供了一种超声视频病灶分割装置，所述装置包括：
病灶分割模块，用于从超声影像中获取病灶的图像；
利用空洞卷积网络对所述病灶的图像进行特征提取，得到病灶的图像的特征图；
基于金字塔池化模块获取所述病灶的图像的特征图的语境信息，得到金字塔特征图；
基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割。
在一些方式中，所述病灶分割模块，用于对每个所述金字塔特征图进行上采样，经所述上采样得到的特征图与所述病灶的图像的特征图的尺寸相同；
将经所述上采样得到的特征图与所述病灶的图像的特征图执行连结操作，得到全局特征图；
利用卷积层对所述全局特征图进行处理，得到从所述超声影像中分割的所述病灶。
在一些方式中，所述病灶分割模块，用于根据形态学方法确定分割后的所述病灶的长径和短径。
在一些方式中，所述病灶的图像的特征图的大小为所述病灶的图像的八分之一。
在一些方式中，所述金字塔特征图中特征的维度为所述病灶的图像的特征图的维度的四分之一。
本发明第三方面还提供了一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现上述方法。
本发明第四方面还提供了一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述方法。
本发明具有如下突出的技术效果：
1.本发明无需改动超声机，无需改变医生现有诊断流程，即可提供实时的辅助检测分割结果；
2.本发明可一站式解决乳腺超声影像所能涉及到的所有病灶，包括结节、低回声区、结构紊乱区、***、导管异常(导管扩张以及导管内异物)和钙化等；
3.本发明基于动态乳腺超声视频的智能检测和分割***，可以在扫描病人的同时自动实时检测病灶，并对检测的病灶进行自动智能分割，可以在保证高准确率的情况下，达到每秒计算50次的计算效率，节约医生操作超声机进行测量病灶的时间，提高效率，完全满足实时需求；
4.采用速度和精度兼顾的fasterrcnn网络，在达到实时效果的同时，获得良好的精度效果；
5.通过数据扩增的方式，解决由于医学数据量过小导致的过拟合问题；
6.在充分观察学习医生检测病灶的流程和方法的基础上，引入了LSTM模块进行时间维度信息的提取，有效地利用前后帧信息，大大降低了检测的假阳性；
7.通过引入注意力机制，提高检出率的同时，降低假阳性；
8.通过对数据集分布的控制以及乳腺超声影像的预处理，可以适应不同机型、不同参数设置导致的超声影像质量层次不齐的情况，鲁棒性好表现稳定。
总体来讲，本发明可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。
附图说明
图1示出了本发明基于人工智能的动态乳腺超声视频全病灶实时检测和分割的***；
图2示出了Faster RCNN的网络结构；
图3示出了利用递归特征金字塔RFP网络进行特征提取；
图4示出了利用Deformable convolutional network学习特征偏移；
图5示出了利用LSTM网络提取时间维度信息；
图6示出了利用注意力机制获得病灶的分类以及框的回归；
图7示出了将病灶的框bounding box进行病灶分割的流程图；
图8是对超声图像进行有效区域分割的结果图；
图9是对超声图像进行数据归一化处理的结果图；
图10是对超声突变进行左右反转和上下反转的效果图；
图11是本发明检测的FROC图；
图12－图17是对超声图像进行检测分割的效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
定义
除非在下文中另有定义，本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
如本文中所使用，术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的，且不排除其它未列举的元素或方法步骤。
在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”，“所述”，包括该名词的复数形式。
本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10％，优选±5％。
此外，说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类，是用于区分相似的元素，不是描述顺序或时间次序必须的。应理解，如此应用的术语在适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其它顺序实施。
本发明实施例中，提供了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割的***。如图1所示，该***至少包含一台超声机、超声机显示器、AI服务器、AI显示器。其中，基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相连接，AI服务器就可以实时接收超声动态视频信号，进行实时分析，最后将分析结果通过AI显示器实时展示给医生。
基于AI的动态乳腺超声视频检测和分割装置至少包含：(1)***鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
(1)***鲁棒性设计模块
深度学习是基于大数据的，但一直以来，人们更重视模型架构的设计，而对数据的重视程度不足，越来越多的研究证明，数据的质量和数量对模型最终的表现至关重要，分布合理的高质量数据集能够大大提升模型的表现，为了提高本发明的准确率以及对不同机型、不同参数导致的不同质量超声影像的鲁棒性，提升后续检出和分割的效率和准确率，本发明针对性的设计了数据集，具体要求如下：
1)不同机型不同参数的数据按照1：1的比例进行采集。
2)正常和异常(包括结节、低回声区、结构紊乱区、***、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1：1的比例进行采集。
3)异常数据中各类型(包括结节、低回声区、结构紊乱区、***、导管异常(导管扩张以及导管内异物)和钙化)数据按照1：1的比例进行采集。
此模块的设计目的：一是为了使***能够自动适应不同机型、不同参数设置下的不同质量的超声影像，同时提升后续检出和分割的效率和准确率；二是为了使本产品涵盖超声影像设计的所有类型病灶。
(2)数据预处理模块
为了提高计算效率、减少计算耗时，加快模型收敛速度，节约训练时间，同时提高模型精度，本发明设计了数据预处理模块，主要包括：
2.1有效区域分割模块
采集的超声视频影像中除了包含真正有意义的超声图像还有很多对诊断病灶无意义的部分，而这些对诊断病灶无意义的图像部分会增加计算量降低计算效率，所以本发明设计了有效区域分割模块，具体为：
1)根据不同机型设定有效区域范围；
2)读取视频影像，对每一帧影像，按照对应的有效区域范围，将图像分割出来，用于参与后续处理与训练。
图8为对超声图像进行有效区域分割的结果图。
2.2数据归一化模块
不同的超声机参数，可能会导致图像明暗度差异较大，本发明采用Max/Min归一化方法，将数据映射到指定的范围，缩小由于不同参数带来的差异，还可以简化计算、加快模型收敛的速度、提高模型的精度。具体做法如下：读取视频影像，对每一帧影像进行归一化；
5)对单帧影像遍历整幅图，找到灰度值的最大值以及最小值；
根据公式对每一个像素的灰度值计算获得其归一化之后的值。图9为对超声图像进行数据归一化处理的结果图。
(3)数据扩增模块
由于医疗数据的特殊性，其获取、标注不仅难度大而且成本特别高，所以医疗影像的数据量往往很难像自然图像一样达到百万或者几十万，甚至过万都特别艰难，这种情况下对于基于大数据的深度学习来说，通过数据扩增的方式来增加训练集样本，可以大大缓解由于数据量不足导致的模型过拟合的问题，具体方法如下：
1)按顺序读取视频。
2)为当前视频随机选择是否反转。
3)若当前视频选择反转，继续随机选择反转方法(包括左反转和上下反转)
图10为对超声突变进行左右反转和上下反转的效果图。
(4)病灶检测模块
这一阶段主要是利用病人的超声视频影像进行检测和分割的模型训练，主要包括以下几部分：
i.平台
本发明基于Detectron2平台，Detectron2是FAIR在2018年初公开的目标检测平台，基于PyTorch实现，以maskrcnn基准测试作为起点。通过全新的模块化设计，Detectron2变得更灵活且易于扩展，它能够在单个或多个CPU服务器上提供更快速的训练速度，目前包含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
ii.框架
为了提高计算速度同时达到比较理想的计算精度，本发明采用了在速度和精度上表现都很出色的二阶段检测框架FasterRCNN(图2所示)。
iii.模型改进
因为超声视频影像的特殊性，它不同于一般的静态医疗影像如CT、MR等，也不同于普通的自然视频影像，所以目前公开的框架并不能达到实时的高精度的检测效果，因此本发明在公开的框架上进行了很多创新性的改动，最终使得模型能够在乳腺超声视频影像的检测任务中达到实时的高精度检测的效果，其具体步骤如下：
1)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取，将连续的多幅超声影像分别输入递归特征金字塔RFP网络，进行特征提取，生成FeatureMap，这样做可以增加模型对尺度的鲁棒性并提高模型精度，首先因为低层的特征语义信息比较少，但是目标位置准确，对小目标更敏感，高层的特征语义信息比较丰富，但是目标位置比较粗略，对大目标更敏感，通过利用不同尺度的特征同步检测，可以大大提高模型的尺度的鲁棒性；其次RFP在FPN的基础上，将FPN层中的额外反馈连接加入到自下而上的主干层中，增加了网络对图片的关注次数，可以提高检出率。具体操作如下：
a.bottom-up网络:对单帧影像，首先将输入图像进行自下而上的特征卷积，如下图RFP部分的左侧，对输入图像采用3*3的卷积核进行卷积操作，得到feature map；
b.Top-down网络:对高层特征逐个进行2倍上采样，将与采样后的高层特征同尺度的bottom-up特征进行1*1卷积降低维度，将降低维度后的bottom-up特征与同尺度的top-down特征对应元素相加，得到新的feature map；
c.将top-down中的额外反馈连接加入到bottom-up网络中(如图3中的虚线部分)。
2)利用Deformable convolutional network学习特征偏移
Deformable convolutional network通过学习偏移，打破了传统框只能是矩形的限制，可以提升当前CNN网络对不规则物体的空间信息建模能力，从而提高检测的精度。具体做法如下(参见图4)：
a.对于每一个feature map上的每个位置学习偏移oFFSet，选择kernel为3*3，考虑xy方向都可能存在偏移，所以channel为2*3*3＝18，即对原始feature map通过18*3*3的卷积，获得偏移map offsets；
b.对原始feature map做deformable conv，并且传入oFFSets，获得新的featuremap，参考公式如下：
Figure BDA0003256890110000111
其中是P0中心点，R为3x3大小的卷积核采样网格点：{(-1，-1)，(-1，0)，...，(0，1)，(1，])}Pn为属于R的3x3的kernel的9个位置，ΔPn为偏移量。
本阶段完成后每一个feature map会生成一个新的feature map。
3)利用LSTM网络提取时间维度信息
根据大量观察、学习医生的诊断逻辑后，发现仅仅凭借单幅超声影像来判断是否是病灶会造成非常多的假阳性，医生通常要观察前后帧信息之后，综合前后帧信息去判断是否为病灶。因此，本发明加入了LSTM去提取时间维度的前后帧信息，如果在原图上直接进行LSTM会导致运算速度慢，达不到实时效果，所以本发明对提取后的feature map进行LSTM网络提取时间维度信息，具体做法如下(参见图5)：
将上一阶段获得的连续的feature map作为LSTM网络的输入，得到新的featuremap。
4)加入注意力机制提高检测精度
接下来利用上一阶段的feature map，输入faster rcnn网络的rpn网络生成proposal，然后通过ROIpooling生成统一尺寸的proposal feature map，然后将前后连续多幅图像的proposal feature map通过权重累加生成最终的feature map，得到病灶的分类以及框的回归(参见图6)。
图11为本发明检测的FROC图，横轴为假阳性率，即：FPR＝FP/(FP+TN)；纵轴为敏感度，即：recall＝TP/(TP+FN)。(True Positive(TP)被模型预测为正的正样本；TrueNegative(TN)被模型预测为负的负样本；False Positive(FP)被模型预测为正的负样本；False Negative(FN)被模型预测为负的正样本)
(5)病灶分割模块
利用第四阶段生成的病灶的框bounding box进行病灶分割，具体方法如下(参见图7)：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图。将融合得到的全局特征与原始特征图连接起来。
4)通过一层卷积层生成最终的分割图。
5)根据形态学方法获得病灶的长短径。
图12-图17为本发明第四和第五阶段的检测分割效果图，如图所示，不管是大病灶还是小病灶，良性病灶还是恶性病灶，本发明都能达到非常好的检出以及分割效果。

Claims (12)

1.一种超声视频病灶分割方法，其特征在于，所述方法包括：
从超声影像中获取病灶的图像；
利用空洞卷积网络对所述病灶的图像进行特征提取，得到病灶的图像的特征图；
基于金字塔池化模块获取所述病灶的图像的特征图的语境信息，得到金字塔特征图；
基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割。
2.根据权利要求1所述的方法，其特征在于，所述基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割，包括：
对每个所述金字塔特征图进行上采样，经所述上采样得到的特征图与所述病灶的图像的特征图的尺寸相同；
将经所述上采样得到的特征图与所述病灶的图像的特征图执行连结操作，得到全局特征图；
利用卷积层对所述全局特征图进行处理，得到从所述超声影像中分割的所述病灶。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述病灶的图像从所述超声影像中分割之后，所述方法还包括：
根据形态学方法确定分割后的所述病灶的长径和短径。
4.根据权利要求1所述的方法，其特征在于，所述病灶的图像的特征图的大小为所述病灶的图像的八分之一。
5.根据权利要求1所述的方法，其特征在于，所述金字塔特征图中特征的维度为所述病灶的图像的特征图的维度的四分之一。
6.一种超声视频病灶分割装置，其特征在于，所述装置包括：
病灶分割模块，用于从超声影像中获取病灶的图像；
利用空洞卷积网络对所述病灶的图像进行特征提取，得到病灶的图像的特征图；
基于金字塔池化模块获取所述病灶的图像的特征图的语境信息，得到金字塔特征图；
基于所述金字塔特征图和所述病灶的图像的特征图，将所述病灶的图像从所述超声影像中分割。
7.根据权利要求6所述的装置，其特征在于，所述病灶分割模块，用于对每个所述金字塔特征图进行上采样，经所述上采样得到的特征图与所述病灶的图像的特征图的尺寸相同；
将经所述上采样得到的特征图与所述病灶的图像的特征图执行连结操作，得到全局特征图；
利用卷积层对所述全局特征图进行处理，得到从所述超声影像中分割的所述病灶。
8.根据权利要求6或7所述的装置，其特征在于，所述病灶分割模块，用于根据形态学方法确定分割后的所述病灶的长径和短径。
9.根据权利要求6所述的装置，其特征在于，所述病灶的图像的特征图的大小为所述病灶的图像的八分之一。
10.根据权利要求6所述的装置，其特征在于，所述金字塔特征图中特征的维度为所述病灶的图像的特征图的维度的四分之一。
11.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现权利要求1-5中任一项所述方法。
12.一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5中任一项所述方法。
CN202111065625.2A 2020-11-25 2020-11-25 超声视频病灶分割方法及装置 Active CN113781439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111065625.2A CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011333447.2A CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN202111065625.2A CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011333447.2A Division CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法

Publications (2)

Publication Number Publication Date
CN113781439A CN113781439A (zh) 2021-12-10
CN113781439B true CN113781439B (zh) 2022-07-29

Family

ID=74738761

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011333447.2A Active CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN202111065766.4A Active CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置
CN202111065625.2A Active CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202011333447.2A Active CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN202111065766.4A Active CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置

Country Status (1)

Country Link
CN (3) CN112446862B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239951B (zh) * 2021-03-26 2024-01-30 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113344028A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 乳腺超声序列图像分类方法及装置
CN113344855A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质
CN113902670B (zh) * 2021-08-31 2022-07-29 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN114091507B (zh) * 2021-09-02 2022-07-29 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN113855079A (zh) * 2021-09-17 2021-12-31 上海仰和华健人工智能科技有限公司 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法
CN114155193B (zh) * 2021-10-27 2022-07-26 北京医准智能科技有限公司 一种基于特征强化的血管分割方法及装置
CN114764812A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种病灶区域分割装置
CN114764811A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种基于动态超声视频的病灶区域实时分割装置
CN116309585B (zh) * 2023-05-22 2023-08-22 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及***

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078005A2 (en) * 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和***
US10140710B2 (en) * 2017-03-09 2018-11-27 Kevin Augustus Kreeger Automatic key frame detection
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺***状癌超声图像识别方法及***
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
CN108364006B (zh) * 2018-01-17 2022-03-08 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108399419B (zh) * 2018-01-25 2021-02-19 华南理工大学 基于二维递归网络的自然场景图像中中文文本识别方法
CN108665456B (zh) * 2018-05-15 2022-01-28 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及***
CN109191442B (zh) * 2018-08-28 2021-04-13 深圳大学 超声图像评估及筛选方法和装置
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及***
CN110288597B (zh) * 2019-07-01 2021-04-02 哈尔滨工业大学 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN110490863B (zh) * 2019-08-22 2022-02-08 北京红云智胜科技有限公司 基于深度学习的检测冠脉造影有无完全闭塞病变的***
CN110674845B (zh) * 2019-08-28 2022-05-31 电子科技大学 一种结合多感受野注意与特征再校准的菜品识别方法
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110705457B (zh) * 2019-09-29 2024-01-19 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111145170B (zh) * 2019-12-31 2022-04-22 电子科技大学 一种基于深度学习的医学影像分割方法
CN111210443B (zh) * 2020-01-03 2022-09-13 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111227864B (zh) * 2020-01-12 2023-06-09 刘涛 使用超声图像利用计算机视觉进行病灶检测的装置
CN111462049B (zh) * 2020-03-09 2022-05-17 西南交通大学 一种乳腺超声造影视频中病灶区形态自动标注方法
CN111539930B (zh) * 2020-04-21 2022-06-21 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111695592A (zh) * 2020-04-27 2020-09-22 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备
CN111667459B (zh) * 2020-04-30 2023-08-29 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN111784701B (zh) * 2020-06-10 2024-05-10 深圳市人民医院 结合边界特征增强和多尺度信息的超声图像分割方法及***
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
AU2020101581A4 (en) * 2020-07-31 2020-09-17 Ampavathi, Anusha MS Lymph node metastases detection from ct images using deep learning
CN111709950B (zh) * 2020-08-20 2020-11-06 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法
CN112132833B (zh) * 2020-08-25 2024-03-26 沈阳工业大学 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN112489060B (zh) * 2020-12-07 2022-05-10 北京医准智能科技有限公司 一种用于肺炎病灶分割的***及方法

Also Published As

Publication number Publication date
CN113781440B (zh) 2022-07-29
CN112446862A (zh) 2021-03-05
CN113781440A (zh) 2021-12-10
CN112446862B (zh) 2021-08-10
CN113781439A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113781439B (zh) 超声视频病灶分割方法及装置
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Su et al. Lung nodule detection based on faster R-CNN framework
US10614573B2 (en) Method for automatically recognizing liver tumor types in ultrasound images
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
TWI750583B (zh) 醫學圖像分割方法、裝置、系統及圖像分割方法
CN105913432B (zh) 基于ct序列图像的主动脉提取方法及装置
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及***
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN105654490A (zh) 一种基于超声弹性图像的病变区域提取方法及装置
CN111583385B (zh) 一种可变形数字人解剖学模型的个性化变形方法及***
CN111429457B (zh) 图像局部区域亮度智能评价方法、装置、设备及介质
CN110648333B (zh) 基于中智学理论的乳腺超声视频图像实时分割***
Mi et al. Detecting carotid intima-media from small-sample ultrasound images
Mamatha Detection of Brain Tumor in MR images using hybrid Fuzzy C-mean clustering with graph cut segmentation technique
CN116309662B (zh) 图像处理方法、装置、设备及存储介质
CN117036302B (zh) 主动脉瓣膜钙化程度的确定方法和***
Simangunsong et al. Pattern Recognition in Medical Images Through Innovative Edge Detection with Robert's Method
Mohamed et al. Advancing Cardiac Image Processing: An Innovative Model Utilizing Canny Edge Detection For Enhanced Diagnostics
Xie Design and Development of Medical Image Processing Experiment System Based on IDL Language.
Yasrab et al. Automating the Human Action of First-Trimester Biometry Measurement from Real-World Freehand Ultrasound
Pradeeba et al. Lung Region Segmentation using Image Data Analysis
Filist Two-Dimensional Walsh Spectral Transform in Problems of Automated Analysis of Ultrasound Images
Wu et al. B-ultrasound guided venipuncture vascular recognition system based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Patentee after: Guangxi Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

Patentee before: Guangxi Yizhun Intelligent Technology Co.,Ltd.