CN112562819B - 一种针对先心病的超声多切面数据的报告生成方法 - Google Patents

一种针对先心病的超声多切面数据的报告生成方法 Download PDF

Info

Publication number
CN112562819B
CN112562819B CN202011454009.1A CN202011454009A CN112562819B CN 112562819 B CN112562819 B CN 112562819B CN 202011454009 A CN202011454009 A CN 202011454009A CN 112562819 B CN112562819 B CN 112562819B
Authority
CN
China
Prior art keywords
ultrasonic image
ultrasonic
convolution
graph
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011454009.1A
Other languages
English (en)
Other versions
CN112562819A (zh
Inventor
高跃
陈自强
魏宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011454009.1A priority Critical patent/CN112562819B/zh
Publication of CN112562819A publication Critical patent/CN112562819A/zh
Application granted granted Critical
Publication of CN112562819B publication Critical patent/CN112562819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种针对先心病的超声多切面数据的报告生成方法，其特征在于包括以下步骤：步骤1、完成训练数据及预处理；步骤2、利用超声图像特征提取器，完成超声图像特征提取，在超声图像的特征提取器中，采用残差结构来传递浅层的纹理、颜色信息，采用了4个卷积模块，每个卷积模块内部2个卷积层、2个批标准化层和2个激活函数；步骤3、设置病理标签图；步骤4、采用多帧超声图像注意力机制，提取信息；步骤5、建立多帧超声图像报告生成模型，基于先心病超声的多切面报告生成模型的结构，该模型建立在临床的基础需求上，由于对网络速度的要求，没有选用非常复杂的网络结构，而依照这一标准构建的模型也达到了临床要求的精度标准。

Description

一种针对先心病的超声多切面数据的报告生成方法
技术领域
本发明涉及到利用多尺度检测网络、多尺度特征提取模块和焦点区域检测模块分类的方法，尤其涉及一种针对先心病的超声多切面数据的报告生成方法。
背景技术
先天性心脏病是中国和其他许多国家新生儿中最常见的疾病之一。先天性心脏病占我国出生婴儿的8‰-12‰，意味着我国每年有12万～20万的先天性心脏病患儿出生，其中复杂的、目前治疗手段尚不能达到良好治疗效果的或易出生后早期死亡的先天性心脏病约占20％，是新生儿及儿童期的主要死亡原因之一。
虽然先天性心脏病十分常见，但目前对新生儿和儿童的心脏超声检查水平参差不齐，对超声图像的处理能力亟待提高。因此，相关领域的专家和学者提出了使用人工智能对相关超声图像进行处理。Perrin等人提出了一种基于卷积神经网络对先天性心脏病图像进行分类的方法。Abdi等人则开发了一种基于心尖四腔回声切面质量评估的深度卷积神经网络。Dezaki等人则设计了一个提取超声心动图的时间相关性的神经网络。
上述工作为人工智能在先天性心脏病中图像识别应用打下了坚实的基础，但目前仍然尚无通过超声心动图进行人工智能图像处理***，也没有一种针对先心病的超声多切面数据的报告生成方法。
发明内容
本发明的目的在于提供一种针对先心病的超声多切面数据的报告生成方法，该方法建立在临床的基础需求上，提高超声图像的报告生成的效率。
本发明的技术方案是提供了一种针对先心病的超声多切面数据的报告生成方法，其特征在于包括以下步骤：
步骤1、完成训练数据及预处理；
步骤2、利用超声图像特征提取器，完成超声图像特征提取。
在超声图像的特征提取器中，采用残差结构来传递浅层的纹理、颜色信息，采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数；
步骤3、设置病理标签图，使用语言解析器自动从报告中提取出各种主谓宾组合，并进行人工筛选，总结成25种病理标签，每种标签包含正负两种分别代表病理的两个不同的观察结果，提取出病理标签图后，以此作为额外的标签数据，指导特征提取器进行学习；
步骤4、采用多帧超声图像注意力机制，提取信息；
步骤5、建立多帧超声图像报告生成模型，对于数据集中的报告进行主题划分和病理标签提取，从而得到5个主题句及25个病理标签，对于输入的多张多视角超声图像采用注意力机制进行融合，构建5个主题句的初始输入全连接图和全连接邻接矩阵。
进一步地，步骤2中，首先，在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，之后，将图片通过7×7的卷积层，其图片大小变为112×112，之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层和ReLu激活层，以使各个通道的特征保持相同的分布。
进一步地，步骤3中，构建了25个结点的病理标签图结构，用来模拟病理之间的关系
本发明的有益效果在于：利用人工智能的方式提高了超声图像的识别效率，基于先心病超声的多切面报告生成模型的结构，该模型建立在临床的基础需求上，由于对网络速度的要求，没有选用非常复杂的网络结构，而依照这一标准构建的模型也达到了临床要求的精度标准。
附图说明
图1是多切面报告生成模型结构图。
图2是超声图像特征提取器的训练结构图。
图3是报告生成模型示意图。
图4是病理标签图。
具体实施方式
以下结合附图1-4对本发明的技术方案进行详细说明。
为实现本发明的目的，本发明提出的具有一种基于先心病多超声切面的分类方法的工作包括以下几个方面：
步骤1、完成训练数据及预处理。
本模型训练数据共310例，其中正常人切面数据61例，先天性心脏病房间隔缺损病人切面数据104例，先天性心脏病室间隔缺损病人切面数据145例。均由武汉亚洲心脏病医院提供，并由武汉亚洲心脏病医院的超声科专业医生进行分类，保证了切面数据分类的准确性。训练数据按照表1中的顺序，以DICOM格式进行储存，且各个切面的帧数不同，因此需经过预处理方可进行训练。
Figure BDA0002827658180000031
Figure BDA0002827658180000041
表1超声心动图切面各分类名称表
步骤2、利用超声图像特征提取器，完成超声图像特征提取。
在超声图像的特征提取器中，该实施例采用了残差结构来传递浅层的纹理、颜色等信息，同时避免了梯度消失的问题。
该实施例采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数的设计。总体而言，每张超声图像仅需通过18层的网络结构，适合用于高效的超声图像特征提取。
以ResNet18网络作为基础，设计了超声图像特征提取器，初步设计的模型结构如图2所示。在模型的设计中，该实施例考虑了残差结构的短连接方式同样保存了图像中的浅层特征，因此对于网络中的卷积模块，该实施例采用了残差结构的设计方式。
而由于对总层数的考虑，该实施例仅使用了4个卷积模块。对于每个切面数据的每张图片，该实施例都将其输入到图3所示的网络中。
首先，在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，之后，将图片通过7×7的卷积层，其图片大小变为112×112，之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层(BatchNormalization层，简称BN层)和ReLu激活层，以使各个通道的特征保持相同的分布。每个卷积模块的输出前，将输入的特征与卷积后的特征相加，通过第二个ReLu激活层后输出，以避免梯度消失问题。该结构参考了He等人的工作[18]。在输入的图像通过了4个卷积模块后，该实施例使用softmax层对得到的特征进行分类，softmax函数，是将一组数用指数表示后再进行归一化的函数，又称归一化指数函数，公式如(1)所示：
Figure BDA0002827658180000051
即对于每个类别，使用指数的方式计算其权重，得到该特征属于第j个分类的概率。由于指数函数的特点，在进行归一化时可以抑制概率低的分类，提高概率高的分类，在多分类问题中有较为广泛的应用。使用softmax函数后，可以得到一个1×10的向量，其中每个位置i表示该单帧图片属于第i个分类的概率，选取这个向量中最大的值，判定为该单帧图片的分类。对于病理标签的分类，该实施例对于特征提取网络引出额外的全连接层输出分支，预测出一个1×25的向量，其中每个位置i对应第i个病理标签的输出，随后该实施例使用sigmoid函数，此时，每个位置i表示该图片包含第i个病理标签的概率。
步骤3、设置病理标签图，使用语言解析器自动从报告中提取出各种主谓宾组合，并进行人工筛选，总结成25种病理标签，每种标签包含正负两种分别代表病理的两个不同的观察结果，提取出病理标签图后，以此作为额外的标签数据，指导特征提取器进行学习。
在超声图像特征提取器的训练中，该实施例可以根据图像的角度和是否包含明显先心病特征来对图像进行分类训练。然而，仅有角度和是否包含病理特征无法为特征提取器提供充足的指导，这会导致最终角度相同且均包含ASD或VSD特征的图像类内差异过小，不利于自动报告生成的多样性。因此，该实施例需要额外的图像先验来帮助特征提取器进行学习。
在该实施例创新性地引入病理标签图中，该实施例考虑到医疗报告需要对各个病理特征进行准确描述，病理描述准确的重要性远大于病理无关词的生成。因此该实施例。
超声图像特征提取器的训练过程中，该实施例要求提取器能够准确预测超声图像的所属切面，并且对于病灶明显的图像，该实施例额外要求提取器能够从图像中预测出先心病的种类，在病理标签图的辅助下，特征提取器训练后固定参数，为后续报告生成部分提供准确的超声图像的先验信息。
因此，该实施例在网络中创新性地加入了病理标签图的结构，病理标签图结构如图4所示。
步骤3.1、对于整个报告数据集，使用语言解析器对句子进行解析，提取其中的主谓宾结构，然后按照描述主体对提取出的主谓宾进行分组。
步骤3.2、将各组的主谓宾结构分成两类描述方向，分别对应病理的正常和异常情况，在特征提取器的最后使用图神经网络，构建了25个结点的病理标签图结构，用来模拟病理之间的关系。
考虑到病理的出现不是相互独立的，在实际预测时，该实施例需要考虑到病理的相关性，因此该实施例在特征提取器的最后使用图神经网络，构建了25个结点的病理标签图结构，用来模拟病理之间的关系。
步骤4、采用多帧超声图像注意力机制，提取信息；
超声图像数据由于是序列图像，本身存在很大的冗余，如何从冗余信息中提取出重要信息并进行报告生成是关键问题。为了提取重要信息，降低冗余，该实施例设计了多帧超声图像注意力机制。
对于20张超声图像，该实施例首先使用预训练的特征提取器进行特征提取，从而得到B×20×D维的特征，然后通过第一个全连接层，在D维度上进行挤压，得到B×20×D/r的特征，其中r为设定的倍数，在此处为4。在通过ReLu激活后，再通过第二个全连接层，重新将特征变回B×20×D/r的大小。最后通过sigmoid激活函数后，将权重映射到[0,1]之间。输出的特征与原有的特征作按位的相乘操作，就可以得到经过加权之后的特征。而为了保留原有的特征信息，需要将加权后的特征与原来的特征进行按位相加的操作。
步骤5、建立多帧超声图像报告生成模型，对于数据集中的报告进行主题划分和病理标签提取，从而得到5个主题句及25个病理标签，对于输入的多张多视角超声图像采用注意力机制进行融合，构建5个主题句的初始输入全连接图和全连接邻接矩阵。
由于医疗报告的长度长短不一且描述格式灵活，因此，该实施例对于数据集中的报告进行了主题划分和病理标签提取，从而得到5个主题句及25个病理标签。对于输入的20张多视角超声图像，该实施例首先采用注意力机制进行融合，然后构建5个主题句的初始输入全连接图和全连接邻接矩阵。整体模型采用图卷积网络和循环神经网络LSTM，如图3所示。报告在网络不断迭代的过程中逐渐生成。在每个迭代步骤中生成一个词，随后5个主题句的结点经过一次图卷积进行不同主题句间的关系建模，再进入下一轮迭代。在不断地迭代过程中，5个主题的报告最终生成完成并组合成为该输入的最终报告结果。
该实施例设计了基于先心病超声的多切面报告生成模型的结构。该模型建立在临床的基础需求上，由于对网络速度的要求，没有选用非常复杂的网络结构，而依照这一标准构建的模型也达到了临床要求的精度标准。
在超声图像特征提取模型结构中，该实施例采用了残差结构来传递浅层的纹理、颜色等信息，同时避免了梯度消失的问题。由于速度的限制，该实施例采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数的设计，而没有选用层数较深的复杂网络。总体而言，每张超声图像仅需通过18层的网络结构，适合用于对速度要求较高的临床切面特征提取中。
在该实施例创新性地引入病理标签图中，该实施例考虑到医疗报告需要对各个病理特征进行准确描述，病理描述准确的重要性远大于病理无关词的生成。因此该实施例使用语言解析器自动从报告中提取出各种主谓宾组合，并进行人工筛选，总结成25种病理标签，每种标签包含正负两种分别代表病理的两个不同的观察结果。提取出病理标签图后，该实施例以此作为额外的标签数据，指导特征提取器进行学习。

Claims (3)

1.一种针对先心病的超声多切面数据的报告生成方法，其特征在于包括以下步骤：
步骤1、完成训练数据及预处理；
步骤2、利用超声图像特征提取器，完成超声图像特征提取；
在超声图像的特征提取器中，采用残差结构来传递浅层的纹理、颜色信息，采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数；
步骤3、设置病理标签图，使用语言解析器自动从报告中提取出各种主谓宾组合，并进行人工筛选，总结成25种病理标签，每种标签包含正负两种分别代表病理的两个不同的观察结果，提取出病理标签图后，以此作为额外的标签数据，指导特征提取器进行学习；
步骤4、采用多帧超声图像注意力机制，提取信息；
对于N张超声图像，首先使用预训练的特征提取器进行特征提取，从而得到B×N×D维的特征，然后通过第一个全连接层，在D维度上进行挤压，得到B×N×D/r的特征，其中r为设定的倍数，在此处为4；在通过ReLu激活后，再通过第二个全连接层，重新将特征变回B×N×D/r的大小，最后通过sigmoid激活函数后，将权重映射到[0,1]之间；输出的特征与原有的特征作按位的相乘操作，得到经过加权之后的特征；而为了保留原有的特征信息，需要将加权后的特征与原来的特征进行按位相加的操作；
步骤5、建立多帧超声图像报告生成模型，对于数据集中的报告进行主题划分和病理标签提取，从而得到5个主题句及25个病理标签，对于输入的多张多视角超声图像采用注意力机制进行融合，构建5个主题句的初始输入全连接图和全连接邻接矩阵；
整体模型采用图卷积网络和循环神经网络LSTM；报告在网络不断迭代的过程中逐渐生成；在每个迭代步骤中生成一个词，随后5个主题句的结点经过一次图卷积进行不同主题句间的关系建模，再进入下一轮迭代；在不断地迭代过程中，5个主题的报告最终生成完成并组合成为该输入的最终报告结果。
2.根据权利要求1所述的针对 先心病超声的多切面的报告生成方法，其特征在于，步骤2中，首先，在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，之后，将图片通过7×7的卷积层，其图片大小变为112×112，之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层和ReLu激活层，以使各个通道的特征保持相同的分布。
3.根据权利要求1所述的针对 先心病超声的多切面的报告生成方法，其特征在于，步骤3中，构建了25个结点的病理标签图结构，用来模拟病理之间的关系。
CN202011454009.1A 2020-12-10 2020-12-10 一种针对先心病的超声多切面数据的报告生成方法 Active CN112562819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011454009.1A CN112562819B (zh) 2020-12-10 2020-12-10 一种针对先心病的超声多切面数据的报告生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011454009.1A CN112562819B (zh) 2020-12-10 2020-12-10 一种针对先心病的超声多切面数据的报告生成方法

Publications (2)

Publication Number Publication Date
CN112562819A CN112562819A (zh) 2021-03-26
CN112562819B true CN112562819B (zh) 2022-06-17

Family

ID=75061745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011454009.1A Active CN112562819B (zh) 2020-12-10 2020-12-10 一种针对先心病的超声多切面数据的报告生成方法

Country Status (1)

Country Link
CN (1) CN112562819B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139956B (zh) * 2021-05-12 2023-04-14 深圳大学 基于语言知识导向的切面识别模型的生成方法及识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN109754015B (zh) * 2019-01-02 2021-01-26 京东方科技集团股份有限公司 用于画作多标签识别的神经网络及相关方法、介质和设备
CN111968064B (zh) * 2020-10-22 2021-01-15 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112562819A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Wang et al. Prior-attention residual learning for more discriminative COVID-19 screening in CT images
CN109886273B (zh) 一种cmr图像分割分类***
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
Liao et al. On modelling label uncertainty in deep neural networks: Automatic estimation of intra-observer variability in 2d echocardiography quality assessment
CN109544517A (zh) 基于深度学习的多模态超声组学分析方法及***
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN111080643A (zh) 基于眼底图像的糖尿病及相关疾病的分类方法及设备
Zhang et al. Hybrid graph convolutional network for semi-supervised retinal image classification
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN110427994A (zh) 消化道内镜图像处理方法、装置、存储介质、设备及***
CN111540467A (zh) 精神***症分类识别方法、运行控制装置及医疗设备
CN114863185A (zh) 一种轻量化超声心动图标准切面识别方法、装置和介质
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN113662664A (zh) 一种基于仪器追踪的外科手术质量客观自动化评估方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN115761216A (zh) 一种孤独症脑部核磁共振图像识别方法
CN112562819B (zh) 一种针对先心病的超声多切面数据的报告生成方法
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN113786185A (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和***
CN114399634A (zh) 基于弱监督学习的三维图像分类方法、***、设备及介质
Sengan et al. Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning
CN111340807B (zh) 病灶定位核心数据提取方法、***、电子设备及存储介质
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant