CN108665950A - 基于卷积神经网络生成结构化医学影像报告的方法和*** - Google Patents

基于卷积神经网络生成结构化医学影像报告的方法和*** Download PDF

Info

Publication number
CN108665950A
CN108665950A CN201810337414.1A CN201810337414A CN108665950A CN 108665950 A CN108665950 A CN 108665950A CN 201810337414 A CN201810337414 A CN 201810337414A CN 108665950 A CN108665950 A CN 108665950A
Authority
CN
China
Prior art keywords
matrix
medical image
dimension
report
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810337414.1A
Other languages
English (en)
Other versions
CN108665950B (zh
Inventor
鲜军舫
郭健
胡强
薛亭
李婷
姜虹
王新艳
刘兆会
陈青华
燕飞
王静
张�杰
符祥晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianshi Software Technology Co ltd
Beijing Tongren Hospital
Original Assignee
Beijing Tianshi Software Technology Co ltd
Beijing Tongren Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianshi Software Technology Co ltd, Beijing Tongren Hospital filed Critical Beijing Tianshi Software Technology Co ltd
Priority to CN201810337414.1A priority Critical patent/CN108665950B/zh
Publication of CN108665950A publication Critical patent/CN108665950A/zh
Application granted granted Critical
Publication of CN108665950B publication Critical patent/CN108665950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了基于卷积神经网络生成结构化医学影像报告的方法和***，所述方法包括：获取要评估的符合DICOM标准的第一医学影像；利用反卷积算法将第一医学影像通过降维扩增转换成单层三通道矩阵；基于单层三通道矩阵，利用经训练的卷积神经网络确定生物体给定部位的各评估点的每一预设评估结果的概率；以及基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。利用本申请的方法和***，可生成符合中国医学报告语义习惯的规范的结构化报告内容，在生成报告的过程中更规范和简便，实现自动生成全部或部分医学影像报告。

Description

基于卷积神经网络生成结构化医学影像报告的方法和***
技术领域
本申请涉及基于人工智能生成结构化医学影像报告的方法和***，更具体地，涉及基于卷积神经网络生成结构化医学影像报告的方法和***。
背景技术
在医学影像领域，存在通过训练神经网络获得医学影像报告的许多尝试，例如卡内基梅隆大学邢波团队研究利用多任务框架的卷积神经网络(CNN)-循环神经网络(RNN)模型来进行X线胸片的报告生成。他们利用CNN进行图像中病灶特征的识别，然后利用RNN对发现的病变进行详细描述，具体如利用CNN识别图像特征，然后将特征提供给长短期记忆网络(LSTM)以生成文本；以及利用CNN识别图像特征，然后利用“语义注意机制”或“共同注意机制”来生成详细文本。这些方法需利用RNN来完成报告内容的生成和调试，对于复杂语义，常常困难重重。
发明内容
根据本申请的一方面，提供了基于卷积神经网络生成结构化医学影像报告的方法，所述方法包括：获取要评估的符合DICOM标准的第一医学影像；利用反卷积算法将第一医学影像通过降维扩增转换成单层三通道矩阵；基于单层三通道矩阵，利用经训练的卷积神经网络确定生物体给定部位的各评估点的每一预设评估结果的概率；以及基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。
将第一医学影像通过降维扩增转换成单层三通道矩阵的步骤可包括：将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；利用滑动窗口步长为2的反卷积算法，将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；利用滑动窗口步长为2的反卷积算法，将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及利用滑动窗口步长为2的反卷积算法，将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
将第一医学影像通过降维扩增转换成单层三通道矩阵的步骤可包括：将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
确定各评估点的每一预设评估结果的概率的步骤可包括：采用Inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
根据本申请的另一方面，提供了基于卷积神经网络生成结构化医学影像报告的***，所述***包括数据接收单元、图像转换单元、概率分类单元和数据输出单元，其中：数据接收单元配置成接收符合DICOM标准的第一医学影像；图像转换单元配置成利用反卷积算法将所接收的第一医学影像通过降维扩增转换成单层三通道矩阵；概率分类单元配置成基于所转换的单层三通道矩阵利用经训练的卷积神经网络来确定生物体给定部位的各评估点的每一预设评估结果的概率；以及数据输出单元配置成基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。
图像转换单元可包括输入层、第一隐藏层、第二隐藏层和输出层，其中：输入层配置成将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；第一隐藏层配置成利用滑动窗口步长为2的反卷积算法将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；第二隐藏层配置成利用滑动窗口步长为2的反卷积算法将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；输出层配置成利用滑动窗口步长为2的反卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
图像转换单元可包括输入层、第一隐藏层、第二隐藏层和输出层，其中：输入层配置成将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；第一隐藏层配置成利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；第二隐藏层配置成利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；输出层配置成利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
概率分类单元还可配置成：采用Inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
附图说明
通过参照附图进一步详细地描述本申请的一些示例性实施方式，本申请的以上以及其它方面和特征将变得更显而易见，附图中：
图1是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法的流程图。
图2A是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的示意图。
图2B是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的操作的流程图。
图3是示出根据本申请实施方式的预构建的医学报告生成***的示意性框图。
图4是示出根据本申请实施方式的用于训练卷积神经网络的方法的流程图。
图5是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的***的示意性框图。
图6是示出根据本申请实施方式的图像转换单元的示意性框图。
图7是示出根据本申请实施方式的概率分类单元的配置的示意图。
具体实施方式
将参考以下所讨论的细节来描述本申请的多种实施方式和方面，附图将示出所述多种实施方式。下列描述和附图是对本申请的说明，而不应当解释为限制本申请。描述了许多特定细节以提供对本申请各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本申请的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本申请的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
应理解的是，本文中所描述的具体实施方式仅用于解释本申请，而非对本申请的范围进行限定。需注意的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。因此，本领域普通技术人员将认识到，在不背离本公开的范围和精神的情况下，可对本文中所描述的多种实施方式进行多种改变和修改。
除非另有限定，否则本文中使用的所有术语(包括技术术语和科学术语)具有与由本申请所属技术领域的普通技术人员所通常理解的含义相同的含义。还将理解的是，除非本文中明确地如此限定，否则诸如常用词典中定义的那些术语应被解释成具有与其在相关技术领域和/或本说明书的上下文中的含义一致的含义，并且不应以理想化或过于正式的含义进行解释。
此外，应注意：(1)某些步骤可选择性地执行；(2)步骤可不限于本文中所陈述的特定顺序；(3)某些步骤可以以不同的顺序执行；以及(4)某些步骤可同时进行。
图1是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法的流程图。图2A是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的示意图。图2B是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的操作的流程图。
根据本申请的实施方式，基于卷积神经网络生成结构化医学影像报告的方法如图1所示，在步骤S110中，获取要评估的符合DICOM标准的第一医学影像。例如获取要评估的包括人体耳朵的符合DICOM标准的MRI医学影像。DICOM标准是医学图像和相关信息的国际标准(ISO 12052)，它定义了质量能满足临床需要的可用于数据交换的医学图像格式。
在步骤S120中，利用反卷积算法将第一医学影像通过降维扩增转换成单层三通道矩阵。如图2A和图2B所示，步骤S120可例如包括：步骤S121，将第一医学影像转换成维度为m*n*n的第一矩阵，其中m表示灰度图像的数量，n表示单个灰度图像的长度的像素点数量和宽度的像素点数量；步骤S122，利用滑动窗口步长为2的反卷积算法，将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；步骤S123，利用滑动窗口步长为2的反卷积算法，将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及步骤S124，将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图2A和图2B仅仅是将第一医学影像通过降维扩增转换成单层三通道矩阵的示例性操作，本申请不限于此。进一步地，在步骤S122中，可利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。在步骤S123中，可利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。在步骤S124中，可利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图2A和图2B仅仅是步骤S120的一个示例，步骤S120不限于此，只要步骤S120能够实现将医学影像转换成单层三通道矩阵即可。
在步骤S130中，基于单层三通道矩阵，利用经训练的卷积神经网络确定给定部位的各评估点的每一预设评估结果的概率。例如，在给定部位为耳朵的应用中，评估点可例如包括病变分侧，病变部分、病变形态等。病变分侧的预设评估结果(也称评估参数)包括右侧、左侧和N/A。病变部位的预设评估结果包括外耳中的耳郭、外耳道软骨部、外耳道骨部；中耳中的上鼓室、中鼓室、下鼓室、Prussak间隙、咽鼓管和鼓室窦；内耳中的内耳道和前庭导水管；面神经管中的面神经管迷路段、面神经管前膝段、面神经管鼓室段、面神经管后膝段和面神经管乳突段；血管走行中的颈内动脉岩骨段和颈静脉孔区；除这些部位之外的其它部位，如乳突部、鳞部、岩部、岩枕裂、颞下颌关节窝。病变形态的预设评估结果包括圆形、不规则形和N/A。在上述应用中，经训练的卷积神经网络基于由包括耳朵的医学影像转换成的单层三通道矩阵来确定耳朵的各评估点(包括病变分侧，病变部分、病变形态等)的各预设评估结果的概率。
在步骤S140中，基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。
图3示出了根据本申请实施方式的预构建的医学报告生成***的示意性框图。
根据本申请的实施方式，医学报告生成***300包括数据录入模块310、报告封装模块320和报告生成模块330。
数据录入模块310具有人机交互界面，人机交互界面接收基于HTML技术配置的评估病灶评估点的数据信息中的至少之一，所述数据信息包括：以单选控件类型在人机交互界面展现的第一类型字段；以多选控件类型在人机交互界面展现的第二类型字段；以文本框控件类型在人机交互界面展现的第三类型字段。所述多个第一类型字段、多个第二类型字段和多个第三类型字段分别与多个第四类型字段、多个第五类型字段和多个第六类型字段对应地存储在数据库中。报告封装模块320基于医学语义，将所存储的多个第四类型字段、多个第五类型字段和多个第六类型字段按预定的语法规则进行封装。报告生成模块330配置成读取数据录入模块310接收的输入，并确定出输入中的与封装的多个第四类型字段、多个第五类型字段和多个第六类型字段相匹配的值，并将所存储的值生成医学报告。
报告封装模块320可包括顿号生成单元，其用于在要生成的医学报告中与在所述输入中有值的由顿号生成单元封装的第五类型字段对应的两个相邻的第二类型字段之间添加顿号，并且不显示与在所述输入中无值的由顿号生成单元封装的第五类型字段对应的第二类型字段。
报告封装模块320可包括第一显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中有值时，在要生成的医学报告中显示与由第一显示和隐藏单元封装的语句对应的报告内容；以及在所述一个字段在所述输入中无值时，在要生成的医学报告中自动隐藏与由第一显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括第二显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中的值满足第一条件或者第一多个字段在所述输入中的值满足第二条件时，在要生成的医学报告中显示与由第二显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括第三显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中的值满足第三条件或者第二多个字段在所述输入中的值满足第四条件时，在要生成的医学报告中隐藏与由第三显示和隐藏单元封装的语句对应的报告内容；以及在所述一个字段在所述输入中的值不满足第三条件或者第二多个字段在所述输入中的值不满足第四条件时，显示与由第三显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括逗号和句号生成单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中有值且由逗号和句号生成单元封装的在所述一个字段之后的字段在所述输入中无值时在要生成的医学报告中与所述一个字段对应的位置后生成句号，以及在所述一个字段在所述输入中有值且由逗号和句号生成单元封装的在所述一个字段之后的字段在所述输入中有值时在要生成的医学报告中与所述一个字段对应的位置后生成逗号。
图4是示出根据本申请实施方式的用于训练卷积神经网络的方法的流程图。
根据本申请的实施方式，用于训练卷积神经网络的方法如图4所示，在步骤S410中，获取符合DICOM标准的多个医学影像和每个医学影像的标签，其中每个医学影像的标签包括给定部位的各评估点的预设评估结果。根据本申请的示例性实施方式，这些符合DICOM标准的多个医学影像的标签可例如通过医生利用基于DICOM协议的图像展示和标注工具来标注病灶区域或其它特征区域及各评估点的评估结果而获得。
在步骤S420中，利用反卷积算法将获取的医学影像通过降维扩增转换成单层三通道矩阵。
在步骤S430中，将单层三通道矩阵输入至采用ImageNet构建的卷积神经网络(例如但不限于Inception-v3)，并采用softmax激励算法输出给定部位的各评估点的每一预设评估结果的概率。
在步骤S440中，将输出的各评估点的每一预设评估结果的概率与对应图像中的标签进行比较以限定交叉熵损失函数，通过反向传播算法反复训练从而改进卷积神经网络各节点的权重参数以使损失值最小化以及准确率最大化。
通过上述过程，可获得训练好的卷积神经网络以用于确定符合DICOM标准的医学影像中给定部位的各评估点的每一预设评估结果的概率。
根据本申请实施方式的用于训练卷积神经网络的方法在训练过程中只关注CNN的精度，而不用关注RNN对于报告内容的生成和调试。
图5是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的***的示意性框图。图6是示出根据本申请实施方式的图像转换单元的示意性框图。图7是示出根据本申请实施方式的概率分类单元的配置的示意图。
如图5所示，基于卷积神经网络生成结构化医学影像报告的***500包括数据接收单元510、图像转换单元520、概率分类单元530和数据输出单元540。
数据接收单元510配置成接收符合DICOM标准的医学影像。数据接收单元510可例如与医院的影像设备相连接以便于接收医学影像。
图像转换单元520配置成利用反卷积算法将所接收的医学影像通过降维扩增转换成单层三通道矩阵。图像转换单元520可包括输入层、中间层和输出层。图像转换单元520的输入层将医学影像转化为多层灰度矩阵。图像转换单元520的中间层采用反卷积算法对从输入层输出的多层灰度矩阵进行降维扩增。图像转换单元520的输出层输出单层三通道矩阵。图像转换单元520的每一层输出的矩阵的像素值均被转换成均值为0且标准差为1的正态分布。
根据本申请的示例性实施方式，如图6所示，图像转换单元520可包括输入层522、中间层524和输出层526，其中中间层524可包括第一隐藏层524A和第二隐藏层524B。输入层522可配置成将数据接收单元510接收的医学影像转换成维度为m*n*n的第一矩阵，其中m表示灰度图像的数量，n表示单个灰度图像的长度的像素点数量和宽度的像素点数量。第一隐藏层524A可配置成利用滑动窗口步长为2的反卷积算法将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。第二隐藏层524B可配置成利用滑动窗口步长为2的反卷积算法将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。输出层526可配置成利用滑动窗口步长为2的反卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。具体地，第一隐藏层524A可配置成利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。第二隐藏层524B可配置成利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。输出层526可配置成利用滑动窗口步长为2的卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图像转换单元520的层不限于上述层，只要图像转换单元520能够实现将所接收的医学影像通过降维扩增转换成单层三通道矩阵即可。
概率分类单元530配置成基于所转换的单层三通道矩阵利用经训练的卷积神经网络来确定生物体给定部位的各评估点的每一预设评估结果的概率。具体地，概率分类单元530可配置成采用Inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。根据本申请实施方式的概率分类单元530的配置如图7所示，其中，附图标记“71”表示“卷积(convolution)”操作，附图标记“72”表示“AvgPool”操作，附图标记“73”表示“MaxPool”操作，附图标记“74”表示“concat”操作，附图标记“75”表示“dropout”操作，附图标记“76”表示“全连接(fully connected)”操作，附图标记“77”表示“Softmax”操作。图7中仅仅是概率分类单元530的配置的示例，但本申请不限于此。
数据输出单元540配置成基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的针对给定部位的医学报告生成***300以生成医学影像报告。
根据本申请的实施方式，在基于卷积神经网络生成结构化医学影像报告的***将各评估点的具有置信概率的评估结果输出至预构建的针对给定部位的医学报告生成***300之后且在未生成医学影像报告之前，用户(例如，医生)可在***300的人机交互界面上修改***500输出的评估结果，包括这些修改后的评估结果的标签和对应的医学影像可再次用于训练卷积神经网络并改进卷积神经网络，由此改进***500以提高图像识别和报告生成的准确度。
根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法和***可生成符合中国医学报告语义习惯的规范的结构化报告内容(包括按一定解剖顺序和医学思维逻辑的影像发现文本和诊断意见)，在生成报告的过程中更规范和简便，可实现自动生成全部或部分医学影像报告。在报告内容的描述上，不需要使用RNN网络即可实现复杂语义的描述。
本领域技术人员应理解，前述示例和实施方式是示例性的且并不限制本申请的范围。其意图是，本领域的技术人员在阅读说明书及研究附图之后所显而易见的所有排列、提高、等效、组合及改进之处都包括在本申请的精神和范围内。

Claims (8)

1.一种基于卷积神经网络生成结构化医学影像报告的方法，所述方法包括：
获取要评估的符合DICOM标准的第一医学影像；
利用反卷积算法将所述第一医学影像通过降维扩增转换成单层三通道矩阵；
基于所述单层三通道矩阵，利用经训练的卷积神经网络确定生物体给定部位的各评估点的每一预设评估结果的概率；以及
基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。
2.根据权利要求1所述的方法，其中，将所述第一医学影像通过降维扩增转换成单层三通道矩阵的步骤包括：
将所述第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；
利用滑动窗口步长为2的反卷积算法，将所述第一矩阵转换成维度为m/2*2n*2n的第二矩阵；
利用滑动窗口步长为2的反卷积算法，将所述第二矩阵转换成维度为成m/4*4n*4n的第三矩阵；以及
利用滑动窗口步长为2的反卷积算法，将所述第三矩阵转换成维度为3*8n*8n的所述单层三通道矩阵。
3.根据权利要求1所述的方法，其中，将所述第一医学影像通过降维扩增转换成单层三通道矩阵的步骤包括：
将所述第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；
利用滑动窗口步长为2的m/2个滤波器将所述第一矩阵转换成维度为m/2*2n*2n的第二矩阵；
利用滑动窗口步长为2的m/2个滤波器将所述第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及
利用滑动窗口步长为2的3个滤波器将所述第三矩阵转换成维度为3*8n*8n的所述单层三通道矩阵。
4.根据权利要求1所述的方法，其中，确定各评估点的每一预设评估结果的概率的步骤包括：
采用Inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
5.一种基于卷积神经网络生成结构化医学影像报告的***，所述***包括：
数据接收单元，配置成接收符合DICOM标准的第一医学影像；
图像转换单元，配置成利用反卷积算法将所接收的第一医学影像通过降维扩增转换成单层三通道矩阵；
概率分类单元，配置成基于所转换的单层三通道矩阵利用经训练的卷积神经网络来确定生物体给定部位的各评估点的每一预设评估结果的概率；以及
数据输出单元，配置成基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成***以生成第一医学影像报告。
6.根据权利要求5所述的***，其中，所述图像转换单元包括：
输入层，配置成将所述第一医学影像转换成维度为m*n*n的第一矩阵；
第一隐藏层，配置成利用滑动窗口步长为2的反卷积算法将所述第一矩阵转换成维度为m/2*2n*2n的第二矩阵；
第二隐藏层，配置成利用滑动窗口步长为2的反卷积算法将所述第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及
输出层，配置成利用滑动窗口步长为2的卷积算法将所述第三矩阵转换成维度为3*8n*8n的所述单层三通道矩阵。
7.根据权利要求5所述的***，其中，所述图像转换单元包括：
输入层，配置成将所述第一医学影像转换成维度为m*n*n的第一矩阵；
第一隐藏层，配置成利用滑动窗口步长为2的m/2个滤波器将所述第一矩阵转换成维度为m/2*2n*2n的第二矩阵；
第二隐藏层，配置成利用滑动窗口步长为2的m/2个滤波器将所述第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及
输出层，配置成利用滑动窗口步长为2的3个滤波器将所述第三矩阵转换成维度为3*8n*8n的所述单层三通道矩阵。
8.根据权利要求5所述的***，其中，所述概率分类单元还配置成：采用Inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
CN201810337414.1A 2018-04-16 2018-04-16 基于卷积神经网络生成结构化医学影像报告的方法和*** Active CN108665950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810337414.1A CN108665950B (zh) 2018-04-16 2018-04-16 基于卷积神经网络生成结构化医学影像报告的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810337414.1A CN108665950B (zh) 2018-04-16 2018-04-16 基于卷积神经网络生成结构化医学影像报告的方法和***

Publications (2)

Publication Number Publication Date
CN108665950A true CN108665950A (zh) 2018-10-16
CN108665950B CN108665950B (zh) 2022-04-01

Family

ID=63783503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810337414.1A Active CN108665950B (zh) 2018-04-16 2018-04-16 基于卷积神经网络生成结构化医学影像报告的方法和***

Country Status (1)

Country Link
CN (1) CN108665950B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785926A (zh) * 2018-12-21 2019-05-21 宜宝科技（北京）有限公司 用于单位端的检报处理方法及装置
CN111192682A (zh) * 2019-12-25 2020-05-22 上海联影智能医疗科技有限公司 一种影像操练数据处理方法、***及存储介质
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050615A (zh) * 2014-07-10 2014-09-17 首都医科大学附属北京佑安医院 一种生成结构化电子病历的***
CN106780652A (zh) * 2017-01-10 2017-05-31 首都医科大学附属北京友谊医院 医学数据处理方法及装置
CN106845139A (zh) * 2017-02-28 2017-06-13 北京赛迈特锐医疗科技有限公司 将结构化报告生成自然语言报告的***及其方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断***
CN107391609A (zh) * 2017-07-01 2017-11-24 南京理工大学 一种双向多模态递归网络的图像描述方法
CN107480769A (zh) * 2017-07-26 2017-12-15 广州慧扬健康科技有限公司 基于深度学习的皮肤癌识别***
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050615A (zh) * 2014-07-10 2014-09-17 首都医科大学附属北京佑安医院 一种生成结构化电子病历的***
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断***
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
CN106780652A (zh) * 2017-01-10 2017-05-31 首都医科大学附属北京友谊医院 医学数据处理方法及装置
CN106845139A (zh) * 2017-02-28 2017-06-13 北京赛迈特锐医疗科技有限公司 将结构化报告生成自然语言报告的***及其方法
CN107391609A (zh) * 2017-07-01 2017-11-24 南京理工大学 一种双向多模态递归网络的图像描述方法
CN107480769A (zh) * 2017-07-26 2017-12-15 广州慧扬健康科技有限公司 基于深度学习的皮肤癌识别***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘海龙等: "基于深度卷积神经网络的图像检索算法研究", 《计算机应用研究》 *
孟彩霞 等: "移动端体检报告影像识别及数据分析应用研究", 《计算机技术与发展》 *
胡明哲等: "基于卷积神经网络的颅内病变类型影像的判别", 《黑龙江大学自然科学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785926A (zh) * 2018-12-21 2019-05-21 宜宝科技（北京）有限公司 用于单位端的检报处理方法及装置
CN111192682A (zh) * 2019-12-25 2020-05-22 上海联影智能医疗科技有限公司 一种影像操练数据处理方法、***及存储介质
CN111192682B (zh) * 2019-12-25 2024-04-09 上海联影智能医疗科技有限公司 一种影像操练数据处理方法、***及存储介质
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法

Also Published As

Publication number Publication date
CN108665950B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN108665950A (zh) 基于卷积神经网络生成结构化医学影像报告的方法和***
Carvalho et al. A general data fusion architecture
US20100293219A1 (en) Method and system for data transfer, auxiliary server and examination device
CN108042090B (zh) 配置人工智能芯片的医用内窥镜***及图像处理方法
JP7094952B2 (ja) 受信装置、制御方法、プログラム、および送受信システム
CN109660377A (zh) 统一配置管理方法、业务服务器及操作维护管理平台
CN113257372B (zh) 口腔健康管理相关***、方法、装置及设备
JP7050059B2 (ja) 送信装置、受信装置、制御方法、プログラム、および送受信システム
CN106407727A (zh) 手术室可视化数据处理终端
CN110417756A (zh) 跨网络数据传输方法及装置
Caballero et al. Bns: A framework for wireless body area network realistic simulations
CN108665951B (zh) 一种将预结构化数据生成医学报告的方法和***
US20200138522A1 (en) 3d model generation using thermal imaging and x-ray
WO2021025279A1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2018189792A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102078159B1 (ko) 3d 프린터를 이용한 유방 보형물 제작 시스템
Masud et al. Emergency traffic adaptive MAC protocol for wireless body area networks based on prioritization
KR102532420B1 (ko) 인공 신경망을 이용하여 내시경 영상으로부터 깊이 맵을 생성하는 방법, 상기 인공 신경망을 학습시키는 방법 및 상기 방법을 수행하는 깊이 맵 생성 장치
KR101836103B1 (ko) 모바일 헬스케어 시스템 및 이를 이용한 컴포넌트 기반 모바일 헬스 애플리케이션 제공 시스템
CN107453842A (zh) 通信方法、信息生成/解析方法/***、存储介质及设备
WO2002093476A3 (de) Graphischer editor für ontologien einer datenbank
De la Cruz et al. Telemedicine model using smart glasses: A physical therapy rehabilitation study protocol
Khan et al. Enhancing Wireless Transmission Efficiency for Wireless Body Area Sensor Networks Based on Transposing of Sensors
CN112735565B (zh) 检测结果获取方法、电子设备及服务器
Graschew et al. Advances in Telemedicine: Technologies, Enabling Factors and Scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant