CN111192660B - 一种影像报告分析方法、设备及计算机存储介质 - Google Patents

一种影像报告分析方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN111192660B
CN111192660B CN201911345502.7A CN201911345502A CN111192660B CN 111192660 B CN111192660 B CN 111192660B CN 201911345502 A CN201911345502 A CN 201911345502A CN 111192660 B CN111192660 B CN 111192660B
Authority
CN
China
Prior art keywords
result
target
data
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911345502.7A
Other languages
English (en)
Other versions
CN111192660A (zh
Inventor
何志强
郑介志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201911345502.7A priority Critical patent/CN111192660B/zh
Publication of CN111192660A publication Critical patent/CN111192660A/zh
Application granted granted Critical
Publication of CN111192660B publication Critical patent/CN111192660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种影像报告分析方法、设备及存储介质,其中所述方法包括:获取多组数据,每组数据包含目标影像和目标用户的影像报告;对目标影像进行图像识别得到第一识别结果;将影像报告进行基于文本特征的识别得到第二识别结果;将对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果;根据第二识别结果和目标识别结果生成统计样本集;基于统计样本集进行统计分析,得到针对目标用户的影像报告的分析结果。本发明对批量的影像报告数据进行分析,得到对目标用户阅片水平的分析结果,帮助目标用户针对性地提升阅片水平。

Description

一种影像报告分析方法、设备及计算机存储介质
技术领域
本发明涉及图像分析和自然语言处理领域,尤其涉及一种影像报告分析方法、设备及计算机存储介质。
背景技术
X射线以其方便、简捷、经济的特点,成为临床检查的常用手段之一。不论是一般的门诊、急诊、ICU都需要需要胸部X光片的检查来帮助确诊与观察病人的健康状况。就体检的应用而言,胸部X光片也是标准的检查项目之一,并且体检的涵盖范围广,包含一般的健康体检、入职体检等。因此,医生面临着超大体量的阅片压力。
目前医生在X光片的阅片中,通常是根据各种疾病的先验特征进行分析,从而判断X光片中存在的疾病,进而得出影像报告。因此阅片的准确性常常受限于医生的主观知识水平。在一些极端的场景下,例如急诊,一般要求放射科医生在30分钟之内对急诊的医学图像进行阅片并出具报告,对放射科医生的阅片准确性具有更高的要求。
发明内容
为及时发现医学阅片中存在的问题,针对性地提升医生的阅片水平,本发明公开了一种影像报告分析方法、设备及计算机存储介质。所述技术方案如下:
第一方面,本发明提供了一种影像报告分析方法,所述方法包括:
获取多组数据,所述多组数据中的每组数据包含目标影像和目标用户的影像报告;
利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果;
将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果;
将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果;
根据所述第二识别结果和所述目标识别结果生成统计样本集;
基于所述统计样本集进行统计分析,得到针对所述目标用户的影像报告的分析结果。
进一步地,所述将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果包括:
将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对,得到比对结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度大于等于预设阈值时,获取相应的第一识别结果作为第一目标识别结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度小于预设阈值时,获取相应的目标影像和/或第一识别结果和/或第二识别结果作为待核实数据;
发送针对所述待核实数据的核实请求;
获取响应于所述核实请求的核实结果,将所述核实结果作为第二目标识别结果;
根据所述第一目标识别结果和所述第二目标识别结果得到目标识别结果。
优选地,所述统计样本集中的每一条统计样本包括以下至少之一:序号标识、用户标识、器官标识、疾病标识和疾病特征。
进一步地,所述基于所述统计样本集进行统计分析,得到分析结果包括:
获取目标用户的用户标识和目标疾病的疾病标识;
根据所述目标用户的用户标识和所述目标疾病的疾病标识从所述统计样本集中获取对应的统计样本作为目标统计样本集;
根据所述目标统计样本集进行分析,得到针对所述目标用户和所述目标疾病的分析结果。
优选地,所述分析结果包括以下至少之一:检出率、漏检率、特异度和敏感度。
进一步地,所述利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果包括:
将所述每组数据中的目标影像输入至经过训练后的神经网络进行分类,得到影像分类结果;
将所述影像分类结果按照预设的形式进行结构化处理,得到所述第一识别结果;
其中,所述第一识别结果包括以下至少之一:所述每组数据中的目标影像的序号标识、器官标识、疾病标识和疾病特征。
优选地,所述经过训练后的神经网络采用密集神经网络、残差神经网络或者压缩与激活网络其中任意一种作为分类网络的骨干网络,对所述每组数据中的目标影像进行分类,得到所述影像分类结果。
进一步地,所述将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果还包括:
对所述每组数据中的影像报告进行预处理,得到待分析的报告数据;
将所述待分析的报告数据输入至经过训练后的向量模型中进行特征提取,得到影像报告特征向量;
将所述影像报告特征向量输入至分类器中进行分类,得到报告分类结果;
将所述报告分类结果按照预设的形式进行结构化处理,得到所述第二识别结果;
其中,所述第二识别结果包括以下至少之一:所述每组数据中的影像报告的序号标识、用户标识、器官标识、疾病标识和疾病特征。
优选地,所述经过训练后的向量模型采用词向量工具对所述每组数据中的影像报告进行特征提取,得到所述影像报告特征向量。
第二方面,本发明提供了一种影像报告分析装置,所述装置包括:
获取模块,用于获取多组数据,所述多组数据中的每组数据包含目标影像和目标用户的影像报告;
第一识别模块,用于利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果;
第二识别模块,用于将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果;
第一分析模块,用于将所述多组数据中的每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果;
样本生成模块,用于根据所述第二识别结果和所述目标识别结果生成统计样本集;
统计分析模块,用于基于所述统计样本集进行统计分析,得到针对所述目标用户的影像报告的分析结果。
第三方面,本发明提供了一种影像报告分析***,所述***包括本发明第二方面提供的影像报告分析装置,所述***能应用于各种终端设备中提供针对所述目标用户的影像报告的分析结果。
第四方面,本发明提供了一种计算机设备,所述设备包括:处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述的一种影像报告分析方法。
第五方面,本发明提供了一种计算机存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种影像报告分析方法。
采用上述技术方案,本发明所述的一种影像报告分析方法、设备及计算机存储介质具有如下有益效果:
本发明结合了基于深度学***的分析结果。在医学领域中,将分析结果反馈给医生,能够让医生有针对性的对疾病检测进行训练,从而提升阅片水平。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种影像报告分析方法流程示意图;
图2是本发明实施例中利用神经网络对每组数据中的目标影像进行图像识别得到第一识别结果的流程示意图;
图3是本发明实施例提供的一种将每组数据中的目标影像输入至经过训练后的神经网络进行分类得到影像分类结果的流程示意图;
图4是本发明实施例中将每组数据中的影像报告进行基于文本特征的识别得到第二识别结果的流程示意图;
图5是本发明实施例中将多组数据中每组数据对应的第一识别结果和第二识别结果进行准确性分析得到目标识别结果的流程示意图;
图6是本发明实施例中基于所述统计样本集进行统计分析得到针对所述目标用户的影像报告的分析结果的流程示意图;
图7是本发明实施例提供的另一种影像报告分析方法流程图;
图8是本发明实施例提供的一种影像报告分析装置的结构示意图;
图9是本发明实施例提供的一种计算机设备的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中,需要理解的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明实施例提供的一种影像报告分析方法的流程示意图,本说明书提供了如实施例或流程示意图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,所述影像报告分析方法可以包括:
S101:获取多组数据,所述多组数据中的每组数据包含目标影像和目标用户的影像报告。
在一些可行的实施方中,所述目标用户为医生,目标用户可以具有至少一个用户标识,用户标识可以代表目标用户的名称和/或所属的科室和/或所属的医院。所述多组数据中每组数据的影像报告由目标用户提供,所述多组数据中的每组数据的影像报告和目标影像对应,所述影像报告可以包括不同格式的影像报告文本。
可以理解的是,多组数据针对多种疾病类型,和/或多种病灶,和/或多种器官组织,用于进行后续的统计分析。每组数据中均包含患者的目标影像和由医生根据该目标影像出具的影像报告,每组数据中的目标影像和影像报告具有相同的序号或标识,用于在后续的比对过程中和统计分析过程中保持对应关系。
可以理解的是,所述目标影像包括但不限于X光片、电脑断层扫描(ComputerizedTomography,CT)、二维超声图像(B-scan ultrasonography,常称B超)、核磁共振图像等。
S103:利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果。
在一些可行的实施方式中,如图2所示,步骤S103可以包括以下步骤:
S201:将所述每组数据中的目标影像输入至经过训练后的神经网络进行分类,得到影像分类结果。
在一些实施方式中,所述神经网络基于深度学习进行图像识别模型的搭建和预训练。将所述每组数据中的目标影像输入至经过训练后的神经网络中,识别出所述目标影像中的器官属性和疾病属性,根据所述目标影像中的器官属性和疾病属性得到所述目标影像的影像分类结果。
在一些可行的实施方式中,所述经过训练后的神经网络可以采用密集神经网络(Dense Convolutional Network,DenseNet)、残差神经网络(Residual Neural Network,ResNet)或者压缩与激活网络(Squeeze and Excitation Networks,SENet)其中任意一种作为分类网络的骨干网络,对所述每组数据中的目标影像进行分类,得到所述影像分类结果。
在一具体实施方式中,所述影像分类结果可以包含检测得到的器官类别、疾病类别以及患有该种疾病的概率大小。
在实际应用中,以目标影像的类型为胸部X光片为例,可以采用诸如ChestX-ray14数据集作为神经网络的预训练数据集,ChestX-ray14公开数据集包含了30805个病人在内的112120张前向胸部X光影像图片,并根据14类胸部疾病对胸部X光影像图片进行了标记。
在一些可行的实施方式中,如图3所示,步骤S201可以包括以下步骤:
S301:对所述每组数据中的目标影像进行图像预处理。
在实际应用中,图像预处理包括以下至少一种:数字化、几何变换、归一化、平滑、复原、增强等。
在一具体实施方式中,本发明实施例中的步骤S301可以包括以下步骤:
1)对所述每组数据中的目标影像进行采样。
具体地,可以对所述每组数据中的目标影像进行224×224的下采样。
2)对所述采样后的目标影像执行归一化操作。
具体地,可以基于一定的均值和标准差对所述下采样后的目标影像执行归一化操作,其中,归一化操作可以包括以下至少一种步骤:坐标中心化、X-shearing归一化、缩放归一化和旋转归一化。通过执行归一化操作,得到一定标准形式的目标影像。
3)对所述一定标准形式的目标影像进行数据增强。
具体地,数据增强可以包括以下至少之一种步骤:翻转、旋转和缩放,得到预处理后的目标影像。
S302:对预处理后的所述每组数据中的目标影像提取图像特征。
在一些可行的实施方式中,将特征金字塔网络(Feature Pyramid Networks,FPN)与三叉戟网络(TridentNetwork)进行融合,作为所述预训练后的神经网络的特征提取网络部分,对预处理后的所述每组数据中的目标影像提取图像特征。
具体地,通过特征金字塔网络,对预处理后的所述每组数据中的目标影像进行特征提取,得到所述目标影像不同尺度的多个第一特征图。将所述不同尺度的多个第一特征图中的每个第一特征图输入至不同尺度的空洞卷积层中分别进行空洞卷积,得到对应所述每个第一特征图的第二特征图。将目标影像的第二特征图进行融合,得到融合特征图,该融合特征图包含了目标影像中不同尺度的图像特征。
可以理解的是,特征金字塔通过自底向上的路径提取目标影像中的特征,并通过横向连接和自顶向下的路径对目标影像的特征进行融合。同时,三叉戟网络中使用不同尺度的空洞卷积实现多尺度感受野分支,使得每个特征图均具有多个感受野。应用在医学影像的检测中,特征金字塔网络与三叉戟网络融合得到的特征提取网络能够提高医学影像中不同尺度对象的检测精度,从而使器官属性和疾病属性的检测分类结果具有更高的准确性。
S303:根据所述图像特征进行检测分类,得到所述影像分类结果。
在一些可行的实施方式中,通过特征金字塔网络与三叉戟网络融合后的特征提取网络,得到了目标影像的融合特征图。通过分类检测网络对目标影像的融合特征图进行器官属性和疾病属性的检测分类,得到所述影像分类结果。所述影像分类结果可以包含器官属性、疾病属性和/或患有该种疾病的概率大小。
S202:将所述影像分类结果按照预设的形式进行结构化处理,得到所述第一识别结果。
其中,所述第一识别结果包括以下:所述每组数据中的目标影像的序号标识、器官标识、疾病标识和疾病特征。
可以理解的是,所述第一识别结果的序号标识表示的序号与所述目标影像的序号一致,所述器官标识的内容表示所述神经网络识别出来的所述目标影像中的的器官组织类别和/或属性,所述疾病标识和疾病特征的内容表示了对所述器官组织的病灶检测结果。
在一些可行的实施方式中,将所述影像分类结果进行实体抽取得到实体映射,并通过预先建立的医学数据库或医学词典将实体映射转换为标准格式的内容,从而得到结构化的第一识别结果。同时,所述结构化的分析结果的语句可以按照一定的顺序示出,例如“序号+用户+器官+疾病特征”的顺序。
S105:将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果。
进一步地,如图4所示,本发明实施例中步骤S105可以包括以下步骤:
S401:对所述每组数据中的影像报告进行预处理,得到待分析的报告数据。
在一些可行的实施方式中,步骤S401可以包括以下步骤:
1)去除所述影像报告中的非文本部分。
2)利用分词函数和/或软件对所述影像报告的文本部分进行分词。
3)去除所述影像报告中的停顿词和/或低频词等,得到待分析的报告数据。
S402:将所述待分析的报告数据输入至经过训练后的向量模型中进行特征提取,得到影像报告特征向量。
优选地,所述经过训练后的向量模型采用词向量工具对所述每组数据中的影像报告进行特征提取,得到所述影像报告特征向量。
在一些可行的实施方式中,所述经过训练后的向量模型采用历史影像报告作为文本训练语料,利用Word2Vec工具进行向量模型的预训练。此外,影像报告特征的提取不限于使用向量模型,还可以选择词袋模型等其他模型。
S403:将所述影像报告特征向量输入至分类器中进行分类,得到报告分类结果。
在一些可行的实施方式中,分类器的构建可以直接选用经典的分类模型诸如朴素贝叶斯、决策树、逻辑回归、支持向量机等,也可以利用多层感知机(MultilayerPerception,MLP)、卷积神经网络(ConvolutionalNeural Network,CNN)、循环神经网络(RecurrentNeuralNetwork,RNN)等神经网络。
S404:将所述报告分类结果按照预设的形式进行结构化处理,得到所述第二识别结果。
其中,所述第二识别结果包括:所述每组数据中的影像报告的序号标识、用户标识、器官标识、疾病标识和疾病特征。
可以理解的是,所述第二识别结果的序号标识表示的序号与所述影像报告的序号一致,所述器官表示的内容表示利用自然语言处理的语义分析方法对影像报告内容进行分析得到的所包含的器官组织的类别和/或属性,所述疾病标识和疾病特征的内容表示了对所述器官组织的病灶检测结果。
在一些可行的实施方式中,所述结构化处理可以包括对影像报告中的词句进行同义替换等步骤,从而获得符合医学用语标准的第二识别结果。具体地,将所述报告分类结果进行实体抽取得到实体映射,并通过预先建立的医学数据库或医学词典将实体映射转换为标准格式的内容,从而得到结构化的第二识别结果。同时,所述结构化处理还可以包括对语句表达的顺序进行处理等,具体地,所述第二识别结果的语句可以按照一定的顺序示出,例如“序号+用户+器官+疾病特征”的顺序。
S107:将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果。
可以理解的是,所述目标识别结果是针对多组数据中所有目标影像的正确检测结果,并将其作为统计样本集中的标准样本。
进一步地,如图5所示,本发明实施例中步骤S107可以包括以下步骤:
S501:将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对,得到比对结果。
在一些可行的实施方式中,将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对,具体地,可以利用自然语言处理的相关技术进行文本字符或语义的匹配对比,得到比对结果。所述比对结果可以包括对应的该组数据的器官(器官一致性)、疾病(疾病一致性)、总体一致度等信息。
在一具体实施方式中,一组数据中的目标影像为胸部X光片,得到的第一识别结果是“01张XX患者左肺患有肺炎”,该组数据中的影像报告为张华医生根据该组数据中的胸部X光片出具,得到的第二识别结果是“01张XX患者右肺患有肺炎”,将第一识别结果和第二识别结果比对,得到的比对结果为“肺(器官不一致);肺炎(疾病一致);总体一致度为50%”。
S502:在比对结果表示所述第一识别结果和第二识别结果的一致度大于等于预设阈值时,获取相应的第一识别结果作为第一目标识别结果。
可以理解的是,当一组数据中的第一识别结果和第二识别结果符合预设的一致度要求时,将所述第一识别结果作为针对该组数据的正确检测结果,并将其作为统计分析过程中该组数据的第一目标识别结果。
S503:在比对结果表示所述第一识别结果和第二识别结果的一致度小于预设阈值时,获取相应的目标影像和/或第一识别结果和/或第二识别结果作为待核实数据。
可以理解的是,当一组数据中的第一识别结果和第二识别结果不符合预设的一致度要求时,表明无法确定该组数据的正确检测结果,需要向第三方发送针对该组数据的核实请求,第三方可以是经验更丰富的专家级医生。该预设阈值包括但不限于为90%~100%中任意值。
在一具体实施方式中,预设阈值可以预设为100%。图7是本发明实施例提供的另一种影像报告分析的流程图,如图7所示,根据所述目标用户的多组数据得到对应的第一识别结果和第二识别结果的过程可以采用如图1所示的方法步骤,在此不再赘述。
当对某组数据的第一识别结果和第二识别结果进行比对时,一致度预设为100%,则当第一识别结果和第二识别结果完全一致时将该组数据的第一识别结果作为该组数据的目标识别结果;有一处不一致即一致度小于100%时则需要将该组数据作为待核实数据发送给第三方,并获取第三方的核实结果,再将核实结果作为该组数据的目标识别结果也即正确的检测结果。根据多组数据的第二识别结果和对应的目标识别结果生成统计样本集,可以得到目标用户对医学影像的阅片水平的分析结果。
S504:发送针对所述待核实数据的核实请求。
S505:获取响应于所述核实请求的核实结果,将所述核实结果作为第二目标识别结果。
可以理解的是,第三方根据待核实数据重新出具影像报告,根据重新出具的影像报告得到所述核实结果。类似于第二识别结果的获得过程,根据重新出具的影像报告,可以利用自然语言处理的语义分析技术进行文本的预处理、文本特征的提取和文本特征的分类得到所述核实结果。将所述核实结果确定为待核实数据的正确检测结果,并将其作为统计过程中待核实数据的第二目标识别结果。
S506:根据所述第一目标识别结果和所述第二目标识别结果得到目标识别结果。
可以理解的是,所述目标识别结果具有与对应的第一识别结果和/或第二识别结果相同的序号和用户,所述目标识别结果的器官标识表示了正确的检测结果中所针对的器官组织类别和/或属性,所述目标识别结果的疾病特征表示了对所述器官的病灶检测的正确结果。
S109:根据所述第二识别结果和目标识别结果生成统计样本集。
在一些可行的实施方式中,为了量化评估目标用户的检测水平,统计样本集包括待分析样本子集和标准结果样本子集,将根据目标用户提供的影像报告得到的第二识别结果作为待分析样本子集,将利用本发明实施例中上述方法得到的针对多组数据的正确检测结果也即目标识别结果作为标准结果样本子集。
优选地,所述统计样本集中的每一条统计样本包括:序号标识、用户标识、器官标识、疾病标识和疾病特征。
S111:基于所述统计样本集进行统计分析,得到针对所述目标用户的影像报告的分析结果。
进一步地,如图6所示,本发明实施例步骤S111可以包括以下步骤:
S601:获取目标用户的用户标识和目标疾病的疾病标识。
在一些可行的实施方式中,当所述目标影像的类别为胸部X光片时,所述疾病标识的内容包括但不限于肺炎、肺不张、心肌肿大、水肿、积液、气肿、纤维症、疝气、结节、胸膜增厚、气胸等。
S602:根据所述目标用户的用户标识和所述目标疾病的疾病标识从所述统计样本集中获取对应的统计样本作为目标统计样本集。
在一些可行的实施方式中,所述目标统计样本集中包含待分析样本和标准结果样本。待分析样本根据符合用户标识和疾病标识的第二识别结果得到,标准结果样本根据符合用户标识和疾病标识的目标识别结果得到。
S603:根据所述目标统计样本集进行分析,得到针对所述目标用户和所述目标疾病的分析结果。
在一些可行的实施方式中,目标用户可以具有至少一个子标识,子标识可以代表目标用户所属的科室和/或所属的医院。通过对子标识生成目标统计样本集,可以获得科室或医院对目标疾病的分析结果。
优选地,针对所述目标用户和所述目标疾病的分析结果包括以下至少之一:检出率、漏检率、特异度和敏感度。
在一些可行的实施方式中,在医学检测领域中,检出率表示病人实际有病被正确地判为有病的百分比。漏检率表示病人实际有病被错误地判为无病的百分比。特异度表示实际无病按照该筛选试验的检测标准被正确地判为无病的百分比。敏感度表示实际有病按照该筛选试验的检测标准被正确的判为有病的百分比。上述指标反映了用户确定检查对象患病情况的能力,可以通过上述步骤S602中目标统计样本集中符合相应条件的样本数计算得到。
在一具体实施方式中,有目标用户的100组数据。通过图像分析识别技术和自然语言处理技术得到的识别结果如下表1所示。
表1针对100组数据的识别结果统计表
对识别结果不一致的第51-100组数据进行核实,得到的核实结果如下表2所示:
患有心肥大的组 未患有心肥大的组
第51-80组 第51-70组 第71-80组
第81-100组 第81-95组 第96-100组
表2针对第51-100组数据的核实结果统计表
根据上述表1和表2中的数据所示,在1-100组数据中,出具影像报告的医生判定第1-50组和第81-100组患有心肥大,第51-80组未患有心肥大。而根据识别结果一致情况和核实结果,实际患有心肥大的有第1-50组、第51-70组和第81-95组共85组,出具影像报告的医生正确地检出了其中的第1-50组和第81-95组共65组,第51-70组被医生错误地判定为未患有心肥大;实际未患有心肥大的有第71-80组和第96-100组共15组,出具影像报告的医生正确地检出了其中的第71-80组共10组未患有心肥大,第96-100组共5组被医生错误的判定为患有心肥大。
故该出具影像报告的医生针对心肥大的检出率为65/85*100%≈76.47%,漏检率为(85-65)/85*100%≈23.53%,特异度为10/15*100%≈66.67%,敏感度为65/85*100%≈76.47%。
在上述一具体实施方中,可以认为,针对心肥大这一疾病的医学影像,提供数据的目标用户阅片水平较低,需要针对心肥大这一疾病进行阅片能力的训练。
可以理解的是,通过批量数据得到目标用户对目标疾病检测准确性的分析结果并将其反馈给医生,可以让医生通过分析结果针对性地对某些疾病的医学影像的阅片能力进行训练,从而提升阅片水平。
在一些可行的实施方式中,分析结果还可以包括针对某一用户和/或针对某一疾病的检测水平的平均值、方差,或是针对多种疾病的检测水平的相关性等,可以通过应用一般统计分析方法得到分析结果。
本发明实施例还提供了一种影像报告分析装置,如图8所示,所述装置包括:
获取模块801,用于获取多组数据,所述多组数据中的每组数据包含目标影像和目标用户的影像报告。
第一识别模块802,用于利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果。
进一步地,所述第一识别模块802利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果包括:
将所述每组数据中的目标影像输入至经过训练后的神经网络进行分类,得到影像分类结果;
将所述影像分类结果按照预设的形式进行结构化处理,得到所述第一识别结果;
其中,所述第一识别结果包括以下至少之一:所述每组数据中的目标影像的序号标识、器官标识、疾病标识和疾病特征。
优选地,所述第一识别模块802中所述经过训练后的神经网络采用密集神经网络、残差神经网络或者压缩与激活网络其中任意一种作为分类网络的骨干网络,对所述每组数据中的目标影像进行分类,得到所述影像分类结果。
第二识别模块803,用于将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果。
进一步地,所述第二识别模块803将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果还包括:
对所述每组数据中的影像报告进行预处理,得到待分析的报告数据;
将所述待分析的报告数据输入至经过训练后的向量模型中进行特征提取,得到影像报告特征向量;
将所述影像报告特征向量输入至分类器中进行分类,得到报告分类结果;
将所述报告分类结果按照预设的形式进行结构化处理,得到所述第二识别结果;
其中,所述第二识别结果包括以下至少之一:所述每组数据中的影像报告的序号标识、用户标识、器官标识、疾病标识和疾病特征。
优选地,所述第二识别模块803中所述经过训练后的向量模型采用词向量工具对所述每组数据中的影像报告进行特征提取,得到所述影像报告特征向量。
第一分析模块804,用于将所述多组数据中的每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果。
进一步地,所述将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行准确性分析,得到目标识别结果包括:
将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对,得到比对结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度大于等于预设阈值时,获取相应的第一识别结果作为第一目标识别结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度小于预设阈值时,获取相应的目标影像和/或第一识别结果和/或第二识别结果作为待核实数据;
发送针对所述待核实数据的核实请求;
获取响应于所述核实请求的核实结果,将所述核实结果作为第二目标识别结果;
根据所述第一目标识别结果和所述第二目标识别结果得到目标识别结果,所述目标识别结果作为所述第一分析模块804的输出。
样本生成模块805,用于根据所述第二识别结果和所述目标识别结果生成统计样本集。
优选地,所述样本生成模块805输出的所述统计样本集中的每一条统计样本包括以下至少之一:序号标识、用户标识、器官标识、疾病标识和疾病特征。
统计分析模块806,用于基于所述统计样本集进行统计分析,得到针对所述目标用户的影像报告的分析结果。
进一步地,所述统计分析模块806基于所述统计样本集进行统计分析,得到分析结果包括:
获取目标用户的用户标识和目标疾病的疾病标识;
根据所述目标用户的用户标识和所述目标疾病的疾病标识从所述统计样本集中获取对应的统计样本作为目标统计样本集;
根据所述目标统计样本集进行分析,得到针对所述目标用户和所述目标疾病的分析结果,所述分析结果作为所述统计分析模块806的输出。
优选地,所述统计分析模块806输出的所述分析结果包括以下至少之一:检出率、漏检率、特异度和敏感度。
本发明实施例所述的一种影像报告分析装置与方法实施例基于相同的发明构思,详情请参考方法实施例,在此不再赘述。
本发明实施例提供了一种影像报告分析***,所述***包括本发明实施例所提供的影像报告分析装置,所述***能应用于各种终端设备中提供针对所述目标用户的影像报告的分析结果。
本发明实施例还提供了一种计算机设备,所述设备包括:处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现本发明实施例所述的一种影像报告分析方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用。存储器可主要包括存储程序区和存储数据区,其中存储程序区可存储操作***、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个存盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行,即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。图9是本发明实施例提供的运行一种影像报告分析方法的计算机设备的硬件结构框图,如图9所示,该计算机设备的内部结构可包括但不限于:处理器、网络接口及存储器。其中,计算机设备的处理器、网络接口及存储器可通过总线或其他方式连接,在本说明书实施例所示图9中以通过总线连接为例。
其中,处理器(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等)。存储器(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器可以是高速RAM存储设备,也可以是非不稳定的存储设备(non-volatile memory),例如至少一个磁盘存储设备;可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间,该存储空间存储了电子设备的操作***,可包括但不限于:Windows操作***,Linux操作***,Android操作***,IOS操作***,本发明对此并不作限定;并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中,处理器加载并执行存储器中存放的一条或一条以上指令,以实现上述方法实施例提供的一种影像报告分析方法。
本发明实施例还提供了一种计算机存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种影像报告分析方法。
可选地,在实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、***和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,硬盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种影像报告分析方法,其特征在于,所述方法包括:
获取多组数据,所述多组数据中的每组数据包含目标影像和目标用户的影像报告;
利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果;
将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果;
将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对分析,得到目标识别结果;
根据所述第二识别结果和所述目标识别结果生成统计样本集;
基于所述统计样本集进行统计分析,得到针对所述目标用户的影像报告的分析结果。
2.根据权利要求1所述的影像报告分析方法,其特征在于,所述将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对分析,得到目标识别结果包括:
将所述多组数据中每组数据对应的第一识别结果和第二识别结果进行比对,得到比对结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度大于等于预设阈值时,获取相应的第一识别结果作为第一目标识别结果;
在比对结果表示所述第一识别结果和第二识别结果的一致度小于预设阈值时,获取相应的目标影像和/或第一识别结果和/或第二识别结果作为待核实数据;
发送针对所述待核实数据的核实请求;
获取响应于所述核实请求的核实结果,将所述核实结果作为第二目标识别结果;
根据所述第一目标识别结果和所述第二目标识别结果得到目标识别结果。
3.根据权利要求1所述的影像报告分析方法,其特征在于,
所述统计样本集中的每一条统计样本包括以下至少之一:序号标识、用户标识、器官标识、疾病标识和疾病特征;
所述基于所述统计样本集进行统计分析,得到分析结果包括:
获取目标用户的用户标识和目标疾病的疾病标识;
根据所述目标用户的用户标识和所述目标疾病的疾病标识从所述统计样本集中获取对应的统计样本作为目标统计样本集;
根据所述目标统计样本集进行分析,得到针对所述目标用户和所述目标疾病的分析结果。
4.根据权利要求3所述的影像报告分析方法,其特征在于,所述分析结果包括以下至少之一:检出率、漏检率、特异度和敏感度。
5.根据权利要求1所述的影像报告分析方法,其特征在于,所述利用神经网络对所述每组数据中的目标影像进行图像识别,得到第一识别结果包括:
将所述每组数据中的目标影像输入至经过训练后的神经网络进行分类,得到影像分类结果;
将所述影像分类结果按照预设的形式进行结构化处理,得到所述第一识别结果;
其中,所述第一识别结果包括以下至少之一:所述每组数据中的目标影像的序号标识、器官标识、疾病标识和疾病特征。
6.根据权利要求5所述的影像报告分析方法,其特征在于,
所述经过训练后的神经网络采用密集神经网络、残差神经网络或者压缩与激活网络其中任意一种作为分类网络的骨干网络,对所述每组数据中的目标影像进行分类,得到所述影像分类结果。
7.根据权利要求1所述的影像报告分析方法,其特征在于,所述将所述每组数据中的影像报告进行基于文本特征的识别,得到第二识别结果还包括:
对所述每组数据中的影像报告进行预处理,得到待分析的报告数据;
将所述待分析的报告数据输入至经过训练后的向量模型中进行特征提取,得到影像报告特征向量;
将所述影像报告特征向量输入至分类器中进行分类,得到报告分类结果;
将所述报告分类结果按照预设的形式进行结构化处理,得到所述第二识别结果;
其中,所述第二识别结果包括以下至少之一:所述每组数据中的影像报告的序号标识、用户标识、器官标识、疾病标识和疾病特征。
8.根据权利要求7所述的影像报告分析方法,其特征在于,
所述经过训练后的向量模型采用词向量工具对所述每组数据中的影像报告进行特征提取,得到所述影像报告特征向量。
9.一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1至8任一项所述的一种影像报告分析方法。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至8任一项所述的一种影像报告分析方法。
CN201911345502.7A 2019-12-24 2019-12-24 一种影像报告分析方法、设备及计算机存储介质 Active CN111192660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911345502.7A CN111192660B (zh) 2019-12-24 2019-12-24 一种影像报告分析方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911345502.7A CN111192660B (zh) 2019-12-24 2019-12-24 一种影像报告分析方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111192660A CN111192660A (zh) 2020-05-22
CN111192660B true CN111192660B (zh) 2023-10-13

Family

ID=70709357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911345502.7A Active CN111192660B (zh) 2019-12-24 2019-12-24 一种影像报告分析方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111192660B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164446B (zh) * 2020-10-13 2022-04-22 电子科技大学 一种基于多网络融合的医疗影像报告生成方法
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN112991320B (zh) * 2021-04-07 2022-04-01 德州市人民医院 脑出血患者血肿扩大风险预测***及方法
CN115880294B (zh) * 2023-02-22 2023-06-13 广州高通影像技术有限公司 基于内镜影像的一体化处理方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063919A (ja) * 2010-09-15 2012-03-29 Fujifilm Corp 医用レポート評価装置、医用レポート評価方法、医用レポート評価プログラム、並びに医用ネットワークシステム
CN108171272A (zh) * 2018-01-12 2018-06-15 上海东软医疗科技有限公司 一种医学影像技术的评价方法和装置
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN109460756A (zh) * 2018-11-09 2019-03-12 天津新开心生活科技有限公司 医学影像处理方法、装置、电子设备及计算机可读介质
CN109564779A (zh) * 2016-07-15 2019-04-02 皇家飞利浦有限公司 用于评价医学设备质量的装置
CN109830284A (zh) * 2017-11-23 2019-05-31 天启慧眼(北京)信息技术有限公司 医学影像的分析方法及装置
CN110033859A (zh) * 2018-01-12 2019-07-19 西门子医疗有限公司 评估患者的医学检查结果的方法、***、程序和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063919A (ja) * 2010-09-15 2012-03-29 Fujifilm Corp 医用レポート評価装置、医用レポート評価方法、医用レポート評価プログラム、並びに医用ネットワークシステム
CN109564779A (zh) * 2016-07-15 2019-04-02 皇家飞利浦有限公司 用于评价医学设备质量的装置
CN109830284A (zh) * 2017-11-23 2019-05-31 天启慧眼(北京)信息技术有限公司 医学影像的分析方法及装置
CN108171272A (zh) * 2018-01-12 2018-06-15 上海东软医疗科技有限公司 一种医学影像技术的评价方法和装置
CN110033859A (zh) * 2018-01-12 2019-07-19 西门子医疗有限公司 评估患者的医学检查结果的方法、***、程序和存储介质
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN109460756A (zh) * 2018-11-09 2019-03-12 天津新开心生活科技有限公司 医学影像处理方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
CN111192660A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
Umri et al. Detection of COVID-19 in chest X-ray image using CLAHE and convolutional neural network
US9317918B2 (en) Apparatus, method, and computer program product for medical diagnostic imaging assistance
US10733727B2 (en) Application of deep learning for medical imaging evaluation
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN109840280B (zh) 一种文本分类方法、装置及计算机可读存储介质
CN110472049B (zh) 疾病筛查文本分类方法、计算机设备和可读存储介质
US11699508B2 (en) Method and apparatus for selecting radiology reports for image labeling by modality and anatomical region of interest
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及***
CN111709485A (zh) 医学影像处理方法、装置和计算机设备
Bhuvaneswari et al. Classification of lung diseases by image processing techniques using computed tomography images
Kisilev et al. Semantic description of medical image findings: structured learning approach.
CN113656706A (zh) 基于多模态深度学习模型的信息推送方法及装置
CN112530550A (zh) 影像报告生成方法、装置、计算机设备和存储介质
CN112699230A (zh) 一种恶性肿瘤诊疗知识获取方法及装置
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
CN115719334A (zh) 基于人工智能的医学影像评价方法、装置、设备及介质
Karwande et al. Chexrelnet: An anatomy-aware model for tracking longitudinal relationships between chest x-rays
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
CN104933446B (zh) 一种用于计算机辅助诊断乳腺b超特征有效性验证的方法
US11386991B2 (en) Methods and apparatus for artificial intelligence informed radiological reporting and model refinement
CN116737977A (zh) 图像检索方法、装置、设备及介质
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和***
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant