CN111008957A - 医疗信息处理方法和装置 - Google Patents

Abstract

申请实施例提供了一种医疗信息处理方法、装置、电子设备和计算机可读存储介质，解决了现有医疗信息处理方式仅依赖医学影像获取的医疗分析信息不够全面且不够准确的问题。该医疗信息处理方法包括：将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出的图像特征向量，其中所述图像特征提取模型为通过训练过程建立的卷积神经网络模型；将临床文本信息通过编码过程转变成临床信息特征向量，其中，所述临床信息特征向量的每个维度上的向量取值用于表征所述临床文本信息中的一种临床信息；拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量；以及基于第一全连接层对所述拼接向量进行处理以获取分类结果。

Description

医疗信息处理方法和装置

技术领域

本申请涉及人工智能技术领域，具体涉及一种医疗信息处理方法、装置、 电子设备和计算机可读存储介质。

背景技术

随着信息技术的不断发展，临床医生往往需要借助医学影像来获取医疗 分析信息，以辅助进行疾病的诊断。但是仅考虑医学影像中的图像特征，对 于复杂的医疗应用场景是并不足够的。因为在实际的医生问诊场景中，很多 信息其实是通过病人的描述，医生加以汇总得到的非医学影像信息，医学影 像仅仅是辅助医生进行诊断的一个手段。因此，当无法结合病人病史信息， 而只对医疗图像进行分析时就会损失很多非图像信息，从而导致获取到的医 疗分析信息不够全面且不够准确。

发明内容

有鉴于此，本申请实施例提供了一种医疗信息处理方法、装置、电子设 备和计算机可读存储介质，解决了现有医疗信息处理方式仅依赖医学影像获 取的医疗分析信息不够全面且不够准确的问题。

根据本申请的一个方面，本申请一实施例提供的一种医疗信息处理方法 包括：将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出 的图像特征向量，其中所述图像特征提取模型为通过训练过程建立的卷积神 经网络模型；将临床文本信息通过编码过程转变成临床信息特征向量，其中， 所述临床信息特征向量的每个维度上的向量取值用于表征所述临床文本信 息中的一种临床信息；拼接所述图像特征向量和所述临床信息特征向量以得 到拼接向量；以及基于第一全连接层对所述拼接向量进行处理以获取分类结 果。

在本申请一实施例中，在拼接所述图像特征向量和所述临床信息特征向 量以得到拼接向量之前，所述方法进一步包括：基基于第二全连接层对所述 临床信息特征向量进行处理以扩展所述临床信息特征向量的维度数量。

在本申请一实施例中，所述图像特征向量的维度数量为1024维，所述 临床信息特征向量经过扩展后的维度数量为128维。

在本申请一实施例中，所述图像特征提取模型为图像检测模型，其中， 所述将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出 的图像特征向量包括：将医学影像输入第一卷积神经网络以获得第一特征 图，其中所述第一卷积神经网络包括至少一个第一卷积层和至少一个第一池 化层；以及将所述第一特征图中的感兴趣区域输入感兴趣区域池化层，以获 取所述感兴趣区域池化层输出的感兴趣区域特征向量作为所述图像特征向 量。

在本申请一实施例中，所述图像特征提取模型为图像分类模型，其中， 所述将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出 的图像特征向量包括：将医学影像输入第二卷积神经网络以获得所述图像特 征向量。

在本申请一实施例中，所述将临床文本信息通过编码过程转变成临床信 息特征向量包括：根据所述临床文本信息中的临床信息的类别确定对应的编 码方式，以所述对应的编码方式对所述临床文本信息中的临床信息进行编 码。

在本申请一实施例中，所述临床文本信息中的一种临床信息包括多个彼 此互斥的离散取值，其中，所述以所述对应的编码方式对所述临床文本信息 中的临床信息进行编码包括：将所述多个彼此互斥的离散取值分别编码为与 该所述临床信息对应的单个维度上的不同的向量取值。

在本申请一实施例中，所述临床文本信息中的一种临床信息以量化取值 表征，其中，所述以所述对应的编码方式对所述临床文本信息中的临床信息 进行编码包括：将所述临床文本信息中的一种临床信息的量化取值统一单 位；以及所述临床信息特征向量中与该所述临床信息对应的维度上的向量取 值＝(所述量化取值-该所述临床信息的最低量化取值)/该所述临床信息的最 大量化取值。

在本申请一实施例中，所述临床文本信息中的一种临床信息包括多种不 同的状态信息，其中，所述以所述对应的编码方式对所述临床文本信息中的 临床信息进行编码包括：将所述多种不同的状态信息中的每种状态信息编码 为与该所述临床信息对应的多个维度上的向量取值，其中，所述状态信息与 所述多个维度的一种向量取值组合方式唯一对应。

根据本申请的另一个方面，本申请一实施例提供一种医疗信息处理装 置，包括：图像特征向量获取模块，配置为将医学影像输入图像特征提取模 型以获取所述图像特征提取模型输出的图像特征向量，其中所述图像特征提 取模型为通过训练过程建立的卷积神经网络模型；临床信息特征向量获取模 块，配置为将临床文本信息通过编码过程转变成临床信息特征向量，其中， 所述临床信息特征向量的每个维度上的向量取值用于表征所述临床文本信 息中的一种临床信息；拼接模块，配置为拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量；以及分类模块，配置为基于第一全连接层对 所述拼接向量进行处理以获取分类结果。

在本申请一实施例中，所述装置进一步包括：维度扩展模块，配置为在 拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量之前，基基 于第二全连接层对所述临床信息特征向量进行处理以扩展所述临床信息特 征向量的维度数量。

在本申请一实施例中，所述图像特征向量的维度数量为1024维，所述 临床信息特征向量经过扩展后的维度数量为128维。

在本申请一实施例中，所述图像特征提取模型为图像检测模型，其中， 所述图像检测模型包括：第一卷积神经网络，配置为基于所述医学影像输出 第一特征图，其中所述第一卷积神经网络包括至少一个第一卷积层和至少一 个第一池化层；以及感兴趣区域池化层，配置为基于所述第一特征图中的感 兴趣区域输出感兴趣区域特征向量作为所述图像特征向量。

在本申请一实施例中，所述图像特征提取模型为图像分类模型，其中， 所述图像分类模型包括：第二卷积神经网络，配置为基于所述医学影像输出 所述图像特征向量。

在本申请一实施例中，所述临床信息特征向量获取模块进一步配置为：

将所述临床文本信息中的一种临床信息的多种不同离散状态信息分别 编码为与该所述临床信息对应的单个维度上的不同的向量取值。

在本申请一实施例中，所述临床信息特征向量获取模块进一步配置为：

将所述临床文本信息中的一种临床信息的量化取值统一单位；以及

所述临床信息特征向量中与该所述临床信息对应的维度上的向量取值＝ (所述量化取值-该所述临床信息的最低量化取值)/该所述临床信息的最大 量化取值。

在本申请一实施例中，所述临床信息特征向量获取模块进一步配置为：

将所述临床文本信息中一种临床信息的多种不同离散状态信息中的每 种离散状态信息编码为与该所述临床信息对应的多个维度上的向量取值，其 中，所述离散状态信息与所述多个维度的一种向量取值组合方式唯一对应。

根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括： 处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令 在被处理器运行时使得处理器执行如上述任一项所述的医疗信息处理方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介 质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指 令在被处理器运行时使得所述处理器执行如前任一所述的医疗信息处理方 法。

根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品， 包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执 行如上述任一所述的医疗信息处理方法。

本申请实施例提供的一种医疗信息处理方法、装置、电子设备和计算机 可读存储介质，不仅通过图像特征提取模型提取医学影像中的图像特征向 量，还将可能记录有病人病史病历等非医学影像信息的临床文本信息转换为 临床信息特征向量，并通过向量拼接的方式拼接图像特征向量和临床信息特 征向量以获得拼接向量。这样该拼接向量便包括了医学影像的特征信息以及 临床文本信息的特征信息，通过基于该拼接向量利用第一全连接层进行分 类，便可获得综合了医学影像和临床文本信息的分类结果作为医疗分析信息。相比于单纯依赖医学影像获得医疗分析信息，本申请实施例所获得的医 疗分析信息更为全面和准确。

附图说明

图1所示为本申请一实施例提供的一种医疗信息处理方法的流程示意 图。

图2所示为本申请另一实施例提供的一种医疗信息处理方法的流程示 意图。

图3所示为本申请另一实施例提供的一种医疗信息处理方法的流程示 意图。

图4所示为本申请另一实施例提供的一种医疗信息处理方法的流程示 意图。

图5所示为本申请一实施例提供的医疗信息处理装置的结构示意图。

图6所示为本申请另一实施例提供的医疗信息处理装置的结构示意图。

图7所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不 是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出 创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

申请概述

如上所述，现有的医疗信息处理方式虽然能够依赖医学影像信息获得医 疗分析信息，但由于无法参考病人的病历病史等非医疗影像信息，所获得的 医疗分析信息是不够全面且不够准确的。针对上述的技术问题，本申请提供 了一种医疗信息处理方式，期望在对医学影像进行分析的同时融入临床文本 信息的分析过程。由于临床文本信息的数据量往往较小，增加临床文本信息 不会影响医学影像分析的速度，却能够有效提高获得的医疗分析信息的准确 率。具体而言，不仅通过图像特征提取模型提取医学影像中的图像特征向量， 还将可能记录有病人病史病历等非医学影像信息的临床文本信息转换为临 床信息特征向量，并通过向量拼接的方式以获得综合了医学影像和临床文本 信息的分类结果作为医疗分析信息。相比于单纯依赖医学影像获得医疗分析 信息，本申请实施例所获得的医疗分析信息则更为全面和准确。

应当理解，本申请实施例所提供的医疗信息处理方式，适用于任何有医 学影像参与的医疗信息分析场景。医学影像本身的内容可根据实际的应用场 景需求而调整，例如可为骨科的骨折检查场景下的透射影像，或者妇科的乳 腺检查场景下的透射影像。本申请对该医疗信息处理方式所适用的具体医疗 信息分析场景并不做严格限定。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的 各种非限制性实施例。

示例性医疗信息处理方法

图1所示为本申请一实施例提供的一种医疗信息处理方法的流程示意 图。如图1所示，该医疗信息处理方法包括如下步骤：

步骤101：将医学影像输入图像特征提取模型以获取图像特征提取模型 输出的图像特征向量，其中图像特征提取模型为通过训练过程建立的卷积神 经网络模型。

图像特征向量可看作是高维空间中的一个点，这个点在每个维度上的取 值都可看作用于表征该医学影像一个方面的特征，所有维度上的取值综合起 来便用于表征该医学影像的整体或一部分。

图像特征提取模型为用于基于医学影像获取图像特征向量的人工智能 模型，图像特征提取模型可采用卷积神经网络架构(例如，可采用Faster R-CNN(更快速的区域卷积神经网络)模型)，通过预先的训练过程建立。 例如，可将医学影像样本输入该卷积神经网络中以获取输出的图像特征向量 样本，并将这些图像特征向量样本与标准图像特征向量进行比对以计算模型 的损失，并以反向传播的方式不断迭代优化直至满足回归精度。在经过大量 的医学影像样本训练后便可使得该卷积神经网络具备基于医学影像获取图 像特征向量的能力。应当理解，图像特征提取模型的具体类别和架构可根据 实际应用场景的需求而调整，本申请对图像特征提取模型的具体类别和架构 不做严格限定。

步骤102：将临床文本信息通过编码过程转变成临床信息特征向量，其 中，临床信息特征向量的每个维度上的向量取值用于表征临床文本信息中的 一种临床信息。

临床文本信息为记录有病人个人信息、病史、病历和就诊记录等非医学 影像信息的文本信息。临床文本信息可以直接通过第三方获取，也可通过其 他媒体形式的信息转化而来。通过编码过程便可将临床文本信息中临床信息 的内容以代码的形式表征出来，代码的取值可看作高维空间中一个点在一个 维度上的取值，这样所有代码的取值便对应一个高维空间内的临床信息特征 向量。应当理解，临床信息特征向量的维度数量和在每个维度上的取值可根 据临床文本信息的内容和具体的编码方式而调整，本申请对临床信息特征向 量的具体维度数量和在每个维度上的编码取值方式不做严格限定。

还应当理解，临床文本信息的内容可根据实际的医疗分析场景而调整， 例如在骨科的骨折检查场景，临床文本信息的内容就可包括病人性别、年龄、 胸部疼痛检查结果、肋骨骨折复查结果和肺结节复查结果等。本申请对临床 文本信息的具体内容同样不做严格限定。

步骤103：拼接图像特征向量和临床信息特征向量以得到拼接向量。

图像特征向量用于表征医学影像，临床信息特征向量用于表征临床文本 信息，将图像特征向量和临床信息特征向量拼接便可综合医学影像的特征和 临床文本信息的特征，以为后续获取医疗分析信息提供更为全面的数据支 撑。

步骤104：基于第一全连接层对拼接向量进行处理以获取分类结果。

第一全连接层可由卷积操作实现，将学到的“分布式特征表示”映射到 样本标记空间，以在整个卷积神经网络中起到“分类器”的作用。拼接向量 经过第一全连接层的处理便可获得分类结果，分类结果的内容便为医疗分析 信息。

由此可见，本申请实施例提供的一种医疗信息处理方法，不仅通过图像 特征提取模型提取医学影像中的图像特征向量，还将可能记录有病人病史病 历等非医学影像信息的临床文本信息转换为临床信息特征向量，并通过向量 拼接的方式拼接图像特征向量和临床信息特征向量以获得拼接向量。这样该 拼接向量便包括了医学影像的特征信息以及临床文本信息的特征信息，通过 基于该拼接向量利用第一全连接层进行分类，便可获得综合了医学影像和临 床文本信息的分类结果作为医疗分析信息。相比于单纯依赖医学影像获得医 疗分析信息，本申请实施例所获得的医疗分析信息更为全面和准确。

在本申请一实施例中，如图2所示，考虑到临床文本信息的数据内容有 限，所获得到的临床信息特征向量的维度数量可能也是较低的。而若医学图 像本身的分辨率较高，所获得的图像特征向量的维度数量可能是很高的。但 如果临床信息特征向量的维度数量与图像特征向量的维度数量相差过于悬 殊，临床信息特征向量对于最终分类结果的影响就过于小了。因此，为了平 衡临床信息特征向量与图像特征向量之间的维度数量关系，以使得临床信息 特征向量对于最终分类结果产生实质上的影响，在拼接图像特征向量和临床信息特征向量以得到拼接向量之前，该医疗信息处理方法可进一步包括：

步骤201：基于第二全连接层对临床信息特征向量进行处理以扩展临床 信息特征向量的维度数量。第二全连接层可由卷积操作实现，将临床信息特 征向量输入第二全连接层即可扩展临床信息特征向量的维度数量。例如，图 像特征向量的维度数量为1024维，维度数量为64维的临床信息特征向量经 过扩展后的维度数量则可为128维。

在本申请一实施例中，图像特征提取模型为图像检测模型，这意味着图 像特征提取模型所输出的图像特征向量可能并不是用于表征整体的医学影 像，而是医学影像中的感兴趣区域，例如在乳腺肿块检查场景下，就需要在 乳腺影像中检测出乳腺肿块区域并利用图像特征向量进行表征。具体而言， 如图3所示，该将医学影像输入图像特征提取模型以获取图像特征提取模型 输出的图像特征向量的过程可具体包括：

步骤1011：将医学影像输入第一卷积神经网络以获得第一特征图，其 中第一卷积神经网络包括至少一个第一卷积层和至少一个第一池化层。

步骤1012：将第一特征图中的感兴趣区域输入感兴趣区域池化层，以 获取感兴趣区域池化层输出的感兴趣区域特征向量作为图像特征向量。

然后将该感兴趣区域特征向量与临床信息特征向量进行拼接以获得拼 接向量，并基于该拼接向量通过第一全连接层进行分类处理，以获得最终的 医疗分析信息。

在本申请另一实施例中，图像特征提取模型为图像分类模型，这样相比 于前述的图像检测模型就省去了感兴趣区域的提取过程。此时，该将医学影 像输入图像特征提取模型以获取图像特征提取模型输出的图像特征向量的 过程就可包括：将医学影像输入第二卷积神经网络以获得图像特征向量。

在本申请一实施例中，为了进一步提高临床信息特征向量的编码过程的 准确性和效率，可根据临床文本信息中的临床信息的类别确定对应的编码方 式，以对应的编码方式对临床文本信息中的临床信息进行编码。具体而言， 如图4所示，根据临床文本信息在临床信息的类别不同，可采用如下三种不 同的编码方式：

步骤1021：临床文本信息中的一种临床信息包括多个彼此互斥的离散 取值，将多个彼此互斥的离散取值分别编码为与该临床信息对应的单个维度 上的不同的向量取值。

例如，临床文本信息包括病人性别的临床信息，由于病人性别不是男性 就是女性，两个取值是离散取值且彼此互斥，此时可将女性的向量取值编码 为0，而将男性的向量取值编码为1。

步骤1022：临床文本信息中的一种临床信息以量化取值表征，将临床 文本信息中的一种临床信息的量化取值统一单位；以及临床信息特征向量中 与该临床信息对应的维度上的向量取值＝(量化取值-该临床信息的最低量化 取值)/该临床信息的最大量化取值。

例如，临床文本信息包括病人年龄、出现症状时长等临床信息，这些临 床信息的特点是以时间的量化取值表征。为了便于编码，首先将临床信息的 量化取值统一单位，如当临床信息为出现症状时长时，可将具体的量化取值 统一为以天为单位。以出现症状时长为5.5天为例，临床信息的最低量化取 值可为临床病例记录中出现症状时长的最低值1天，临床信息的最大量化取 值可为临床病例记录中出现症状时长的最大值8天，那么该出现症状时长的 量化取值对应的维度上的向量取值＝(5.5-1)/8＝0.5625。

在本申请另一实施例中，该编码过程可通过卷积神经网络来实现，该卷 积神经网络通过预先的训练过程建立。此时，临床信息的最低量化取值和最 大量化取值也可为该卷积神经网络的与该临床信息对应的训练样本中的最 小值和最大值。

步骤1023：临床文本信息中的一种临床信息包括多种不同的状态信息， 将多种不同的状态信息中的每种状态信息编码为与该临床信息对应的多个 维度上的向量取值，其中，状态信息与多个维度的一种向量取值组合方式唯 一对应。

例如，临床文本信息包括相关病史和出现症状等的临床信息，此时可以 根据需要检测和分类的疾病类别进行编码处理。例如对于要进行骨折检查的 病人，需要参考该类病人之前进行透射影像检查的原因，即病史。对于骨折 检查所获取到的病史一般包括如下三种病史形式，车祸造成胸部疼痛、肋骨 骨折复查和肺结节复查。这三种病史形式可以归类为如下三种状态信息：外 伤，复查和骨折无关检查，该三种状态信息则可以分别编码为(1，0，0)、 (0，1，0)和(0，0，1)三种向量取值组合方式。即，对应骨折检查的病 史中的每一种形式都对应唯一的向量取值组合方式，且每种向量取值组合方 式对应三个维度上的三个向量取值。

应当理解，虽然上面给出了三种根据临床文本信息中的临床信息的类别 所确定的对应的编码方式，但在本申请的其他实施例中，基于临床文本信息 获取临床信息特征向量的编码方式也可通过word embedding(词嵌入)，RNN (Recurrent Neural Network，循环神经网络)等多种方式实现，本申请对该 编码方式的具体机制不做限定。

为了验证本申请实施例所提供的医疗信息处理方法的效果，利用收集到 的骨折检测数据，选取了共500名病人进行训练，200名病人进行测试。训 练样本的种类包括新鲜骨折、愈合期骨折和陈旧骨折，样本量分别为：16352， 9604和1103，训练所用的医学影像为CT(Computed Tomography，电子计 算机断层扫描)图像，得到的测试集对比结果如下表所示：

表1为使用本申请实施例所提供的医疗信息处理方法的测试结果

表2为仅依赖CT图像获取医疗分析信息的测试结果

	灵敏度(召回率)	特异度(正确率)	F1值
				新鲜骨折	0.8868	0.6912	0.7769
愈合期骨折	0.8268	0.8457	0.8362
				陈旧骨折	0.1711	0.9286	0.2889

由以上两表可以看出，加入临床文本信息的分析并进行特征向量的融合 后，对三种骨折预测结果都有不同程度的提升，以陈旧骨折最为明显。这表 明，加入临床文本信息的分析能极大的弥补数据量的不足，提高所获得医疗 分析信息的准确率。

示例性医疗信息处理装置

图5所示为本申请一实施例提供的医疗信息处理装置的结构示意图。如 图5所示，该一种医疗信息处理装置50包括：

图像特征向量获取模块501，配置为将医学影像输入图像特征提取模型 以获取所述图像特征提取模型输出的图像特征向量，其中所述图像特征提取 模型为通过训练过程建立的卷积神经网络模型；

临床信息特征向量获取模块502，配置为将临床文本信息通过编码过程 转变成临床信息特征向量，其中，所述临床信息特征向量的每个维度上的向 量取值用于表征所述临床文本信息中的一种临床信息；

拼接模块503，配置为拼接所述图像特征向量和所述临床信息特征向量 以得到拼接向量；以及

分类模块504，配置为基于第一全连接层对所述拼接向量进行处理以获 取分类结果。

在本申请一实施例中，如图6所示，医疗信息处理装置50进一步包括：

维度扩展模块505，配置为在拼接图像特征向量和临床信息特征向量以 得到拼接向量之前，基于第二全连接层对临床信息特征向量进行处理以扩展 临床信息特征向量的维度数量。

在本申请一实施例中，图像特征向量的维度数量为1024维，临床信息 特征向量经过扩展后的维度数量为128维。

在本申请一实施例中，图像特征提取模型为图像检测模型，其中，图像 检测模型包括：

第一卷积神经网络，配置为基于医学影像输出第一特征图，其中第一卷 积神经网络包括至少一个第一卷积层和至少一个第一池化层；以及

感兴趣区域池化层，配置为基于第一特征图中的感兴趣区域输出感兴趣 区域特征向量作为图像特征向量。

在本申请一实施例中，图像特征提取模型为图像分类模型，其中，图像 分类模型包括：第二卷积神经网络，配置为基于医学影像输出图像特征向量。

在本申请一实施例中，临床信息特征向量获取模块502进一步配置为：

将临床文本信息中的一种临床信息的多种不同离散状态信息分别编码 为与该临床信息对应的单个维度上的不同的向量取值。

在本申请一实施例中，临床信息特征向量获取模块502进一步配置为：

将临床文本信息中的一种临床信息的量化取值统一单位；以及

临床信息特征向量中与该临床信息对应的维度上的向量取值＝(量化取 值-该临床信息的最低量化取值)/该临床信息的最大量化取值。

在本申请一实施例中，临床信息特征向量获取模块502进一步配置为：

将临床文本信息中一种临床信息的多种不同离散状态信息中的每种离 散状态信息编码为与该临床信息对应的多个维度上的向量取值，其中，离散 状态信息与多个维度的一种向量取值组合方式唯一对应。

上述医疗信息处理装置50中的各个模块的具体功能和操作已经在上面 参考图1到图4描述的医疗信息处理方法中进行了详细介绍，因此，这里将 省略其重复描述。

需要说明的是，根据本申请实施例的医疗信息处理装置50可以作为一 个软件模块和/或硬件模块而集成到电子设备60中，换言之，该电子设备60 可以包括该医疗信息处理装置50。例如，该医疗信息处理装置50可以是该 电子设备60的操作***中的一个软件模块，或者可以是针对于其所开发的 一个应用程序；当然，该医疗信息处理装置50同样可以是该电子设备60的 众多硬件模块之一。

在本申请另一实施例中，该医疗信息处理装置50与该电子设备60也可 以是分立的设备(例如，服务器)，并且该医疗信息处理装置50可以通过 有线和/或无线网络连接到该电子设备60，并且按照约定的数据格式来传输 交互信息。

示例性电子设备

图7所示为本申请一实施例提供的电子设备的结构示意图。如图7所示， 该电子设备60包括：一个或多个处理器601和存储器602；以及存储在存 储器602中的计算机程序指令，计算机程序指令在被处理器601运行时使得 处理器601执行如上述任一实施例的医疗信息处理方法。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或 指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件 以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以 包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存 储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲 存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、 硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指 令，处理器601可以运行程序指令，以实现上文的本申请的各个实施例的医疗信息处理方法中的步骤以及/或者其他期望的功能。在计算机可读存储介 质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备60还可以包括：输入装置603和输出装置604， 这些组件通过总线***和/或其他形式的连接机构(图7中未示出)互连。

例如，在该电子设备是如工业生产线上的机器人时，该输入装置603可 以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该 输入装置603可以是通信网络连接器，用于从外部的可移动设备接收所采集 的输入信号。此外，该输入装置603还可以包括例如键盘、鼠标、麦克风等 等。

该输出装置604可以向外部输出各种信息，例如可以包括例如显示器、 扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备60中与本申请有关的组 件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根 据具体应用情况，电子设备60还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品， 包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如 上述任一实施例的医疗信息处理方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用 于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设 计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C” 语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、 部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设 备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执 行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算 机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上 述“示例性医疗信息处理方法”部分中描述的根据本申请各种实施例的医疗 信息处理方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介 质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不 限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意 以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一 个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、 只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上 述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是， 在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优 点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具 体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限 制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子 并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。 如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、 装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇， 指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词 汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用 的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是 可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方 案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或 者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而 易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范 围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的 原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本 申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和 实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子 组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本 申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请 的保护范围之内。

Claims (12)

1.一种医疗信息处理方法，其特征在于，包括：

将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出的图像特征向量，其中所述图像特征提取模型为通过训练过程建立的卷积神经网络模型；

将临床文本信息通过编码过程转变成临床信息特征向量，其中，所述临床信息特征向量的每个维度上的向量取值用于表征所述临床文本信息中的一种临床信息；

拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量；以及

基于第一全连接层对所述拼接向量进行处理以获取分类结果。

2.根据权利要求1所述的方法，其特征在于，在拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量之前，所述方法进一步包括：

基基于第二全连接层对所述临床信息特征向量进行处理以扩展所述临床信息特征向量的维度数量。

3.根据权利要求2所述的方法，其特征在于，所述图像特征向量的维度数量为1024维，所述临床信息特征向量经过扩展后的维度数量为128维。

4.根据权利要求1所述的方法，其特征在于，所述图像特征提取模型为图像检测模型，其中，所述将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出的图像特征向量包括：

将医学影像输入第一卷积神经网络以获得第一特征图，其中所述第一卷积神经网络包括至少一个第一卷积层和至少一个第一池化层；以及

将所述第一特征图中的感兴趣区域输入感兴趣区域池化层，以获取所述感兴趣区域池化层输出的感兴趣区域特征向量作为所述图像特征向量。

5.根据权利要求1所述的方法，其特征在于，所述图像特征提取模型为图像分类模型，其中，所述将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出的图像特征向量包括：

将医学影像输入第二卷积神经网络以获得所述图像特征向量。

6.根据权利要求1所述的方法，其特征在于，所述将临床文本信息通过编码过程转变成临床信息特征向量包括：

根据所述临床文本信息中的临床信息的类别确定对应的编码方式，以所述对应的编码方式对所述临床文本信息中的临床信息进行编码。

7.根据权利要求6所述的方法，其特征在于，所述临床文本信息中的一种临床信息包括多个彼此互斥的离散取值，其中，所述以所述对应的编码方式对所述临床文本信息中的临床信息进行编码包括：

将所述多个彼此互斥的离散取值分别编码为与该所述临床信息对应的单个维度上的不同的向量取值。

8.根据权利要求6所述的方法，其特征在于，所述临床文本信息中的一种临床信息以量化取值表征，其中，所述以所述对应的编码方式对所述临床文本信息中的临床信息进行编码包括：

将所述临床文本信息中的一种临床信息的量化取值统一单位；以及

所述临床信息特征向量中与该所述临床信息对应的维度上的向量取值＝(所述量化取值-该所述临床信息的最低量化取值)/该所述临床信息的最大量化取值。

9.根据权利要求6所述的方法，其特征在于，所述临床文本信息中的一种临床信息包括多种不同的状态信息，其中，所述以所述对应的编码方式对所述临床文本信息中的临床信息进行编码包括：

将所述多种不同的状态信息中的每种状态信息编码为与该所述临床信息对应的多个维度上的向量取值，其中，所述状态信息与所述多个维度的一种向量取值组合方式唯一对应。

10.一种医疗信息处理装置，其特征在于，包括：

图像特征向量获取模块，配置为将医学影像输入图像特征提取模型以获取所述图像特征提取模型输出的图像特征向量，其中所述图像特征提取模型为通过训练过程建立的卷积神经网络模型；

临床信息特征向量获取模块，配置为将临床文本信息通过编码过程转变成临床信息特征向量，其中，所述临床信息特征向量的每个维度上的向量取值用于表征所述临床文本信息中的一种临床信息；

拼接模块，配置为拼接所述图像特征向量和所述临床信息特征向量以得到拼接向量；以及

分类模块，配置为基于第一全连接层对所述拼接向量进行处理以获取分类结果。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的医疗信息处理方法。

12.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-9任一所述的医疗信息处理方法。

Images