CN108399619A - 医疗诊断的***及装置 - Google Patents

Abstract

本公开提供了一种医疗诊断的***。所述***包括一个或多个处理器，以及存储器。所述存储器存储有计算机可读指令。其中，所述指令被处理器执行时使得所述处理器实现：获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及输出与所述至少一个医疗图像具有映射关系的诊断报告数据。本公开还提供了一种医疗诊断的装置、一种利用机器人进行医疗诊断的训练方法。

Description

医疗诊断的***及装置

技术领域

本公开涉及一种医疗诊断的***及装置。

背景技术

人工智能是未来发展的大趋势。当前人工智能的发展已经引起了各行各业的广泛的重视。图像识别技术目前已获得广泛的应用。随着人工智能的泛化能力不断的增强，利用人工智能进行图像识别以取代以往的人力识别图像不仅效率高、而且更为准确。在医疗***中，通过医疗影像获得诊断报告通常需要依赖专业医生对医疗图像进行解读。这种人工解读医疗图像来获得诊断报告的方式会耗费大量时间，而且会消耗医生的大量精力。

发明内容

本公开的第一方面提供了一种医疗诊断的方法，包括：获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；输出与所述至少一个医疗图像具有映射关系的诊断报告数据。

可选地，输出与所述至少一个医疗图像具有映射关系的诊断报告数据包括：将所述至少一个医疗图像输入至神经网络；以及获取所述神经网络的输出，其中，所述神经网络的输出包括所述诊断报告数据。

可选地，所述神经网络包括至少一个第一神经网络和至少一个第二神经网络；将至少一个医疗图像输入至神经网络，包括：将所述至少一个医疗图像输入至所述第一神经网络以提取所述至少一个医疗图像的至少一个特征数据；以及将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据；其中，所述第一神经网络和第二神经网络是同一类型、或者不同类型。

可选地，所述第一神经网络包括卷积神经网络；以及所述第二神经网络包括循环神经网络。

可选地，当所述至少一特征数据包括多个特征数据时，将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据，包括：将所述多个特征数据压缩为一个压缩特征数据；将所述压缩特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据。

可选地，将所述多个特征数据压缩为一个压缩特征数据，包括：根据所述多个特征数据中的每一个特征数据与所述第二神经网络当前的内容状态数据的相关性确定所述多个特征数据中的每一个特征数据的压缩权重，其中相关性越高压缩权重越大；根据所述压缩权重对所述多个特征数据进行加权平均，以获得所述压缩特征数据。

本公开的第二个方面提供了一种医疗诊断的装置，包括：医疗图像获取模块，用于获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及诊断报告数据输出模块，用于输出与所述至少一个医疗图像具有映射关系的诊断报告数据。

可选地，所述诊断报告数据输出模块包括：神经网络输入子模块，用于将所述至少一个医疗图像输入至神经网络；以及神经网络输出获取子模块，用于获取所述神经网络的输出，其中，所述神经网络的输出包括所述诊断报告数据。

可选地，所述神经网络包括至少一个第一神经网络和至少一个第二神经网络，所述神经网络输入子模块包括：第一神经网络输入单元，用于将所述至少一个医疗图像输入至第一神经网络以提取所述至少一个医疗图像的至少一个特征数据；以及第二神经网络输入单元，用于将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据；其中：所述第一神经网络和第二神经网络是同一类型、或者不同类型。

可选地，在所述至少一特征数据包括多个特征数据时，将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据，包括：将所述多个特征数据压缩为一个压缩特征数据；以及将所述压缩特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据。

可选地，将所述多个特征数据压缩为一个压缩特征数据，包括：根据所述多个特征数据中的每一个特征数据与所述第二神经网络当前的内容状态数据的相关性确定所述多个特征数据中的每一个特征数据的压缩权重，其中相关性越高压缩权重越大；根据所述压缩权重对所述多个特征数据进行加权平均，以获得所述压缩特征数据。

本公开的第三方面提供了一种医疗诊断的***，包括一个或多个处理器，以及存储器。所述存储器存储有计算机可读指令。所述指令被所述处理器执行时使得所述处理器实现根据本公开的第一方面所述的方法。

本公开的第四方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开的第一方面所述的方法。

本公开的第五方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现根据本公开的第一方面所述的方法。

本公开的第六方面提供了一种利用机器人进行医疗诊断的训练方法，包括：将至少一个医疗图像输入至神经网络以获得所述神经网络的输出，其中，所述至少一个医疗图像为一次扫描得到的医疗图像，所述神经网络的输出包括用于描述所述至少一个医疗图像的字符数据；在所述神经网络的输出与标准答案的一致性没有满足预设条件时，重复执行所述输入操作，直到所述神经网络的输出与所述标准答案一致性满足预设条件时训练完成，其中所述标准***括与所述至少一个医疗图像具有映射关系的诊断报告数据；输出训练完成的神经网络。

本公开的第七方面提供了一种利用机器人进行医疗诊断的训练的***，包括一个或多个处理器，以及存储器。所述存储器存储有计算机可读指令。所述指令被所述处理器执行时使得所述处理器实现根据本公开的第六方面所述的方法。

本公开的第八方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开的第六方面所述的方法。

本公开的第九方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现根据本公开的第六方面所述的方法。

本公开的第十方面提供了一种医疗图像的处理方法。所述包括：获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及输出与所述至少一个医疗图像具有映射关系的描述性字符数据；其中所述描述性字符数据包括通过自然语言对所述至少一个医疗图像本身进行描述的数据。

可选地，输出与所述至少一个医疗图像具有映射关系的描述性字符数据包括：将所述至少一个医疗图像输入至神经网络；以及获取所述神经网络的输出，其中，所述神经网络的输出包括所述描述性字符数据。

可选地，所述神经网络包括至少一个第一神经网络和至少一个第二神经网络；将至少一个医疗图像输入至神经网络，包括：将所述至少一个医疗图像输入至第一神经网络以提取所述至少一个医疗图像的至少一个特征数据；以及将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述描述性字符数据；其中，所述第一神经网络和第二神经网络是同一类型、或者不同类型。

可选地，所述第一神经网络包括卷积神经网络；以及所述第二神经网络包括循环神经网络。

可选地，当所述至少一特征数据包括多个特征数据时，将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述描述性字符数据，包括：将所述多个特征数据压缩为一个压缩特征数据；将所述压缩特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述描述性字符数据。

可选地，将所述多个特征数据压缩为一个压缩特征数据，包括：根据所述多个特征数据中的每一个特征数据与所述第二神经网络当前的内容状态数据的相关性确定所述多个特征数据中的每一个特征数据的压缩权重，其中相关性越高压缩权重越大；根据所述压缩权重对所述多个特征数据进行加权平均，以获得所述压缩特征数据。

本公开的第十一方面提供了一种医疗图像的处理装置，包括：医疗图像获取模块，用于获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及字符数据输出模块，用于输出与所述至少一个医疗图像具有映射关系的描述性字符数据；其中所述描述性字符数据包括通过自然语言对所述至少一个医疗图像本身进行描述的数据。

本公开的第十二方面提供了一种医疗图像的处理***，包括一个或多个处理器，以及存储器。所述存储器存储有计算机可读指令。所述指令被所述处理器执行时使得所述处理器实现根据本公开的第十方面所述的医疗图像的处理方法。

本公开的第十三方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开的第十方面所述的医疗图像的处理方法。

本公开的第十四方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现根据本公开的第十方面所述的医疗图像的处理方法。

本公开的第十五方面提供了一种利用机器人处理医疗图像的训练方法，包括：将至少一个医疗图像输入至神经网络以获得所述神经网络的输出，其中，所述至少一个医疗图像为一次扫描得到的医疗图像，所述神经网络的输出包括用于描述所述至少一个医疗图像的字符数据；在所述神经网络的输出与标准答案的一致性没有满足预设条件时，重复执行所述输入操作，直到所述神经网络的输出与所述标准答案一致性满足预设条件时训练完成，其中所述标准***括预先确定的与所述至少一个医疗图像具有映射关系的描述性字符数据，所述描述性字符数据包括通过自然语言对所述至少一个医疗图像本身进行描述的数据；以及输出训练完成的神经网络。

本公开的第十六方面提供了一种利用机器人处理医疗图像的训练***，包括一个或多个处理器，以及存储器。所述存储器存储有计算机可读指令。所述指令被所述处理器执行时使得所述处理器实现根据本公开的第十五方面所述的利用机器人处理医疗图像的训练方法。

本公开的第十七方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开的第十五方面所述的利用机器人处理医疗图像的训练方法。

本公开的第十八方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现根据本公开的第十五方面所述的利用机器人处理医疗图像的训练方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1A示意性示出了根据本公开实施例的医疗诊断方法的流程图；

图1B示意性示出了根据本公开实施例的医疗图像的处理方法的流程图；

图2A示意性示出了根据本公开另一实施例的医疗诊断方法的流程图；

图2B示意性示出了根据本公开另一实施例的医疗图像的处理方法的流程图；

图3A示意性示出了根据本公开另一实施例的图2A中将至少一个医疗图像输入至神经网络的方法的流程图；

图3B示意性示出了根据本公开另一实施例的图2B中将至少一个医疗图像输入至神经网络的方法的流程图；

图4示意性示出了根据本公开实施例的医疗诊断方法或医疗图像的处理方法的实现情景图；

图5示意性示出了根据本公开实施例的医疗诊断装置的方框图；

图6示意性示出了根据本公开实施例的医疗诊断装置中诊断报告数据输出模块的框图；

图7示意性示出了根据本公开实施例的医疗诊断装置中神经网络输出获取子模块的框图；

图8示意性示出了根据本公开实施例的利用机器人进行医疗诊断的训练方法的流程图；以及

图9示意性示出了根据本公开实施例的医疗诊断***的方框图；

图10示意性示出了根据本公开实施例的医疗图像的处理装置的方框图；

图11示意性示出了根据本公开实施例的利用机器人处理医疗图像的训练方法的流程图；以及

图12示意性示出了根据本公开实施例的医疗图像的处理***的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

在医疗***中，通过医疗图像获得诊断报告通常需要依赖专业医生对医疗图像进行解读。如果能够将人工智能应用到医疗图像的识别中，就有可能实现快速地根据医疗图像获得诊断报告，这样不仅效率高，而且还可以将医生的精力解放出来，使医生更关注更多需要创造性劳动的医疗过程中。

本公开的实施例提供了一种医疗诊断的方法和装置。该方法包括获取至少一个医疗图像，该至少一个医疗图像为一次扫描得到的医疗图像，以及输出与该至少一个医疗图像具有映射关系的诊断报告数据。

根据本公开实施例的医疗诊断方法、装置和***，能够根据一次扫描得到的医疗图像可以自动输出相应的诊断报告数据。从而，能够将传统的依赖医生人工解读的医疗图像的方式转变为根据医疗图像自动获取诊断报告，从而将医生的精力解放出来，使医生可以更专注于更多需要创造性劳动的医疗过程中，为医疗工作提供了极大的便利。

本公开的实施例还提供了一种医疗图像的处理方法和对应的装置。该方法包括获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像，以及输出与所述至少一个医疗图像具有映射关系的描述性字符数据。其中所述描述性字符数据包括通过自然语言对所述至少一个医疗图像本身进行描述的数据。根据本公开的实施例，可以将医疗图像转换为对应的描述性字符数据，该描述性字符数据可以是对该医疗图像进行自然语言解读的数据信息，从而提供了另一种阅读医疗图像途径。

图1A示意性示出了根据本公开实施例的医疗诊断方法的流程图。

如图1A所示，该方法包括操作S101和S102A。

在操作S101，获取至少一个医疗图像，该至少一个医疗图像为一次扫描得到的医疗图像。

在操作S102A，输出与该至少一个医疗图像具有映射关系的诊断报告数据。

根据本公开的实施例，能够根据一次扫描得到的医疗图像可以自动输出相应的诊断报告数据。从而，能够将传统的依赖医生人工解读的医疗图像的方式转变为根据医疗图像自动获取诊断报告，从而将医生的精力解放出来，使医生可以更加专注于更多需要创造性劳动的医疗过程中，为医疗工作提供了极大的便利。

图1B示意性示出了根据本公开实施例的医疗图像的处理方法的流程图。

如图1B所示，根据本公开实施例的医疗图像的处理方法包括操作S101和操作S102B。其中操作S101可以参考图1A中的相关描述。

在操作S102B，输出与该至少一个医疗图像具有映射关系的描述性字符数据，其中该描述性字符数据包括通过自然语言对该至少一个医疗图像本身进行描述的数据。例如对于一张包括人体某一部分的医疗图像，根据本公开的实施例，该描述性字符数据例如可以是通过自然语言描述该医疗图像中该人体部分的结构形态数据(例如，粗细、或形状等)、由图像的灰度和/或亮度等特征反映出的该人体部分的骨骼密度分布情况、肌肉分布情况等。该描述性字符数据也可以是对该医疗图像中需要特别注意的区域的提示，例如提示某些区域的图像特征存在突变，以及/或者这些区域的尺寸、位置等。根据本公开的实施例，该描述性字符数据是对图像信息本身的描述，而不能根据该描述性字符数据直接得出疾病的诊断结果或健康状况。

根据本公开的实施例，通过将该至少一个医疗图像转换具有映射关系的描述性字符数据，可以将该至少一个医疗图像中的信息对应转换为可以通过自然语言阅读的信息，从而提供了一种阅读该至少一个医疗图像的途径。在此基础上，医疗工作者可以基于该描述性字符数据所反映的该至少一个医疗图像本身的信息，和/或结合其个人直接查看该至少一个医疗图像获得的信息，得出相应的医疗诊断结果。这样，在一些应用场景中，可以帮助医疗工作者等更准确地掌握该至少一个医疗图像本身所反映的信息，例如可以将直接阅读该至少一个医疗图像所获得的信息与该描述性字符数据进行相互验证。同时，由于机器可以实现比人眼高得多的图像识别分辨率和识别速度，因此可以显著提高对医疗图像的解读精度和效率。而且，以描述性字符数据输出医疗图像信息，可以避免人工读图可能对某些细微图像信息的遗漏。在另一些应用场景中，例如对于医疗工作实***的提升等。

图2A示意性示出了根据本公开另一实施例的医疗诊断方法的流程图。

如图2A所示，根据本公开另一实施例的医疗诊断方法中，操作S102包括操作S201A和操作S202A。

具体的本公开另一实施例的医疗诊断方法包括操作S101、操作S201A和操作S202A。

在操作S201A，将该至少一个医疗图像输入至神经网络。

在操作S202A，获取该神经网络的输出，其中，该神经网络的输出包括该诊断报告数据。

根据本公开的实施例，利用神经网络根据医疗图像快速地得到诊断报告，从而可以有效地取代现有技术中解读医疗图像必须依靠专业医生的方案，提高医疗诊断的效率。

图2B示意性示出了根据本公开另一实施例的医疗图像的处理方法的流程图。

如图2B所示，根据本公开另一实施例的医疗图像的处理方法包括操作S101、操作S201B和操作S202B。

在操作S201B，将该至少一个医疗图像输入至神经网络。

在操作S202B，获取该神经网络的输出，其中，该神经网络的输出包括该描述性字符数据。

根据本公开的实施例，该医疗图像的处理方法可以通过神经网络将医疗图像转换为通过自然语言描述该医疗图像的数据，提供了另一种阅读医疗图像的途径。

图3A示意性示出了根据本公开另一实施例的图2A中操作S201A将至少一个医疗图像输入至神经网络的方法的流程图

如图3A所示，根据本公开另一实施例的医疗诊断方法，该神经网络包括至少一个第一神经网络和至少一个第二神经网络，该第一神经网络和第二神经网络是同一类型、或者不同类型，操作S201A可以包括操作S211A和操作S212A。

在操作S211A，将该至少一个医疗图像输入至第一神经网络以提取该至少一个医疗图像的至少一个特征数据。

例如，可以是对至少一个医疗图像分别提取其中每一个特征数据的特征数据，也可以是对应于多个医疗图像中的部分或者全部对应提取出一个特征数据。一个特征数据例如可以是医疗图像的特征向量。

在操作S212A，将该至少一个特征数据输入至该第二神经网络，以通过该第二神经网络获得与该至少一个医疗图像具有映射关系的该诊断报告数据。

图3B示意性示出了根据本公开另一实施例的图2B中操作S201B将至少一个医疗图像输入至神经网络的方法的的流程图。

如图3B所示，根据本公开另一实施例的医疗图像的处理方法中，该神经网络包括至少一个第一神经网络和至少一个第二神经网络，该第一神经网络和第二神经网络是同一类型、或者不同类型。操作S201B可以包括操作S211B和操作S212B。

在操作S211B，将该至少一个医疗图像输入至第一神经网络以提取该至少一个医疗图像的至少一个特征数据。类似地，可以参考图3A中操作S211A的相关描述。

在操作S212B，将该至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的该描述性字符数据。

根据本公开的实施例，该第一神经网络可以是擅长图像处理的神经网络，该第二神经网络可以是擅长自然语言处理的神经网络。根据本公开的实施例，该第一神经网络包括卷积神经网络，以及该第二神经网络包括循环神经网络。

具体地，卷积神经网络(Convolutional Neural Network，CNN)处理图像的功能比较强大，循环神经网络RNN(Recurrent Neural Network广泛应用于自然语言的处理中。

根据本公开的实施例，该第一神经网络和该第二神经网络也可以是同一类型的神经网络。例如都是卷积神经网络、或者都是循环神经网络、或者都是其他神经网络等。

根据本公开的实施例，当该至少一特征数据包括多个特征数据时，将该至少一个特征数据输入至该第二神经网络，以通过该第二神经网络获得与该至少一个医疗图像具有映射关系的该诊断报告数据或者该描述性字符数据，可以是例如将该多个特征数据压缩为一个压缩特征数据，然后将该压缩特征数据输入至该第二神经网络，以通过该第二神经网络获得与该至少一个医疗图像具有映射关系的该诊断报告数据或者该描述性字符数据。

根据本公开的实施例，将该多个特征数据压缩为一个压缩特征数据，可以是例如根据该多个特征数据中的每一个特征数据与该第二神经网络当前的内容状态数据的相关性确定该多个特征数据中的每一个特征数据的压缩权重，其中相关性越高压缩权重越大，然后根据该压缩权重对该多个特征数据进行加权平均，以获得该压缩特征数据。

下面参考图4，结合具体实施例对图1A、图2A和图3A所示的医疗诊断方法、以及图1B、图2B和图3B所示的医疗图像的处理方法做进一步说明。

图4示意性示出了根据本公开实施例的医疗诊断方法或医疗图像的处理方法的实现情景图。

如图4所示，该医疗诊断方法或该医疗图像的处理方法中通过神经网络获取医疗图像，并最终输出与该医疗图像具有映射关系的诊断报告数据或描述性字符数据。

具体地，首先通过第一神经网络提取至少一个医疗图像的特征数据。例如，在图4的示意中，每个医疗图像的特征数据由对应的第一神经网络分别提取。并且图4的示意中一次扫描过程获得了多张医疗图像，从而第一神经网络提取得到了多个特征数据。

然后对该多个特征数据进行处理后输入至第二神经网络，使第二神经网络根据输入内容匹配与该医疗图像具有映射关系的诊断数据报告；或者，在根据本公开实施例的医疗图像处理方法中，使第二神经网络根据输入内容匹配与该医疗图像具有映射关系的描述性字符数据。

将多个特征数据进行处理可以是例如将该多个特征数据压缩为一个压缩特征数据，以及将该压缩特征数据输入至该第二神经网络。

在一些实施例中，可以是将该多个特征数据进行加权平均压缩为一个特征数据。在另一些实施例中，例如图4的示例中，可以引入半注意力机制，根据该多个特征数据中的每一个特征数据与该第二神经网络当前的内容状态数据的相关性确定该多个特征数据中的每一个特征数据的压缩权重。

具体地，在图4的示例中，第一神经网络包括全卷积神经网络(FullyConvolutional Neural Network，FCN)和卷积神经网络CNN。其中，FCN网络是CNN网络的一种，具有更强大的图像处理能力。

第二神经网络可以包括长短期记忆LSTM(Long Short Term)神经网络。其中，LSTM神经网络属于一种特殊的RNN神经网络，能够根据上一轮的输入、输出更新其内部状态。

举例而言，假设可以用一个矩阵来表示LSTM神经网络的内部状态数据，用特征向量、或者矩阵来表示FCN或CNN提取的医疗图像的特征数据。在一些实施例中，可以对每一个特征数据与LSTM神经网络的内部状态数据(例如矩阵)进行相关性分析(相关性分析可以有多种，包括线性相关分析和非线性相关分析)。例如进行线性相关分析时可以获得两个数据间的线性相关系数。在线性相关性分析中，相关系数在[0，1]范围内，相关系数越接近1相关性就越大，相关系数越接近0，相关性就越小。根据本公开的实施例，相关性越高，在根据多个特征数据获得压缩特征数据时压缩权重就可以越大。

图5示意性示出了根据本公开实施例的医疗诊断装置的方框图。

如图5所示，该装置500包括医疗图像获取模块510和诊断报告数据输出模块520。该装置500可以执行参考图1A、图2A、图3A以及图4中所描述的医疗诊断方法。

具体地，医疗图像获取模块510用于获取至少一个医疗图像，该至少一个医疗图像为一次扫描得到的医疗图像。

诊断报告数据输出模块520用于输出与该至少一个医疗图像具有映射关系的诊断报告数据。

图6示意性示出了根据本公开实施例的装置500中诊断报告数据输出模块520的框图。

该诊断报告数据输出模块520包括神经网络输入子模块521和神经网络输出获取子模块522。

神经网络输入子模块521用于将该至少一个医疗图像输入至神经网络。

神经网络输出获取子模块522用于获取该神经网络的输出，其中，该神经网络的输出包括该诊断报告数据。

图7示意性示出了根据本公开实施例的装置500中神经网络输出获取子模块522的框图。

如图7所示，根据本公开的实施例，该神经网络包括至少一个第一神经网络和至少一个第二神经网络，该第一神经网络和第二神经网络是同一类型、或者不同类型。神经网络输出获取子模块522可以包括第一神经网络输入单元5221和第二神经网络输入单元5222。

第一神经网络输入单元5221用于将该至少一个医疗图像输入至第一神经网络以提取该至少一个医疗图像的至少一个特征数据。

第二神经网络输入单元5222用于将该至少一个特征数据输入至该第二神经网络，以通过该第二神经网络获得与该至少一个医疗图像具有映射关系的该诊断报告数据。

根据本公开的实施例，该医疗诊断装置500可以根据一次扫描得到的医疗图像自动输出相应的诊断报告数据。从而，能够将传统的依赖医生人工解读的医疗图像的方式转变为根据医疗图像自动获取诊断报告，从而将医生的精力解放出来，使医生可以更专注于更多需要创造性劳动的医疗过程中，为医疗工作提供了极大的便利。

可以理解的是，医疗图像获取模块510、诊断报告数据输出模块520、神经网络输入子模块521、神经网络输出获取子模块522、第一神经网络输入单元5221和第二神经网络输入单元5222可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块，或者其中任意一个模块所包括的多个子模块可以拆分或者合并实现。或者，这些模块以及子模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，医疗图像获取模块510、诊断报告数据输出模块520、神经网络输入子模块521、神经网络输出获取子模块522、第一神经网络输入单元5221和第二神经网络输入单元5222中的各个子模块可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，医疗图像获取模块510、诊断报告数据输出模块520、神经网络输入子模块521、神经网络输出获取子模块522、第一神经网络输入单元5221和第二神经网络输入单元5222所包括的各个子模块中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

图8示意性示出了根据本公开实施例的利用机器人进行医疗诊断的训练方法的流程图。

如图8所示，根据本公开的实施例，利用机器人进行医疗诊断的训练方法包括操作S801～操作S803。

在操作S801，将至少一个医疗图像输入至神经网络以获得该神经网络的输出，其中，该至少一个医疗图像为一次扫描得到的医疗图像，该神经网络的输出包括用于描述该至少一个医疗图像的字符数据。

在操作S802，在该神经网络的输出与标准答案的一致性没有满足预设条件时，重复执行该输入操作，直到该神经网络的输出与该标准答案一致性满足预设条件时训练完成，其中该标准***括与该至少一个医疗图像具有映射关系的诊断报告数据。

在操作S803，输出训练完成的神经网络。

根据本公开的实施例，训练神经网络根据医疗图像输出诊断报告。这样，训练完成的神经网络就可以根据医疗图像快速地得到诊断报告，从而在一定程度上可以地取代现有技术中解读医疗图像必须依靠专业医生的方案，提高医疗诊断的效率。

图9示意性示出了根据本公开实施例的医疗诊断***的方框图。

如图9所示，该医疗诊断***900包括处理器910和计算机可读存储介质920。在一些实施例中，该医疗诊断***900可以执行上面参考图1A、图2A、图3A以及图4中所描述的医疗诊断方法，以实现根据医疗图像进行医疗诊断。在另一些实施例中，该诊断***900也可以用于执行上面参考图8描述的方法，以训练机器人进行利用机器人进行医疗诊断。

具体地，处理器910例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以是用于执行参考图1A、图2A、图3A以及图4中所描述的医疗诊断方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质920，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质920可以包括计算机程序921，该计算机程序921可以包括代码/计算机可执行指令，其在由处理器910执行时使得处理器910执行例如上面结合图图1A、图2A、图3A以及图4中所描述的医疗诊断方法流程及其任何变形，或者例如上面结合图8所描述的方法流程及其任何变形。

计算机程序921可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序921中的代码可以包括一个或多个程序模块，例如包括921A、模块921B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器910执行时，使得处理器910可以执行例如上面结合图1A、图2A、图3A以及图4中所描述的医疗诊断方法流程及其任何变形，或者例如上面结合图8所描述的方法流程及其任何变形。

根据本发明的实施例，医疗图像获取模块510、诊断报告数据输出模块520、神经网络输入子模块521、神经网络输出获取子模块522、第一神经网络输入单元5221和第二神经网络输入单元5222所包括的各个子模块的至少一个可以实现为参考图9描述的计算机程序模块，其在被处理器910执行时，可以实现上面描述的相应操作。

图10示意性示出了根据本公开实施例的医疗图像的处理装置1000的框图。

如图10所示，该医疗图像的处理装置1000包括医疗图像获取模块1010和字符数据输出模块1020。该处理装置1000可以执行参考图1B、图2B、图3B以及图4中所描述的医疗图像的处理方法。

医疗图像获取模块1010用于获取至少一个医疗图像，该至少一个医疗图像为一次扫描得到的医疗图像。

字符数据输出模块1020用于输出与该至少一个医疗图像具有映射关系的描述性字符数据，其中该描述性字符数据包括通过自然语言对该至少一个医疗图像本身进行描述的数据。

根据本公开的实施例，该字符数据输出模块1020可以进一步包括神经网络输入子模块和神经网络输出获取子模块。神经网络输入子模块用于将所述至少一个医疗图像输入至神经网络。神经网络输出获取子模块，用于获取该神经网络的输出，其中，该神经网络的输出包括该描述性字符数据。

可以理解的是，医疗图像获取模块1010和字符数据输出模块1020可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块，或者其中任意一个模块所包括的多个子模块可以拆分或者合并实现。或者，这些模块以及子模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，医疗图像获取模块1010和字符数据输出模块1020中的各个子模块可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，医疗图像获取模块1010和字符数据输出模块1020所包括的各个子模块中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

图11示意性示出了根据本公开实施例的利用机器人处理医疗图像的训练方法的流程图。

如图11所示，根据本公开的实施例，该利用机器人处理医疗图像的训练方法包括操作S1101～操作S1103。

在操作S1101，将至少一个医疗图像输入至神经网络以获得该神经网络的输出，其中，该至少一个医疗图像为一次扫描得到的医疗图像，该神经网络的输出包括用于描述该至少一个医疗图像的字符数据。

在操作S1102，在该神经网络的输出与标准答案的一致性没有满足预设条件时，重复执行该输入操作，直到该神经网络的输出与该标准答案一致性满足预设条件时训练完成，其中该标准***括与预先确定的与该至少一个医疗图像具有映射关系的描述性字符数据，所述描述性字符数据包括通过自然语言对所述至少一个医疗图像本身进行描述的数据。

在操作S1103，输出训练完成的神经网络。

根据本公开的实施例，训练神经网络进行医疗图像的处理。这样，训练完成后神网络就可以将医疗图像翻译为通过自然语言描述的描述性字符数据，例如文字信息等。从而为医疗图像的阅读提供了另一种途径。

图12示意性示出了根据本公开实施例的医疗图像的处理***1200的方框图。

如图12所示，根据本公开实施例的医疗图像的处理***1200包括处理器1210和计算机可读存储介质1220。在一些实施例中，该医疗图像的处理***1200可以执行上面参考图1B、图2B、图3B以及图4中所描述的医疗图像的处理方法，以实现将医疗图像转换为对应的描述性字符数据。在另一些实施例中，该医疗图像的处理***1200也可以用于执行上面参考图11描述的方法，以训练机器人处理医疗图像。

具体地，处理器1210例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1210还可以包括用于缓存用途的板载存储器。处理器1210可以是用于执行参考图1B、图2B、图3B以及图4中所描述的医疗图像的处理方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质1220，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质1220可以包括计算机程序1221，该计算机程序1221可以包括代码/计算机可执行指令，其在由处理器1210执行时使得处理器1210执行例如上面结合图1B、图2B、图3B以及图4中所描述的医疗图像的处理方法流程及其任何变形，或者例如上面结合图11所描述的利用机器人处理医疗图像的训练方法流程及其任何变形。

计算机程序1221可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1221中的代码可以包括一个或多个程序模块，例如包括1221A、模块1221B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1210执行时，使得处理器1210可以执行例如上面结合图1B、图2B、图3B以及图4中所描述的医疗图像的处理方法流程及其任何变形，或者例如上面结合图11所描述的方法流程及其任何变形。

根据本发明的实施例，医疗图像获取模块1010和字符数据输出模块1020以及其中包括的各个子模块的至少一个可以实现为参考图12描述的计算机程序模块，其在被处理器1210执行时，可以实现上面描述的相应操作。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种医疗诊断的***，包括：

一个或多个处理器；以及

存储器，存储有计算机可读指令；其中，所述指令被所述处理器执行时使得所述处理器实现：

获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及

输出与所述至少一个医疗图像具有映射关系的诊断报告数据。

2.根据权利要求1所述的***，其中，输出与所述至少一个医疗图像具有映射关系的诊断报告数据包括：

将所述至少一个医疗图像输入至神经网络；以及

获取所述神经网络的输出，其中，所述神经网络的输出包括所述诊断报告数据。

3.根据权利要求2所述的***，其中，所述神经网络包括至少一个第一神经网络和至少一个第二神经网络；将所述至少一个医疗图像输入至神经网络包括：

将所述至少一个医疗图像输入至所述第一神经网络以提取所述至少一个医疗图像的至少一个特征数据；以及

将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据；

其中，所述第一神经网络和第二神经网络是同一类型、或者不同类型。

4.根据权利要求3所述的***，其中：

所述第一神经网络包括卷积神经网络；以及

所述第二神经网络包括循环神经网络。

5.根据权利要求3所述的***，其中，当所述至少一特征数据包括多个特征数据时，将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据，包括：

将所述多个特征数据压缩为一个压缩特征数据；

将所述压缩特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据。

6.根据权利要求5所述的***，其中，将所述多个特征数据压缩为一个压缩特征数据，包括：

根据所述多个特征数据中的每一个特征数据与所述第二神经网络当前的内容状态数据的相关性确定所述多个特征数据中的每一个特征数据的压缩权重，其中相关性越高压缩权重越大；

根据所述压缩权重对所述多个特征数据进行加权平均，以获得所述压缩特征数据。

7.一种医疗诊断的装置，包括：

医疗图像获取模块，用于获取至少一个医疗图像，所述至少一个医疗图像为一次扫描得到的医疗图像；以及

诊断报告数据输出模块，用于输出与所述至少一个医疗图像具有映射关系的诊断报告数据。

8.根据权利要求7所述的装置，其中，所述诊断报告数据输出模块包括：

神经网络输入子模块，用于将所述至少一个医疗图像输入至神经网络；以及

神经网络输出获取子模块，用于获取所述神经网络的输出，其中，所述神经网络的输出包括所述诊断报告数据。

9.根据权利要求8所述的装置，其中，所述神经网络包括至少一个第一神经网络和至少一个第二神经网络，所述神经网络输入子模块包括：

第一神经网络输入单元，用于将所述至少一个医疗图像输入至所述第一神经网络以提取所述至少一个医疗图像的至少一个特征数据；以及

第二神经网络输入单元，用于将所述至少一个特征数据输入至所述第二神经网络，以通过所述第二神经网络获得与所述至少一个医疗图像具有映射关系的所述诊断报告数据；

其中：

所述第一神经网络和第二神经网络是同一类型、或者不同类型。

10.一种利用机器人进行医疗诊断的训练方法，包括：

将至少一个医疗图像输入至神经网络以获得所述神经网络的输出，其中，所述至少一个医疗图像为一次扫描得到的医疗图像，所述神经网络的输出包括用于描述所述至少一个医疗图像的字符数据；

在所述神经网络的输出与标准答案的一致性没有满足预设条件时，重复执行所述输入操作，直到所述神经网络的输出与所述标准答案一致性满足预设条件时训练完成，其中所述标准***括与所述至少一个医疗图像具有映射关系的诊断报告数据；

输出训练完成的神经网络。