CN111816281A

CN111816281A - 超声影像查询装置

Info

Publication number: CN111816281A
Application number: CN202010581882.0A
Authority: CN
Inventors: 莫若理
Original assignee: Wuxi Chison Medical Technologies Co Ltd
Current assignee: Wuxi Chison Medical Technologies Co Ltd
Priority date: 2020-06-23
Filing date: 2020-06-23
Publication date: 2020-10-23
Anticipated expiration: 2040-06-23
Also published as: CN111816281B

Abstract

本发明涉及超声图像处理技术领域，具体涉及一种超声影像查询装置。包括：影像获取单元，获取待诊断超声影像，所述待诊断超声影像的类型包括超声图像或超声视频；影像匹配单元，将所述待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配，计算影像匹配度值；筛选单元，根据所述影像匹配度值，将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像；确定单元，至少根据所述目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。本发明能够快速通过检索匹配的方式直接获得待诊断超声影像的诊断信息。

Description

超声影像查询装置

技术领域

本发明涉及超声图像处理技术领域，尤其涉及一种超声影像查询装置。

背景技术

超声诊断仪在临床医学中有着广泛应用，能够从头到脚对身体各个部位进行超声影像检查与诊断应用。目前，很多基层医院缺少超声科与临床科结合的专业医生，患者将扫查获得的超声图像给基层的医生进行诊断时，基层医生存在无法判断超声图像对应的扫查器官、是否存在病灶、存在病灶的情况下如何下诊断结论的情况，医生无法快速及时出具超声诊断结论。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种能够快速辅助医生快速及时出具超声诊断结论的超声影像查询装置。

特别地，本发明提供了一种超声影像查询装置，包括：

影像获取单元，获取待诊断超声影像，所述待诊断超声影像的类型包括超声图像或超声视频；

影像匹配单元，将所述待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配，计算影像匹配度值；

筛选单元，根据所述影像匹配度值，将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像；

确定单元，至少根据所述目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。

进一步地，还包括显示单元，所述显示单元配置为：

显示所述待诊断超声影像与所述目标超声影像，其中，显示的所述目标超声影像包括其对应的所述标记信息；

显示所述待诊断超声影像与所述目标超声影像的影像匹配度值。

进一步地，还包括历史查询单元，所述历史查询单元配置为：

获取待诊断超声影像对应的检查对象信息；

根据所述待诊断超声影像对应的检查对象信息查询检查对象的历史诊断超声影像，所述历史诊断超声影像存储在所述影像数据库中；

存在历史诊断超声影像时，根据所述历史诊断超声影像的诊断时间进行排列，作为所述确定单元确定待诊断超声影像诊断信息的参考依据。

进一步地，还包括同类查询单元，所述同类查询单元配置为：

根据所述待诊断超声影像的诊断信息确定病灶信息；

根据所述病灶信息在所述影像数据库中查询同类病灶对应的匹配影像；

将同类病灶对应的匹配影像的标记信息作为所述确定单元确定待诊断超声影像诊断信息的参考依据。

进一步地，所述标记信息至少包括所述待诊断超声影像对应的扫查部位信息、病灶信息以及治疗信息。

进一步地，所述影像匹配单元通过余弦相似度算法计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。

进一步地，所述影像匹配单元通过训练好的匹配神经网络模型计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。

进一步地，所述匹配神经网络模型包括：

第一神经网络，用于识别所述待诊断超声影像的扫查部位，所述第一神经网络通过若干已标记好扫查部位类别的超声影像训练获得；

第二神经网络，用于识别所述待诊断超声影像的病灶信息，所述第一神经网络通过若干已标记好病灶信息的超声影像训练获得；

筛选神经网络，根据所述待诊断超声影像的扫查部位和病灶信息筛选对应的匹配影像；

匹配神经网络，将所述待诊断超声影像与所述筛选神经网络筛选的匹配影像进行匹配度值计算。

进一步地，所述筛选单元设置的预设匹配度值使得至少一个匹配影像确定为所述目标超声影像。

进一步地，所述影像数据库为：本地影像数据库、医院同盟影像数据库、云端影像数据库中的一种或多种。

本发明的超声影像查询装置，通过影像匹配单元能够快速地将待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配并计算影像匹配度值，再根据筛选单元将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像，根据目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。能够快速通过检索匹配的方式直接获得待诊断超声影像的诊断信息。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。

图1为本发明一实施例的超声影像查询装置的结构示意图。

图2为本发明另一实施例的超声影像查询装置的结构示意图。

图3为本发明另一实施例的超声影像查询装置的结构示意图。

图4为本发明另一实施例的超声影像查询装置的结构示意图。

图5为本发明的超声影像查询方法的流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。

目前，很多基层医院缺少超声科与临床科结合的专业医生，检查对象将扫查获得的超声图像给基层的医生进行诊断时，基层医生存在无法判断超声图像对应的扫查器官、是否存在病灶、存在病灶的情况下如何下诊断结论的情况，医生无法快速及时出具超声诊断结论。

作为本发明的一个方面，如图1所示，本发明提供了一种超声影像查询装置，包括：影像获取单元100、影像匹配单元200、筛选单元300、确定单元400。影像获取单元100用于获取待诊断超声影像，所述待诊断超声影像的类型包括超声图像或超声视频；影像匹配单元200用于将所述待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配，计算影像匹配度值，其中影像数据库是预先建立，用于存放若干由医生或者人工智能模型标注好标记信息的超声影像，以作为与待诊断超声影像匹配的匹配影像，匹配影像至少包括匹配超声影像、匹配CT影像、匹配MR影像、匹配PET影像中的一种或多种；筛选单元300用于根据所述影像匹配度值，将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像；确定单元400用于至少根据所述目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息，所述诊断信息至少包括扫查部位信息、病灶信息、治疗信息中的一种或多种。

本发明的超声影像查询装置通过影像匹配单元200能够快速地进行检索，将待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配并计算影像匹配度值，再根据筛选单元300将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像，根据目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。能够快速通过检索匹配的方式直接获得待诊断超声影像的诊断信息。

在一实施例中，本发明的影像获取单元100可以通过超声设备的超声探头对扫查部位进行扫查直接获取待诊断超声影像；如果检查对象需要跨院进行就诊，例如去专门的医院挂专家门诊，可以通过存储介质的方式存储待诊断超声影像，可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、光盘或者云盘等各种可以存储程序代码的计算机可读存储介质。需要理解的是，本发明的待诊断超声影像可以是单帧超声图像、多帧超声图像或者超声视频中的一种或多种。本发明中的“扫查部位”可以包括人、动物、人的一部分或动物的一部分。例如，对象可以包括诸如肝脏、心脏、子宫、脑部、胸部、腹部等的器官或血管。另外，术语“扫查部位”可以包括人造模型。该人造模型表示具有非常接近于有机体的密度和有效原子数的体积的材料，并且可以包括具有与人体类似的情绪的球状人造模型。

为了向医生快速提供诊断参考依据，本发明通过检索的方式，将待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配，通过计算影像匹配度值进而筛选与待诊断超声影像匹配度高的匹配影像作为目标超声影像。医生可以将目标超声影像的标记信息作为诊断参考依据。标记信息至少包括所述待诊断超声影像对应的扫查部位信息、病灶信息以及治疗信息。需要理解的是，本发明的影像数据库为：本地影像数据库、医院同盟影像数据库、云端影像数据库中的一种或多种。

在一实施例中，本发明的影像匹配单元200通过余弦相似度算法计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。余弦相似度算法通过计算代表待诊断超声影像的图像特征向量与影像数据库中若干匹配影像的内积空间的夹角余弦值，从而度量待诊断超声影像与匹配影像之间的相似性。

为了进一步提高检索匹配的速度以及准确度，在另一实施例中，本发明的影像匹配单元200通过训练好的匹配神经网络模型计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。匹配神经网络模型包括：第一神经网络、第二神经网络、筛选神经网络和匹配神经网络。

第一神经网络用于识别所述待诊断超声影像的扫查部位，所述第一神经网络通过若干已标记好扫查部位类别的超声影像训练获得；本发明的第一神经网络为卷积神经网络，第一神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的待诊断超声影像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；第一神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；第一神经网络中的卷积层用于自动提取待诊断超声影像中的特征向量。通过若干已标记好扫查部位类别的超声影像进行训练之后，将待诊断超声影像输入第一神经网络之后可以快速识别待诊断超声影像对应的扫查部位。可以理解的是，医院在将获取的超声影像存储到本地影像数据库、医院同盟影像数据库或云端影像数据库中时，会对超声影像进行分类存储，例如将所有“心脏”相关的超声影像存储在一个子影像集中。影像数据库根据不同的扫查部位例如“子宫”、“脑部”、“胸部”、“腹部”等，建立对应的子影像集。本发明通过第一神经网络能够快速识别出待诊断超声影像的扫查部位后能够减少检索匹配的量，提高检索匹配的速度。需要理解的是，第一神经网络能够快速识别出待诊断超声影像的扫查部位，可以作为确定单元确定所述待诊断超声影像的诊断信息，例如针对信息为扫查部位信息时，可以通过第一神经网络识别出扫查部位，再结合目标超声影像包含的标记信息中扫查部位信息进行参考确认。

为了进一步提高影像匹配单元200匹配的速度，本发明的第二神经网络用于识别所述待诊断超声影像的病灶信息，所述第二神经网络通过若干已标记好病灶信息的超声影像训练获得；本发明的第二神经网络也为卷积神经网络。通过第二神经网络预测出病灶信息。需要明白的是，第二神经网络识别的病灶信息为病灶的轮廓，即病灶形状。第二神经网络的训练方法具体如下：将若干已标记好病灶信息的超声影像样本输入第二神经网络中，以预测超声影像样本中的病灶区域；利用预测出的病灶区域，确定与预测出的病灶区域对应的目标病灶区域；根据超声影像样本的病灶信息，以及预测出的病灶区域，确定超声影像样本的采样权重，进而获得训练好的第二神经网络。通过第二神经网络可以快速识别待诊断超声影像的病灶区域。可以理解的是，影像数据库可以根据同一扫查部位不同病灶区域，建立对应的子影像集。这里的“病灶区域”可以理解为病灶的形状轮廓。本发明通过第二神经网络能够快速识别出待诊断超声影像的病灶信息后能够减少检索匹配的量，提高检索匹配的速度。

筛选神经网络，根据所述待诊断超声影像的扫查部位和病灶信息筛选对应的匹配影像；匹配神经网络，将所述待诊断超声影像与所述筛选神经网络筛选的匹配影像进行匹配度值计算。筛选神经网络以及匹配神经网络的具体训练方式与第一神经网络、第二神经网络类似，在此不再赘述。

本发明的筛选单元300用于根据所述影像匹配度值，将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像；筛选单元300设置的预设匹配度值使得至少一个匹配影像确定为所述目标超声影像。操作人员可以通过输入单元设置预设匹配值，输入单元用于输入操作人员的控制指令。输入单元可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。操作人员可以设置具体的预设匹配值，例如95%，影像数据库中的超过95%的匹配影像会被筛选单元300筛选出来。也可以通过设置筛选确定几个匹配超声图像为目标超声影像，筛选单元300根据影像匹配度值的高低程度进行筛选。

本发明的确定单元400至少根据所述目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。通过目标超声影像包含的标记信息来推断确定待诊断超声影像的诊断信息。标记信息至少包括所述待诊断超声影像对应的扫查部位信息、病灶信息以及治疗信息。

本发明通过检索匹配的方式检索待诊断超声影像对应的真实案例作为诊断的依据，速度快，准确度高，避免出现误诊。

如图2所示，本发明还包括显示单元500，所述显示单元500配置为：显示所述待诊断超声影像与所述目标超声影像，其中，显示的所述目标超声影像包括其对应的所述标记信息；显示所述待诊断超声影像与所述目标超声影像的影像匹配度值。本实施例中的显示单元500为显示器，显示器不限制数量。显示的待诊断超声影像、目标超声影像以及影像匹配度值等可以是显示在一个显示器上，也可以同时显示在多个显示器上，在此本实施例也不作限制。此外，显示器在显示的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给操作人员利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如投影、VR眼镜，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机VR眼镜。利用人机交互设备可以对显示器显示的图标进行操作，用来执行特定的功能。

为了查询待诊断超声影像对应的检查对象的历史数据，进而与历史超声影像（最接近的超声影像）进行对比，得到趋势判断或区别信息判断。如图3所示，本发明还包括历史查询单元600，历史查询单元600配置为：获取待诊断超声影像对应的检查对象信息；根据所述待诊断超声影像对应的检查对象信息查询检查对象的历史诊断超声影像，所述历史诊断超声影像存储在所述影像数据库中；存在历史诊断超声影像时，根据所述历史诊断超声影像的诊断时间进行排列，作为所述确定单元400确定待诊断超声影像诊断信息的参考依据。可以得到趋势判断或区别信息判断。

如图4所示，本发明还包括同类查询单元700，可以获取相似超声影像下检查对象的疾病信息诊断结论、用药记录，诊疗效果等。所述同类查询单元700配置为：

根据所述待诊断超声影像的诊断信息确定病灶信息；

将同类病灶对应的匹配影像的标记信息作为所述确定单元400确定待诊断超声影像诊断信息的参考依据。

作为本发明的第二个方面，如图5所示，本发明还提供了一种超声影像查询方法，包括：

S100，获取待诊断超声影像，所述待诊断超声影像的类型包括超声图像或超声视频；

S200，将所述待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配，计算影像匹配度值；

S300，根据所述影像匹配度值，将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像；

S400，至少根据所述目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。

本发明的超声影像查询方法，能够快速地将待诊断超声影像与影像数据库中的若干包含标记信息的匹配影像进行匹配并计算影像匹配度值，再将所述影像数据库中影像匹配度值超过预设匹配度值的匹配影像确定为目标超声影像，根据目标超声影像包含的标记信息确定所述待诊断超声影像的诊断信息。能够快速通过检索匹配的方式直接获得待诊断超声影像的诊断信息。

作为本发明的第三个方面，提供一种计算机存储介质，其中，计算机存储介质用于存储执行前文的一种超声影像查询方法的程序。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“单元”、“组件”或“***”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims

1.一种超声影像查询装置，包括：

2.根据权利要求1所述的超声影像查询装置，其特征在于，还包括显示单元，所述显示单元配置为：

3.根据权利要求1所述的超声影像查询装置，其特征在于，还包括历史查询单元，所述历史查询单元配置为：

获取待诊断超声影像对应的检查对象信息；

4.根据权利要求1所述的超声影像查询装置，其特征在于，还包括同类查询单元，所述同类查询单元配置为：

根据所述待诊断超声影像的诊断信息确定病灶信息；

5.根据权利要求1所述的超声影像查询装置，其特征在于，所述标记信息至少包括所述待诊断超声影像对应的扫查部位信息、病灶信息和治疗信息。

6.根据权利要求1-5中任一项所述的超声影像查询装置，其特征在于，所述影像匹配单元通过余弦相似度算法计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。

7.根据权利要求1-5中任一项所述的超声影像查询装置，其特征在于，所述影像匹配单元通过训练好的匹配神经网络模型计算获得所述待诊断超声影像与每个所述匹配影像的影像匹配度值。

8.根据权利要求1-5中任一项所述的超声影像查询装置，其特征在于，所述匹配神经网络模型包括：

9.根据权利要求1-5中任一项所述的超声影像查询装置，其特征在于，所述筛选单元设置的预设匹配度值使得至少一个匹配影像确定为所述目标超声影像。

10.根据权利要求1-5中任一项所述的超声影像查询装置，其特征在于，所述影像数据库为：本地影像数据库、医院同盟影像数据库、云端影像数据库中的一种或多种。