CN116363038B - 超声图像融合方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种超声图像融合方法、装置、计算机设备及存储介质。其中，该方法包括：获取待融合的多个超声图像，多个超声图像的成像频率不同；对多个超声图像进行配准，得到目标配准图像；对目标配准图像进行分区域融合处理，生成目标融合图像。通过实施本发明技术方案，能够通过一副目标融合图像实时显示不同频率的超声图像，实现了通过一副目标融合图像观察不同区域的超声图像。

Description

超声图像融合方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种超声图像融合方法、装置、计算机设备及存储介质。

背景技术

超声内镜作为一种介入式超声诊断技术，其是将超声探头引入人体腔道，以便通过超声内镜显示人体腔道中的病症图像。目前的超声探头包括有低频探头和高频探头，其中，高频探头能够获取到高分辨率的超声图像，低频探头具有较强的穿透力以获取浅表深处的病症图像。现有的超声技术只能通过低频和高频探头切换来满足这两种情形。

现有的超声内镜探头通常只能显示一种频率的超声图像，即低频超声图像或者高频超声图像。当需要高频成像时接入高频探头，需要低频成像时则切换低频探头。但是，当同时需要高频探头的分辨率和低频探头的穿透力时，只能通过切换探头来对不同区域进行观察，难以同时显示低频超声图像和高频超声图像的信息。

发明内容

有鉴于此，本发明实施例提供了一种超声图像融合方法、装置、计算机设备及存储介质，以解决难以同时显示低频超声图像和高频超声图像的问题。

第一方面，本发明实施例提供了一种超声图像融合方法，该方法包括：获取待融合的多个超声图像，多个超声图像的成像频率不同；对多个超声图像进行配准，得到目标配准图像；对目标配准图像进行分区域融合处理，生成目标融合图像。

本发明实施例提供的超声图像融合方法，通过将不同成像频率的各个超声图像进行配准，以得到相应的目标配准图像，进而将目标配准图像进行分区域的融合处理，以使目标融合图像能够同时具有不同频率的超声图像，由此能够通过一副目标融合图像实时显示不同频率的超声图像，相较于切换探头而言，此处能够直接通过一副目标融合图像观察不同区域的超声图像。

结合第一方面，在一种实施方式中，对目标配准图像进行分区域融合处理，生成目标融合图像，包括：获取目标配准图像对应的成像区域；将成像区域划分为多个超声图像区和图像混合区，图像混合区包括不同成像频率的第一超声图像和第二超声图像；将各个图像混合区中的第一超声图像和第二超声图像进行融合处理，生成图像混合区的融合图像；将图像混合区的融合图像、各个超声图像区中的超声图像组合为目标融合图像。

本发明实施例提供的超声图像融合方法，通过划分目标配准图像的成像区域以将不同频率的超声图像显示在不同的图像区，实现了通过一副图像同时显示不同频率的超声图像。对图像混合区的图像进行融合处理，以对不同频率的超声图像进行过渡，保证了目标融合图像的融合效果。

结合第一方面或其对应的实施方式，在一种实施方式中，将所述图像混合区中的第一超声图像和第二超声图像进行融合处理，生成所述图像混合区的融合图像，包括：基于第一超声图像和第二超声图像的成像频率，确定图像融合深度范围；基于图像融合深度范围，确定图像混合区的加权系数；基于加权系数对图像混合区的第一超声图像和第二超声图像进行加权融合，得到图像混合区的融合图像。

本发明实施例提供的超声图像融合方法，通过成像频率以确定图像融合深度范围，结合该图像融合深度范围确定不同频率的超声图像的加权系数，由此按照加权系数进行超声图像的融合，保证图像混合区的图像能够与其他图像分区中的图像进行自然融合过渡。

结合第一方面，在一种实施方式中，对多个超声图像进行配准，得到目标配准图像，包括：分别对各个超声图像进行预处理，得到相应的多个预处理图像；基于预设特征提取方法对预处理图像进行特征提取，得到各个预处理图像对应的特征点数据；基于各个特征点数据进行图像特征匹配，得到目标配准图像。

本发明实施例提供的超声图像融合方法，对经过预处理的超声图像进行特征提取，以进行特征匹配，保证不同成像频率的超声图像在成像方位上的一致性，以能够精确对不同成像频率的超声图像进行匹配，从而即可在目标融合对象中实时显示针对同一成像部位的不同成像频率的超声图像。

结合第一方面或其对应的实施方式，在一种实施方式中，基于各个特征点数据进行图像特征匹配，得到目标配准图像，包括：确定各个特征点数据之间的特征距离；基于特征距离对各个预处理图像进行粗配准，得到粗配准图像；对粗配准图像中的误匹配点进行去除，得到目标匹配点；基于目标匹配点进行精配准，得到目标配准图像。

本发明实施例提供的超声图像融合方法，通过特征距离进行粗配准便于实现不同频率的超声图像的初步配准，以将不同频率的超声图像进行初步对齐。继而从初步配准得到的粗配准图像中删除误匹配点，实现了针对于不同频率的超声图像更精确、更细化的配准，提升了配准精度。此处结合粗配准和精配准的方式保证了图像的配准计算速度以及配准精度。

结合第一方面或其对应的实施方式，在一种实施方式中，基于目标匹配点进行精配准，得到目标配准图像，包括：基于目标匹配点的坐标位置，确定相应的配准矩阵；基于配准矩阵进行超声图像的配准变换，生成目标配准图像。

本发明实施例提供的超声图像融合方法，结合目标匹配点的坐标位置构建配准矩阵，通过该配准矩阵进行配准变换，将处于不同方位的超声图像进行角度的旋转变换，以保证两者在成像方位上的一致性。

结合第一方面或其对应的实施方式，在一种实施方式中，分别对各个超声图像进行预处理，得到相应的多个预处理图像，包括：分别对各个超声图像进行平滑处理，得到相应的多个平滑图像；分别对各个平滑图像进行去噪处理，得到相应的多个噪声抑制图像；将噪声抑制图像确定为预处理图像。

本发明实施例提供的超声图像融合方法，通过对各个超声图像进行平滑处理和去噪处理，以增强图像的相关特征，便于后续图像配准时的特征提取。

第二方面，本发明实施例提供了一种超声图像融合装置，该装置包括：图像采集模块，用于获取待融合的多个超声图像，该多个超声图像的成像频率不同；配准模块，用于对多个超声图像进行配准，得到目标配准图像；融合模块，用于对目标配准图像进行分区域融合处理，生成目标融合图像。

第三方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的超声图像融合方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的超声图像融合方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一些实施例的超声图像融合方法的流程示意图；

图2是根据本发明一些实施例的不同成像频率的超声图像的示意图；

图3是根据本发明一些实施例的另一超声图像融合方法的流程示意图；

图4是根据本发明一些实施例的不同超声成像区域的示意图；

图5是根据本发明一些实施例的成像区域的划分示意图；

图6是根据本发明一些实施例的加权系数的变化示意图；

图7是根据本发明一些实施例的目标融合图像的示意图；

图8是根据本发明一些实施例的又一超声图像融合方法的流程示意图；

图9是根据本发明一些实施例的超声图像的预处理示意图；

图10是根据本发明一些实施例的不同超声图像的粗配准示意图；

图11是根据本发明一些实施例的目标匹配点的确定示意图；

图12是根据本发明一些实施例的不同超声图像的精配准示意图；

图13是根据本发明实施例的超声图像融合装置的结构框图；

图14是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

超声内镜属于介入超声诊断技术，可以将超声探头引入人体腔道，以便通过超声在内部直接显示病症图像。超声探头包括有低频探头和高频探头，为了发现细小病症可以采用高频探头提高图像分辨率，而为了查看浅表深处的病症又需要借助低频探头的强穿透力进行检查。

相关超声成像技术中只能通过切换低频探头和高频探头来满足这两种情形。即相关技术中的超声内镜探头通常只能显示一种频率的超声图像（低频超声图像或者高频图像）。当需要高频超声图像时接入高频探头，当需要低频超声图像时切换至低频探头。这样只能查看低频探头或高频探头得到的超声图像，当检查是同时需要浅层高频的分辨率和深层低频的穿透力图像时，只能通过切换探头来对不同区域进行观察。

基于此，本技术方案采用多频超声探头实时采集出不同成像频率的超声图像，对不同成像频率的超声图像进行配准，并对配准后的图像进行分区域加权融合，以得到能同时具有不同成像频率的超声图像信息。

根据本发明实施例，提供了一种超声图像融合方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种超声图像融合方法，可用于计算机设备，如超声内镜等超声成像设备，图1是根据本发明实施例的超声图像融合方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取待融合的多个超声图像，各个超声图像的成像频率不同。

多个超声图像为通过引入人体腔道的超声探头进行超声成像得到的针对于待检测部位的图像。该超声探头能够同时发射不同成像频率的超声波信号，并采集不同成像频率的超声回波数据，生成不同成像频率的多个超声图像。

具体地，该超声探头为多频探头，以两种成像频率为例，即该超声探头包括有第一成像频率的第一探头和第二成像频率的第二探头，且第一成像频率和第二成像频率不同。以两个成像频率为例，第一成像频率较高，采用第一探头可以对部位以较高的分辨率进行成像，便于清晰的观察该部位是否存在病灶；第二成像频率较低，采用第二探头可以对浅表深处的病灶进行检查。

在超声成像设备中连接该超声探头，将该超声探头放置在待检测部位，该超声探头可以向待检测部位发射不同频率的超声波，并接收不同频率的超声回波信号。继而，超声成像设备则可以根据超声探头所接收到的不同频率的超声回波信号进行超声成像，得到针对待检测部位所生成的第一超声图像和第二超声图像，如图2所示。

步骤S102，对多个超声图像进行配准，得到目标配准图像。

目标配准图像为经过成像方位精准配准的多频超声图像。由于通过超声探头生成的多个超声图像在成像方位上存在差异，若要将各个超声图像融合在一起生成一帧完整的超声图像，则需要两者在成像方位上是一致的。

在获取到多个不同成像频率的超声图像后，分别提取各个超声图像的特征，通过提取到的图像特征将各个超声图像在成像方位上进行配准，使两者的成像方位一致，得到相应的目标配准图像。

步骤S103，对目标配准图像进行分区域融合处理，生成目标融合图像。

结合目标配准图像确定出各个超声图像所对应的超声成像区域，根据各个超声成像区域确定出用于超声图像融合的成像区域。将该成像区域划分为多个区域，分别在各个区域中生成相应频率和相应部分的超声图像，并将各个区域的超声图像进行融合，得到最终的目标融合图像，在该目标融合图像中可以实时显示多个频率的超声图像。

本实施例提供的超声图像融合方法，通过将不同成像频率的各个超声图像进行配准，以得到相应的目标配准图像，进而将目标配准图像进行分区域的融合处理，以使目标融合图像能够同时具有不同频率的超声图像，由此能够通过一副目标融合图像实时显示不同频率的超声图像，相较于切换探头而言，此处能够直接通过一副目标融合图像观察不同区域的超声图像。

在本实施例中提供了一种超声图像融合方法，可用于计算机设备，如超声内镜等超声成像设备，图3是根据本发明实施例的超声图像融合方法的流程图，如图3所示，该流程包括如下步骤：

步骤S201，获取待融合的多个超声图像，多个超声图像的成像频率不同。详细请参见上述实施例相关步骤所对应的描述，在此不再赘述。

步骤S202，对多个超声图像进行配准，得到目标配准图像。详细请参见上述实施例相关步骤所对应的描述，在此不再赘述。

步骤S203，对目标配准图像进行分区域融合处理，生成目标融合图像。

具体地，上述步骤S203可以包括：

步骤S2031，获取目标配准图像对应的成像区域。

目标配准图像为成像方位一致的多频超声图像，成像区域为用于进行图像融合的区域。该成像区域可以为超声设备中所预先设定的超声成像区域，也可以为超声设备结合不同成像频率的超声成像区域进行确定的。

对于超声设备中所预先设定的超声成像区域，超声设备在得到目标配准图像后，可以通过读取其成像配置信息，以确定对应于目标配准图像的成像区域。

对于结合不同成像频率的超声成像区域确定成像区域而言，以两种成像频率得到的两种超声图像为例，在完成方位配准之后，分别检测两种超声图像对应的超声成像区域，将较大的超声成像区域作为最终的成像区域。如图4所示，第一成像频率生成的超声图像所对应的超声成像区域大于第二成像频率生成的超声图像所对应的超声成像区域，由此，可以将第一成像频率生成的超声图像所对应的超声成像区域确定为最终的成像区域。

步骤S2032，将成像区域划分为多个超声图像区和图像混合区。

其中，图像混合区包括不同成像频率的第一超声图像和第二超声图像。

不同的超声图像区用于生成不同成像频率的超声图像，两个相邻的超声图像区之间生成图像混合区，该图像混合区用于融合不同成像频率的第一超声图像和第二超声图像。

以两种成像频率得到的两种超声图像为例，如图5所示，若确定出用于图像融合的成像区域为D，则将整个成像区域D划分为两个超声图像区（即图5所示的A区和C区）以及一个图像混合区（即图5所示的B区）。其中，A区用于生成较高成像频率的超声图像，C区用于生成较低成像频率较低的超声图像，B区用于融合两种不同成像频率的超声图像。

步骤S2033，将各个图像混合区中的第一超声图像和第二超声图像进行融合处理，生成图像混合区的融合图像。

图像混合区所生成的超声图像用于衔接相邻超声成像区中的超声图像，为了保证图像混合区中的超声图像能够与其相邻的两个超声成像区进行自然过渡，此处可以对图像混合区中的第一超声图像和第二超声图像按照一定的加权系数进行加权融合，合成相应的融合图像。

在一些可选的实施例方式中，将图像混合区中的第一超声图像和第二超声图像进行融合处理，生成图像混合区的融合图像的步骤可以包括：

步骤a1，基于第一超声图像和第二超声图像的成像频率，确定图像融合深度范围。

步骤a2，基于图像融合深度范围，确定图像混合区的加权系数。

步骤a3，基于加权系数对图像混合区的第一超声图像和第二超声图像进行加权融合，得到图像混合区的融合图像。

成像频率为超声探头的探头频率，图像融合深度范围用于表征成像深度的像素距离，其可以根据成像频率所对应穿透性确定。例如，高频探头在1CM内成像效果最好，在1~2CM内存在衰减，在2CM之后基本无信号。此时，在1CM以内为高频超声图像区，生成高频的超声图像；在1~2CM内为图像混合区，对高频的超声图像和低频的超声图像进行加权融合；在2CM之后为低频超声图像区，生成低频的超声图像。具体的图像融合深度范围可以根据经验调试确认。

加权系数是为了保证图像混合区中的超声图像能够与其相邻的不同图像区之间实现超声图像的自然融合过渡。具体地，加权系数的生成方式根据图像融合深度范围，采用汉明窗的形式确定。

具体地，结合图像融合深度值确定该融合深度对应的像素距离，以该融合深度对应的像素距离作为横坐标，以加权系数作为纵坐标，可以得到加权系数随像素距离变化的示意图，如图6所示，由此根据示意图即可确定出图像混合区的加权系数。

其中，该融合深度对应的像素距离的确定方式如下：

其中，表示当前的图像融合深度值，/>表示预先设定的成像深度值，S表示超声设备对应的屏幕分辨率。

以图5所示的分区为例，在A区生成高频超声图像，在C区生成低频超声图像，在B区融合高频超声图像和低频超声图像。例如，高频超声图像使用Img1表示，低频超声图像使用Img2表示，则图像混合区生成的融合图像为：。

此处，通过成像频率以确定图像融合深度范围，结合该图像融合深度范围确定不同频率的超声图像的加权系数，由此按照加权系数进行超声图像的融合，保证图像混合区的图像能够与其他图像分区中的图像进行自然融合过渡。

步骤S2034，将图像混合区的融合图像、各个超声图像区中的超声图像组合为目标融合图像。

将不同区域的超声图像进行融合，以将各个超声图像区中的超声图像以及图像混合区的融合图像进行融合，生成一帧完整的针对于待检测部位的超声图像。以图5所示的分区为例，具体确定目标融合图像的方式如下：

其中，表示加权系数；Img表示目标融合图像；Img1表示高频超声图像；Img2表示低频超声图像。

按照上述方式将图5中各个分区的超声图像进行融合，得到目标融合图像，如图7所示。

本实施例提供的超声图像融合方法，通过划分目标配准图像的成像区域以将不同频率的超声图像显示在不同的图像区，实现了通过一副图像同时显示不同频率的超声图像。对图像混合区的图像进行融合处理，以对不同频率的超声图像进行过渡，保证了目标融合图像的融合效果。

在本实施例中提供了一种超声图像融合方法，可用于计算机设备，如超声内镜等超声成像设备，图8是根据本发明实施例的超声图像融合方法的流程图，如图8所示，该流程包括如下步骤：

步骤S301，获取待融合的多个超声图像，各个超声图像的成像频率不同。详细请参见上述实施例相关步骤所对应的描述，在此不再赘述。

步骤S302，对多个超声图像进行配准，得到目标配准图像。

具体地，上述步骤S302包括：

步骤S3021，分别对各个超声图像进行预处理，得到相应的多个预处理图像。

通过超声探头获取到的各个超声图像可能会受噪声等影响，而影响超声图像的成像质量。在得到多个超声图像后，分别对各个超声图像进行预处理以优化成像质量，增强超声图像中的相关图像特征，得到相应的预处理图像。

在一些可选的实施例方式中，上述步骤S3021可以包括：

步骤b1，分别对各个超声图像进行平滑处理，得到相应的多个平滑图像。

步骤b2，分别对各个平滑图像进行去噪处理，得到相应的多个噪声抑制图像。

步骤b3，将噪声抑制图像确定为预处理图像。

预处理过程包括去噪处理和平滑处理，通过预处理可以增强超声图像的边缘、纹理等相关特征以便于后续的图像特征提取，例如ORB特征提取。

具体地，平滑处理包括均值滤波处理、高斯滤波处理等。以均值滤波为例，对输入的超声图像进行5*5的均值滤波，得到经过平滑处理的平滑图像/>。

具体地，去噪处理可以采用管腔噪声去除方法，此处的管腔噪声去除方法具体如下：

其中，为原始输入的超声图像，/>为经过平滑处理后的平滑图像，/>为经过噪声抑制后得到的噪声抑制图像，T为抑制阈值，该抑制阈值可以根据经验值确定，此处不作具体限定。

按照上述的平滑处理和去噪处理可以依次处理各个超声图像，得到相应的噪声抑制图像，并将最终输出的噪声抑制图像作为预处理图像。

通过对第一超声图像和第二超声图像进行平滑处理和去噪处理，能够增强图像的相关特征，便于后续图像配准时的特征提取。如图9所示，左图为原始的超声图像，右图为经过预处理得到的预处理图像，从图9中可以看出经过预处理的图像相较于原始的超声图像更加清晰，图像特征更易提取。

步骤S3022，基于预设特征提取方法对预处理图像进行特征提取，得到各个预处理图像对应的特征点数据。

预设特征提取方法为预先设定的特征提取方法，例如ORB特征提取方法、SIFT特征提取方法、SURF特征提取方法、superpoint特征提取方法等。此处对预设特征提取方法不作具体限定，只要能够从预处理图像中提取出相应的特征点数据即可。

以ORB特征提取方法为例，超声成像设备可以调用Opencv库中ORB::create函数进行FAST特征点数据和BRIEF特征描述子的提取。

步骤S3023，基于各个特征点数据进行图像特征匹配，得到目标配准图像。

将从各个预处理图像中提取出的各个特征点数据进行粗配准和精配准，将各个预处理图像的配准过程近似成只有旋转角度的刚体变换，以得到成像方位一致的目标配准图像。

在一些可选的实施例方式中，上述步骤S3023可以包括：

步骤c1，确定各个特征点数据之间的特征距离。

步骤c2，基于特征距离对各个预处理图像进行粗配准，得到粗配准图像。

步骤c3，对粗配准图像中的误匹配点进行去除，得到目标匹配点。

步骤c4，基于目标匹配点对粗配准图像进行精配准，得到目标配准图像。

对各个预处理图像对应的特征点数据进行特征距离的计算，得到各个预处理图像之间特征距离。将不超过预设阈值（该预设阈值根据实际需求设定）的特征距离所对应的特征点判定为匹配点。结合该匹配点进行图像之间的粗配准，生成粗配准图像。

例如，通过ORB特征提取方法得到各个预处理图像对应的特征点数据和特征描述子，计算各个预处理图像对应的特征距离（即描述子距离），利用暴力匹配法根据描述子距离，在不同的预处理图像之间进行特征点粗匹配，得到粗配准图像，如图10所示。

继而，利用误匹配点去除算法对粗配准图像中的误匹配点进行去除，例如RANSAC算法。通过去除误匹配点得到在不同的预处理图像之间进行配准的目标匹配点。根据目标匹配点进行特征点匹配，实现针对于粗配准图像的精配准，得到目标配准图像。

具体地，采用RANSAC算法进行误匹配点去除的方式如下：

将粗配准图像所采用的N个特征点组成集合P，假设集合P中大多数的点可以通过一个模型产生，且最少通过n个点（n<N）可以拟合出该模型的参数。具体的，可以通过以下迭代方式拟合出该模型的参数：

（1）从集合P随机选择n个特征点；

（2）用这n个特征点拟合出一条直线M，如图11所示；

（3）对集合P中剩余的特征点，计算每个特征点与直线M的距离，将距离超过阈值（根据实际需求所设定的，此处不作限定）的特征点认定为局外点，不超过阈值的特征点认定为局内点，并记录局内点的值m，由局内点组成的集合称为该模型（直线）M的支持集。

在图11中的虚线框所包围的特征点属于局内点（即正确点），而虚线框之外的特征点属于局外点（即偏移点）。此时采用最小二乘法对这组数据进行拟合处理，得到最佳拟合直线，即穿越最多局内点的实线。

对上述操作执行k次，以得到精确的目标匹配点。此处，对粗配准图像中的误匹配点进行去除以得到目标匹配点进行特征匹配的过程可以即为精配准过程。以图10所示的粗配准图像为例进行精配准，经过精配准后得到目标匹配点进行特征匹配的结果如图12所示。

此处，通过特征距离进行粗配准便于实现不同频率的超声图像的初步配准，以将不同频率的超声图像进行初步对齐。继而从初步配准得到的粗配准图像中删除误匹配点，实现了针对于不同频率的超声图像更精确、更细化的配准，提升了配准精度。由此，结合粗配准和精配准的方式保证了图像的配准计算速度以及配准精度。

在一些可选的实施例方式中，上述步骤c4可以包括：

步骤d1，基于目标匹配点的坐标位置，确定相应的配准矩阵。

步骤d2，基于配准矩阵进行超声图像的配准变换，生成目标配准图像。

根据目标匹配点的坐标位置，计算出针对于不同超声图像的配准矩阵，该配准矩阵为旋转变换矩阵。通过该配准矩阵对不同的超声图像进行配准变换，以使待配准的超声图像在成像方位上是一致的。由此，通过该配准矩阵将配准过程近似成只有旋转角度的刚体变换。具体的配准矩阵如下：

其中，（）表示转换后的特征点坐标，（/>）表示转换前的特征点坐标，α表示旋转角度。

结合目标匹配点的坐标位置构建配准矩阵，通过该配准矩阵进行配准变换，将处于不同方位的超声图像进行角度的旋转变换，以保证两者在成像方位上的一致性。

步骤S303，对目标配准图像进行分区域融合处理，生成目标融合图像。详细请参见上述实施例相关步骤所对应的描述，在此不再赘述。

本实施例提供的超声图像融合方法，对经过预处理的超声图像进行特征提取，以进行特征匹配，保证不同成像频率的超声图像在成像方位上的一致性，以能够精确对不同成像频率的超声图像进行匹配，从而即可在目标融合对象中实时显示针对同一成像部位的不同成像频率的超声图像。

在本实施例中还提供了一种超声图像融合装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种超声图像融合装置，如图13所示，包括：

图像采集模块401，用于获取待融合的多个超声图像，该多个超声图像的成像频率不同。

配准模块402，用于对多个超声图像进行配准，得到目标配准图像。

融合模块403，用于对目标配准图像进行分区域融合处理，生成目标融合图像。

在一些可选的实施例方式中，上述配准模块402可以包括：

预处理单元，用于分别对各个超声图像进行预处理，得到相应的多个预处理图像。

特征提取单元，用于基于预设特征提取方法对预处理图像进行特征提取，得到各个预处理图像对应的特征点数据。

特征匹配单元，用于基于各个特征点数据进行图像特征匹配，得到目标配准图像。

在一些可选的实施例方式中，上述预处理单元可以包括：

平滑子单元，用于分别对各个超声图像进行平滑处理，得到相应的多个平滑图像。

去噪子单元，用于分别对各个平滑图像进行去噪处理，得到相应的多个噪声抑制图像。

确定子单元，用于将噪声抑制图像确定为预处理图像。

在一些可选的实施例方式中，上述特征匹配单元可以包括：

特征距离确定子单元，用于确定各个特征点数据之间的特征距离。

粗配准子单元，用于基于特征距离对各个预处理图像进行粗配准，得到粗配准图像。

误匹配校正子单元，用于对粗配准图像中的误匹配点进行去除，得到目标匹配点。

精配准子单元，用于基于目标匹配点对粗配准图像进行精配准，得到目标配准图像。

在一些可选的实施例方式中，上述精配准子单元具体用于：基于目标匹配点的坐标位置，确定相应的配准矩阵；基于配准矩阵进行超声图像的配准变换，生成目标配准图像。

在一些可选的实施例方式中，上述融合模块403可以包括：

成像区域获取单元，用于获取目标配准图像对应的成像区域。

区域划分单元，用于将成像区域划分为多个超声图像区和图像混合区。

融合单元，用于将各个图像混合区中的第一超声图像和第二超声图像进行融合处理，生成图像混合区的融合图像。

组合单元，用于将图像混合区的融合图像、各个超声图像区中的超声图像组合为目标融合图像。

在一些可选的实施例方式中，融合单元可以包括：

融合深度确定子单元，用于基于第一超声图像和第二超声图像的成像频率，确定图像融合深度范围。

加权系数确定子单元，用于基于图像融合深度范围，确定图像混合区的加权系数。

加权融合子单元，用于基于加权系数对图像混合区的第一超声图像和第二超声图像进行加权融合，得到图像混合区的融合图像。

上述各个模块以及各个单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的超声图像融合装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本实施例提供的超声图像融合装置，通过将不同频率的第一超声图像与第二超声图像进行配准，以得到相应的目标配准图像，进而将目标配准图像进行分区域的融合处理，以使目标融合图像能够同时具有不同频率的超声图像，由此能够通过一副目标融合图像实时显示不同频率的超声图像，相较于切换探头而言，此处能够直接通过一副目标融合图像观察不同区域的超声图像。

本发明实施例还提供一种计算机设备，具有上述图13所示的超声图像融合装置。

请参阅图14，图14是本发明可选实施例提供的一种计算机设备的结构示意图，如图14所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图14中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络进行通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种超声图像融合方法，其特征在于，所述方法包括：

获取待融合的多个超声图像，所述多个超声图像的成像频率不同，所述多个超声图像是同时向同一待检测部位发射不同成像频率的超声波信号，并采集不同成像频率的超声回波数据生成的；

对所述多个超声图像进行配准，得到目标配准图像；

对所述目标配准图像进行分区域融合处理，生成目标融合图像，包括：获取所述目标配准图像对应的成像区域；将所述成像区域划分为多个超声图像区和图像混合区，所述图像混合区包括不同成像频率的第一超声图像和第二超声图像；将各个所述图像混合区中的第一超声图像和第二超声图像进行融合处理，生成所述图像混合区的融合图像；将所述图像混合区的融合图像、各个所述超声图像区中的超声图像组合为所述目标融合图像；

其中，将所述图像混合区中的第一超声图像和第二超声图像进行融合处理，生成所述图像混合区的融合图像，包括：基于所述第一超声图像和所述第二超声图像的成像频率，确定图像融合深度范围；基于所述图像融合深度范围，确定所述图像混合区的加权系数；基于所述加权系数对所述图像混合区的所述第一超声图像和所述第二超声图像进行加权融合，得到所述图像混合区的融合图像；

其中，融合深度范围用于表征成像深度的像素距离，所述像素距离的确定方式为：；其中，De表示当前的图像融合深度值，depth表示预先设定的成像深度值，S表示超声设备对应的屏幕分辨率；

其中，确定目标融合图像的方式如下：

其中，表示加权系数；Img表示目标融合图像；Img1表示高频超声图像；Img2表示低频超声图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述多个超声图像进行配准，得到目标配准图像，包括：

分别对各个所述超声图像进行预处理，得到相应的多个预处理图像；

基于预设特征提取方法对所述预处理图像进行特征提取，得到各个所述预处理图像对应的特征点数据；

基于各个所述特征点数据进行图像特征匹配，得到所述目标配准图像。

3.根据权利要求2所述的方法，其特征在于，所述基于各个所述特征点数据进行图像特征匹配，得到所述目标配准图像，包括：

确定各个所述特征点数据之间的特征距离；

基于所述特征距离对各个所述预处理图像进行粗配准，得到粗配准图像；

对所述粗配准图像中的误匹配点进行去除，得到目标匹配点；

基于所述目标匹配点进行精配准，得到所述目标配准图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标匹配点进行精配准，得到目标配准图像，包括：

基于所述目标匹配点的坐标位置，确定相应的配准矩阵；

基于所述配准矩阵进行超声图像的配准变换，生成所述目标配准图像。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述分别对各个所述超声图像进行预处理，得到相应的多个预处理图像，包括：

分别对各个所述超声图像进行平滑处理，得到相应的多个平滑图像；

分别对各个所述平滑图像进行去噪处理，得到相应的多个噪声抑制图像；

将所述噪声抑制图像确定为所述预处理图像。

6.一种超声图像融合装置，其特征在于，所述装置包括：

图像采集模块，用于获取待融合的多个超声图像，所述多个超声图像的成像频率不同，所述多个超声图像是同时向同一待检测部位发射不同成像频率的超声波信号，并采集不同成像频率的超声回波数据生成的；

配准模块，用于对所述多个超声图像进行配准，得到目标配准图像；

融合模块，用于对所述目标配准图像进行分区域融合处理，生成目标融合图像；

其中，所述融合模块包括：成像区域获取单元，用于获取所述目标配准图像对应的成像区域；区域划分单元，用于将所述成像区域划分为多个超声图像区和图像混合区，所述图像混合区包括不同成像频率的第一超声图像和第二超声图像；融合单元，用于将各个所述图像混合区中的第一超声图像和第二超声图像进行融合处理，生成所述图像混合区的融合图像；组合单元，用于将所述图像混合区的融合图像、各个所述超声图像区中的超声图像组合为所述目标融合图像；

其中，所述融合单元包括：

融合深度确定子单元，用于基于所述第一超声图像和所述第二超声图像的成像频率，确定图像融合深度范围；加权系数确定子单元，用于基于所述图像融合深度范围，确定所述图像混合区的加权系数；加权融合子单元，用于基于所述加权系数对所述图像混合区的所述第一超声图像和所述第二超声图像进行加权融合，得到所述图像混合区的融合图像；

其中，融合深度范围用于表征成像深度的像素距离，所述像素距离的确定方式为：；其中，De表示当前的图像融合深度值，depth表示预先设定的成像深度值，S表示超声设备对应的屏幕分辨率；

其中，确定目标融合图像的方式如下：

其中，表示加权系数；Img表示目标融合图像；Img1表示高频超声图像；Img2表示低频超声图像。

7.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至5中任一项所述的超声图像融合方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的超声图像融合方法。