CN111739047A

CN111739047A - 基于双谱重建的舌体图像分割方法及***

Info

Publication number: CN111739047A
Application number: CN202010589469.9A
Authority: CN
Inventors: 高珊珊; 郭宁宁; 张丽倩
Original assignee: Shandong University of Finance and Economics
Current assignee: Shandong University of Finance and Economics
Priority date: 2020-06-24
Filing date: 2020-06-24
Publication date: 2020-10-02

Abstract

本发明公开了基于双谱重建的舌体图像分割方法及***，包括：对获取的原始舌体图像进行傅里叶变换得到原始舌体图像的相位谱；对原始舌体图像的显著性图像均进行傅里叶变换，得到显著性图像的幅度谱；对原始舌体图像的相位谱和显著性图像的幅度谱进行傅里叶逆变换，得到重建后的图像，将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线。该方法通过将显著性检测的幅度谱和原图像的相位谱进行双谱重建，将医学图像转换到变换域进行特征提取及分析。利用双谱重建方法获得的初始化位置可靠，轮廓边缘与目标边缘非常贴近。

Description

基于双谱重建的舌体图像分割方法及***

技术领域

本申请涉及图像分割技术领域，特别是涉及基于双谱重建的舌体图像分割方法及***。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

随着现代科学技术的飞速发展，有学者将现代计算机技术与传统中医理论相结合，形成了计算机辅助舌诊。计算机辅助舌诊通过采集数字化的舌体部位的图像，经过计算机图像处理技术将舌体部分分割出来，然后自动识别所分割出的舌象特征并提供描述舌象特征的客观指标，同时建立中医舌诊理论的数据库并对舌象进行综合判读，进一步给出其病理的特征描述及诊断。计算机辅助舌诊减少了传统舌诊诊断过程中的主观性的同时提高了舌诊的临床应用价值，推进了远程医疗以及智慧医疗的发展。计算机辅助舌诊一般包括舌图像采集、舌图像预处理(包括舌体分割、舌质、舌苔分离等)、舌象特征提取与表达、舌象诊断(特征分类、诊断等)、显示等步骤。其中舌体分割的质量会直接影响后续分析舌质和舌苔的颜色、纹理等特征，是计算机辅助舌诊中最关键的一步。

在实现本申请的过程中，发明人发现现有技术中存在以下技术问题：

当拍摄采集舌体图像时，通常包含牙齿、嘴唇等脸部背景，非舌体区域会增加算法的复杂度，降低计算机的处理速度，所以需要先分割舌体，将冗余背景去除，提取出单独完整的舌体区域，用于后续的分析研究。通过图像处理、机器学习等领域的研究算法实现舌体部位的分割对计算机辅助舌诊具有非常重要的意义。

发明内容

为了解决现有技术的不足，本申请提供了基于双谱重建的舌体图像分割方法及***；

第一方面，本申请提供了基于双谱重建的舌体图像分割方法；

基于双谱重建的舌体图像分割方法，包括：

对获取的原始舌体图像进行傅里叶变换得到原始舌体图像的相位谱；

对原始舌体图像的显著性图像均进行傅里叶变换，得到显著性图像的幅度谱；

对原始舌体图像的相位谱和显著性图像的幅度谱进行傅里叶逆变换，得到重建后的图像，将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线。

第二方面，本申请提供了基于双谱重建的舌体图像分割***；

基于双谱重建的舌体图像分割***，包括：

第一变换模块，其被配置为：对获取的原始舌体图像进行傅里叶变换得到原始舌体图像的相位谱；

第二变换模块，其被配置为：对原始舌体图像的显著性图像均进行傅里叶变换，得到显著性图像的幅度谱；

图像分割模块，其被配置为：对原始舌体图像的相位谱和显著性图像的幅度谱进行傅里叶逆变换，得到重建后的图像，将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本申请的有益效果是：

本申请提出了基于傅里叶变换的双谱重建初始化方法。该方法通过将显著性检测的幅度谱和原图像的相位谱进行双谱重建，将医学图像转换到变换域进行特征提取及分析。利用双谱重建方法获得的初始化位置可靠，轮廓边缘与目标边缘非常贴近。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于双谱重建的舌体图像分割方法；

如图1所示，基于双谱重建的舌体图像分割方法，包括：

S101：对获取的原始舌体图像进行傅里叶变换得到原始舌体图像的相位谱；

S102：对原始舌体图像的显著性图像均进行傅里叶变换，得到显著性图像的幅度谱；

S103：对原始舌体图像的相位谱和显著性图像的幅度谱进行傅里叶逆变换，得到重建后的图像，将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线。

作为一个或多个实施例，所述获取的原始舌体图像，是通过摄像机采集得到。

作为一个或多个实施例，所述S101步骤之后，所述S102步骤之前，还包括：

S101-2：对原始舌体图像进行显著性检测，得到原始舌体图像的显著性图像。

进一步地，所述对原始舌体图像进行显著性检测，是采用RC算法进行显著性检测：将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为边的权重，要求连接相同区域内的两个顶点的边的最大权重小于连接不同区域的顶点的边的最小权重，在迭代过程中进行顶点归纳与区域合并。

作为一个或多个实施例，所述设定阈值通过计算重建图像中灰度平均值得到。

作为一个或多个实施例，所述将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线；具体步骤包括：将大于阈值的像素标记为背景，将小于阈值的像素标记为前景，得到初始化舌体轮廓曲线。

进一步地，作为一个或多个实施例，所述将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线；具体步骤包括：将大于阈值的像素标记为背景，将小于阈值的像素标记为前景，进行形态学腐蚀膨胀操作，得到初始化舌体轮廓曲线。

作为一个或多个实施例，所述方法还包括：

S104：将初始化舌体轮廓曲线，输出到水平集模型中，输出最终的舌体轮廓曲线。

示例性的，所述水平集模型，可以采用对称水平集模型。

水平集的初始化位置和轮廓选择对分割结果有很大影响。而传统水平集模型的初始化一般为图像内任意位置的矩形区域，这种选择方式对要求分割精度高的医学图像来说并不适用。因此如何选择一种适用于各种水平集模型的初始化方法显得尤为重要。

除此之外，大多数图像特征都是在时域空间中进行提取，而变换域中的图像信息常常被忽视。基于以上分析，本申请提出了基于傅里叶变换的双谱重建初始化方法。该方法通过将显著性检测的幅度谱和原图像的相位谱进行双谱重建，将医学图像转换到变换域进行特征提取及分析。利用双谱重建方法获得的初始化位置可靠，轮廓边缘与目标边缘非常贴近。

傅里叶变换***分析的一个重要工具，尤其是对线性***分析。傅里叶变换将信号或者图像进行变换域分析，从而获取更多的信息特征。利用信号变换域转换得到的特征进行提取和分析，可以获得更多信息，简化我们的计算工作量。因此傅里叶变换的转换域分析被广泛应用于信号处理领域和图像处理领域。

图像处理领域常常需要分析二维图像的特征信息，二维连续傅里叶变换和逆变换的公式为：

其中，F(u,v)是函数f(x,y)的频率谱，u是与x轴对应的空间频率，v是与y轴对应的空间频率。

那么一幅大小为M*N的二维图像，其离散傅里叶变换的表达式为：

F(u,v)是图像的频率谱，定义F(w)的实部为R(w)，虚部为I(w)，则对应的傅里叶变换幅度谱、相位谱计算分别如下：

对于一幅二维数字图像来说，图像中的灰度信息与位置信息可以反映一幅图像，对图像进行傅里叶变换可以得到图像的频谱数据。频谱数据可以同样反映这幅图像。

图像的频率信息可以反映图像的灰度变化程度，或者说频率是灰度在空间上的梯度。对一幅二维离散图像而言，图像边缘是图像强度变化剧烈的部分，在傅里叶变换域体现为高频分量。除了图像边缘之外，图像中的噪声也反映为高频分量，对应的图像变化平缓的部分就是低频分量。因此时域空间中信息含量大的部分在频域中表现为高频分量，信息含量小的部分表现为低频分量。

原图像上各点与频谱图项各点并不是一一对应的关系，原图像中的各点在频谱图中已经被打乱。频谱图上的明暗颜色差异点代表了原图像中的点与邻域的差异强弱，其中幅度谱代表了各点的亮度信息，相位谱记录了所有点的相位信息。由于幅度谱与相位谱都与原图像像素不一一对应，因此仅凭频率谱或者幅度谱无法重构出原始图像。进行重构的方法是，将变换后的幅度谱与相位谱结合，幅度和相位综合反映原图像信息进行双谱图像重构。

基于区域对比度的方法(Region Contrast,RC，下文简称RC方法)是经典的显著性检测方法。主要是将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为边的权重，要求连接相同区域内的两个顶点的边的最大权重小于连接不同区域的顶点的边的最小权重，在迭代过程中进行顶点归纳与区域合并。

RC方法用稀疏直方图比较来计算比度：使用图像分割算法得到小区域图像后，计算每个的颜色直方图并通过计算该区域间的颜色对比度获得显著性值。

计算公式如下：

S(r_k)＝∑ω(r_i)D_r(r_k,r_i)； (6)

其中，w(r_i)为区域r_i中的像素个数，即为权值，D_r(r_k,r_i)为两个区域的颜色距离的度量。Dr和S的表达式如下：

其中f(c_k，i)表示第i个颜色在第k个区域所有rk种颜色中出现的概率，k＝{1,2}，这个概率其实就是归一化的颜色直方图的值。

根据RC方法的计算公式可以看出区域像素的距离越近则其权值越大，反之距离越远权值越小。因此RC方法融合了颜色信息和距离信息，包含的图像信息较多，效果较好，但时间复杂度较高。

对于一幅图像来说，其幅度谱包含了更多的图像幅度信息，明暗、灰度变化趋势等则在比较大的程度上取决于对应的幅度谱。图像的幅度谱决定了各个方向的频率分量，图像的相位谱决定了图像结构。傅里叶反变换方法可以将频谱图重建，且重建过程不会丢失任何图像特征信息。因此，本申请结合图像变换域的相关理论，提出了基于双谱重建的初始化方法。

基于双谱重建的初始化方法首先需要对一幅图像进行RC算法的显著性检测，获得初始位置信息的灰度图。然后对原图像和显著图进行傅里叶变换，分别得到原图像相位谱和显著性图像的幅度谱并进行傅里叶逆变换得到重建图像。幅度谱即频率谱，频域上的点(u,v)的幅度表示为|F(u,v)|，即表示为该频率的正弦(余弦)平面波在叠加中所占的比例。

幅度谱的计算如下：

|F(u,v)|＝[Re(u,v)²+Im(u,v)²]^1/2； (9)

显然，通过观察上式发现幅度谱关于原点具有对称性，|F(-u,-v)|＝|F(u,v)|。相位谱中可以体现实部和虚部之间的比例关系，相位谱的计算如下：

其中F(u,v)为二维傅里叶变换，Re(u,v)和Im(u,v)分别为F(u,v)的实部和虚部。

舌体图像的相位谱与显著性检测的幅度谱进行双谱重建后获得的重建后的图像对比度增强，图像特征比原图像更加明显。计算重建图像中的灰度差异阈值T_d，将大于该阈值的像素标记为背景，小于阈值的像素标记为前景，进行形态学腐蚀膨胀操作得到初始化轮廓曲线。

双谱重建方法可以直接得到目标区域的大致轮廓，且可靠性较高，这可以为后续的分割提供更为准确的初始化轮廓。双谱重建初始化方法获得的目标边界光滑，分割结果更准确。

带约束的水平集模型在医学图像分割中获得了较好的分割结果，但加入双谱重建初始化方法后，仍能在保持分割准确性的同时完善边缘光滑性，且该初始化方法极大地提高了模型的演化速率，在时间性能上优于原始的带约束的水平集模型方法。

本申请提出了基于双谱重建的水平集初始化优化方法，该方法将图像从时域转换到变换域，充分利用变换域的幅度信息和相位信息。医学图像处理通过将显著性检测的幅度谱和原图像的相位谱重建获得了较好的初始化轮廓。本申请所提的基于双谱重建的初始化方法对医学图像处理问题取得了较好的效果。

水平集模型是活动轮廓模型最具代表性的方法之一，其边界由高维度水平集函数的零水平集表示，轮廓的变换也由水平集函数的演化来实现。水平集方法的一个重要优点是可以在固定的笛卡尔网格上进行涉及曲线和曲面的数值计算，从而避免了参数轮廓模型需要对轮廓点进行参数化的缺陷。同时，水平集方法可以执行复杂的拓扑变化，如合并和拆分。水平集算法的出现极大地推动了图像分割领域的发展，也为医学图像分割提供了很高的应用价值。

实施例二

本实施例提供了基于双谱重建的舌体图像分割***；

基于双谱重建的舌体图像分割***，包括：

此处需要说明的是，上述第一变换模块、第二变换模块和图像分割模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的***，可以通过其他的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.基于双谱重建的舌体图像分割方法，其特征是，包括：

2.如权利要求1所述的方法，其特征是，所述对获取的原始舌体图像进行傅里叶变换得到原始舌体图像的相位谱步骤之后，所述对原始舌体图像的显著性图像均进行傅里叶变换，得到显著性图像的幅度谱步骤之前，还包括：

对原始舌体图像进行显著性检测，得到原始舌体图像的显著性图像。

3.如权利要求1所述的方法，其特征是，所述对原始舌体图像进行显著性检测，是采用RC算法进行显著性检测：将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为边的权重，要求连接相同区域内的两个顶点的边的最大权重小于连接不同区域的顶点的边的最小权重，在迭代过程中进行顶点归纳与区域合并。

4.如权利要求1所述的方法，其特征是，所述设定阈值通过计算重建图像中灰度平均值得到。

5.如权利要求1所述的方法，其特征是，所述将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线；具体步骤包括：将大于阈值的像素标记为背景，将小于阈值的像素标记为前景，得到初始化舌体轮廓曲线。

6.如权利要求1所述的方法，其特征是，所述将重建后的图像与设定阈值进行比较，得到初始化舌体轮廓曲线；具体步骤包括：将大于阈值的像素标记为背景，将小于阈值的像素标记为前景，进行形态学腐蚀膨胀操作，得到初始化舌体轮廓曲线。

7.如权利要求1所述的方法，其特征是，所述方法还包括：

将初始化舌体轮廓曲线，输出到水平集模型中，输出最终的舌体轮廓曲线。

8.基于双谱重建的舌体图像分割***，其特征是，包括：

9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。