CN110555823B - 一种基于tvl结构纹理分解的图像融合质量评价方法 - Google Patents

一种基于tvl结构纹理分解的图像融合质量评价方法 Download PDF

Info

Publication number
CN110555823B
CN110555823B CN201910287905.4A CN201910287905A CN110555823B CN 110555823 B CN110555823 B CN 110555823B CN 201910287905 A CN201910287905 A CN 201910287905A CN 110555823 B CN110555823 B CN 110555823B
Authority
CN
China
Prior art keywords
image
fusion
texture
decomposition
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910287905.4A
Other languages
English (en)
Other versions
CN110555823A (zh
Inventor
罗晓清
张战成
张斌
张宝成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910287905.4A priority Critical patent/CN110555823B/zh
Publication of CN110555823A publication Critical patent/CN110555823A/zh
Application granted granted Critical
Publication of CN110555823B publication Critical patent/CN110555823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于TVL结构纹理分解的图像融合质量评价方法，属于图像融合领域。其主要测试两幅源图像经过某种融合方法融合之后融合质量的好坏，以此来说明融合方法的优劣。其实现的主要步骤为：(1)选择恰当的系数利用TVL将图像一级分别分解为一级结构图像、一级纹理图像；(2)利用相同的系数将一级纹理图像继续分解为二级结构图像以及二级纹理图像，再根据相应的系数给每幅分解图像分配相应的系数；(3)利用边缘梯度指标QG来计算一级结构图像、二级结构图像、二级纹理图像的融合得分；(4)最后结合(2)中的权重以及(3)中的融合得分来得出每种融合方法的总得分，根据总得分来评价融合方法的好坏。

Description

一种基于TVL结构纹理分解的图像融合质量评价方法
技术领域
本发明属于图像融合领域，涉及一种图像融合质量评价方法，是图像融合***中不可或缺的核心内容之一，在医学领域、军事领域以及在平时生活中有着广泛的应用。
背景技术
图像融合质量评价方法分为两类：一类是主观法：它是将融合图像交给人眼的进行主观感觉度量的方法。最经典的方法是曼彻斯特大学的
Figure BDA0002023913680000011
教授2007年提出的主观测量方法，通过多个测试者对不同融合方法得到的融合图像中的特定目标进行识别，依据识别时间和识别的正确率，判断图像融合方法的优劣。由于在大部分情况下人是融合图像的直接使用者，所以该方法具有一定的可靠性以及直接性。但是该方法也存在一定的局限性：(1)由于人脑的感知图像的机制非常复杂，从而导致人的主观感觉有可能是不一样的。(2)评价成本高：该方法非常耗时耗力，并且效率也比较低。(3)受环境的影响比较大，比如观察距离，光照等都会影响人的判断。另一类是客观法：即通过计算相关指标来定量的模拟人类的视觉***(Human-visual-system,HVS)。该方法通过定量的测量使得融合效果具有较高的客观性，是如今流行的图像融合质量评价方法。从原理上可以把客观法分为三类：
(1)基于统计特性的评价指标：该指标是通过计算单幅融合图像，例如计算融合图像的标准差、平均梯度等来评价融合的好坏。
(2)基于信息量的客观指标：该指标是通过计算源图像转移到融合图像的信息量的多少来评价融合的质量，例如互信息。
(3)基于人类感知的评价指标：该指标是基于人类的视觉***对图像的感知原理来判断融合图像的优劣。
根据对人类视觉***的研究，人们对图像质量感知主要来自于图像底层视觉特征，其中纹理特征是最重要的特征之一。纹理特征产生的位置与图像在人眼视觉***中产生的区域是一样的，此外纹理特征还有比较好的表征图像质量感知的能力。图像的结构特征是整张图像的轮廓，人眼对轮廓也有着较高的辨识度，所以结构特征也是一个比较重要的特征。但是上述指标并没有对图像的纹理特征和结构特征进行单独评价。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于TVL结构纹理分解的图像融合质量评价方法，其中在结构纹理分解的研究领域中TVL(总变差正则化)的表现是最好的。鉴于纹理特征和结构特征在实际图像中所占的比例不同，而在TVL结构纹理分解中的λ系数恰好可以调节纹理特征和结构特征的权重，所以本发明算法能够准确的评价融合图像的质量。
本发明解决其技术问题所采用的技术方案如下：
一种基于TVL结构纹理分解的图像融合质量评价方法，包括以下步骤：
TVL分解是将一幅图像多级分解为纹理图像和结构图像的方法。分解原理如图1所示。首先将原图像f用系数λ1分解为结构图像
Figure BDA0002023913680000022
和纹理图像
Figure BDA0002023913680000023
此时
Figure BDA0002023913680000024
即结构图像和纹理图像合并就是原图像。接着保留结构图像，继续将刚刚分解的纹理图像用系数λ2进行结构纹理分解，得到第二级的结构图像
Figure BDA0002023913680000026
和纹理图像
Figure BDA0002023913680000025
此后不断地如此分解，最后
Figure BDA0002023913680000027
也就是上一级的纹理图像被分解为下一级的结构图像和纹理图像。
该图像融合质量评价方法将融合图像质量评价与人类视觉感知中的视觉信息分离和整合理论结合起来。即人眼分别通过图像的纹理信息和结构信息感知图片，然后再将两种信息结合做出综合的评价，即图像通过TVL二级结构纹理之后，分别将两幅源图像与融合图像的对应的一级结构图像、二级结构图像以及二级纹理图像利用边缘梯度指标QG指标来做出相应的评价，最后再将3类的分解图像综合得出融合的分数。其中分解过程的系数λ可以根据需求来调节结构图像以及纹理图像所占的比例，所以系数λ是影响最后融合分数的关键。
根据TVL分解的原理可知随着系数λ不断地增大，结构图像越来越清晰，纹理图像会逐渐模糊，而当系数为0.8时，纹理图像已经非常模糊，所以我们把系数设置在[0,1]。由于我们设置的初始权重较小，且纹理信息总是包含着重要的结构信息，即纹理图像的权重要大于结构图像的权重。所以我们把初始分解系数λ分配为结构图像，而纹理图像的权重为1-λ。二级分解也是如此。
作为一种优选方案，所述TVL分解计算得分规则，具体如下：
由于图像的纹理信息包含着大量的结构信息，而结构信息中有着丰富的边缘信息，所以本发明采用基于边缘信息的客观指标(QG)来计算图像融合质量得分，因为该指标是通过评估从源图像到融合图像的边缘信息转移量来衡量图像融合质量。该指标的计算公式为：
Figure BDA0002023913680000021
其中QAF和QBF分别是源图像A与源图像B分别与融合图像F边缘宽度与方向的相似度；wA(i，j)，wB(i，j)分别是QAF和QBF的权重，其中m表示图像的宽度，m＝1～M；n表示图像的长度，n＝1～N，i、j表示不同点的像素值。
构造的步骤如图2所示，具体步骤如下：
第一步：分别将源图像A、B和融合图像F用系数λ进行分解，分别得到结构图像
Figure BDA0002023913680000031
Figure BDA0002023913680000032
以及得到纹理图像
Figure BDA0002023913680000033
我们将λ作为结构图像的权重，将1-λ作为纹理图像的权重。
第二步：继续将三幅纹理图像用相同系数λ继续分别将
Figure BDA0002023913680000034
分解，得到结构图像
Figure BDA0002023913680000035
Figure BDA0002023913680000036
以及三幅纹理图像
Figure BDA0002023913680000037
三幅二级结构图像
Figure BDA0002023913680000038
的权重系数为λ(1-λ)，三幅二级纹理图像
Figure BDA0002023913680000039
的权重为(1-λ)2。此时，
Figure BDA00020239136800000310
第三步：最后分别用边缘梯度指标QG指标计算
Figure BDA00020239136800000311
的融合分数Score3，接着算出
Figure BDA00020239136800000312
的融合得分Score2，最后计算一级分解的结构图像
Figure BDA00020239136800000313
的相似度Score1。此时，可得出
Figure BDA00020239136800000314
第四步：计算出最终融合分数:
Score＝Score1*λ+[Score2*λ(1-λ)+Score3*(1-λ)2]。
作为一种优选方案，所述的分解系数影响，具体如下：
分解系数λ调节纹理图像和结构图像的权重在TVL分解中有重要的意义。鉴于纹理信息包含着大量的结构信息，所以本发明将系数λ设为0.2、0.3、0.4开展实验，使得纹理特征的权重始终大于结构特征的权重。对于多聚焦图像而言，人眼一般会更加专注于图像的纹理，据此将多聚焦图像的λ调为0.2。对于医学图像来说，医生在关注图像纹理特征的同时，也会比较关注结构特征。例如，医生会依据结构特征来判断病灶的边界，以此来判断病灶是否侵入其他的器官，所以将医学图像的λ设计为0.4。对于红外可见光图像而言，我们把系数设置为0.2。例如军人会缜密的分析融合图像每个位置的细节，从而做出对应的行动方案。
以一幅用不同参数λ进行二级分解的多聚焦图像为例。如图3所示。第一行为两张源图像和一张融合图像，下面三行左边两列是对原图像一级分解图像，右边两列是二级分解图像。图3显示：用参数λ分解的每一组结构图像以及纹理图像(例如，λ＝0.2时的(d)图和(e)图，λ＝0.5时的(h)图和i图等)都可以代表原图像。从图3中的(d)图，(h)图以及(l)图中看出，随着λ的增大，酒瓶上的字迹和齿轮的轮廓越来越清晰，而对于图3中的(e)图，图3中的(i)图以及图3中的(m)图来说，酒瓶上的字迹和齿轮的轮廓随着系数的增大则愈加的模糊。不难看出，对于二级分解也是如此。所以我们可以看到随着系数λ不断地增大，结构图像越来越清晰，纹理图像会逐渐模糊。不同场景的融合图像都有类似的效果。
本发明的有益效果：
1本发明采用是将融合图像质量评价与人类视觉感知中的视觉信息分离和整合理论结合起来，即人眼分别通过图像的纹理信息和结构信息感知图片，然后再将两种信息结合做出综合的评价。
2因为不同类型的图片要调节的纹理特征和结构特征的比例不一样，本发明可以利用TVL结构纹理分解中的系数λ来调节图像中结构特征和纹理特征的所占的比例。
附图说明
图1是TVL分解原理图。
图2是本发明流程图。
图3是本参数λ分解图像。其中，(a)为左聚焦源图像，(b)为右聚焦源图像，(c)为融合图像，(d)为λ＝0.2时，一级分解的结构图像，(e)为λ＝0.2时，一级分解的纹理图像，(f)为λ＝0.2时，二级分解的结构图像，(g)为λ＝0.2时，二级分解的纹理图像，(h)为λ＝0.5时，一级分解的结构图像，(i)为λ＝0.5时，一级分解的纹理图像，(j)为λ＝0.5时，二级分解的结构图像，(k)为λ＝0.5时，二级分解的纹理图像，(l)为λ＝0.8时，一级分解的结构图像，(m)为λ＝0.8时，一级分解的纹理图像，(n)为λ＝0.8时，二级分解的结构图像，(o)为λ＝0.8时，二级分解的纹理图像。
图4是实施实例中的多聚焦图像。其中，(a)为左聚焦图像，(b)为右聚焦图像，(c)为LP融合图像。
图5是实施实例中的医学图像。其中，(a)为MRI图像，(b)为SPECT图像，(c)为LP融合图像。
图6是实施实例中的红外可见光图像。其中，(a)为可见光图像，(b)为红外可见光图像，(c)为LP融合图像。
图7是λ＝0.2时，多聚焦图像TVL分解图。其中(a)为源图像，(b)为一级分解结构图像，(c)为一级分解纹理图像。
图8是λ＝0.4时，医学图像TVL分解图。其中(a)为源图像，(b)为一级分解结构图像，(c)为一级分解纹理图像。
图9是λ＝0.2时，红外可见光图像TVL分解图。其中(a)为源图像，(b)为一级分解结构图像，(c)为一级分解纹理图像。
图10是表4部分图像的融合算法。其中，(a)和(b)是多聚焦图像表现最好和最差的算法图像；(c)和(d)属于红外可见光图像效果最好和最差算法图像；(e)和(f)图是医学图像表现最好与最坏的图像；(g)与(h)是医学图像与主观评价不一致的两幅图像，(i)为肯德尔系数结果。
具体实施方式
在本发明中，我们采用LP(拉普拉斯金字塔融合)、DTCWT(双树复小波变换融合)、CVT(曲线波变换融合)、NSCT(非下采样轮廓波变换融合)、DC(对比度的图像融合)、GF(导向滤波融合)、PCNN(脉冲耦合神经网络融合)、CNN(卷积神经网络融合)8种常用的大部分融合方法来检验本评价方法。
图像集方面共有30组测试图像。这30组图像集包含3类图像融合类型：多聚焦图像融合，医学图像融合，以及红外可见光图像融合。每一类图像包含10组测试数据。
下面介绍验证本发明正确实施方法，详细的实施方式和具体的操作步骤如下：
第一步：将波达计数法引入，该方法是用来给一堆数字排名技术的排列候选方法。投票者按照自己的指定的规则排列候选者。如果候选者的数字排在第一位，就给它某个分数，排在第二位，又给它相应的分数，以此类推，累计下来分数高的获得胜利。其中我们选取了11种经典评价指标(见注1)来做测试。首先将11种融合指标排列成11行，8个融合算法排成8列，这样就组成了11行8列的矩阵。然后利用每种融合指标对8种融合算法进行评价，根据8种融合算法的分数得出排名。这样每一行就对应着8种融合算法排名。每一列就是每种算法在11个评价指标中的各自排名。最后在每一列上采用波达计数法来对每种融合算法根据融合指标排名做出综合的排名。我们采用的波达计数规则为，排名最高的权重为1，排名第二高的权重为1/2，以此类推，排名11位的权重为1/11。根据此规则对这8种融合算法得出最终的排名序列a。
第二步：利用本发明分别对上述的8种融合方法进行计算融合分数，根据融合的分数高低，得到8种融合方法的排名序列b。
第三步：最后引入肯德尔系数来测试排名序列a和排名序列b的相关性。肯德尔系数是计算多个等级变量相关程度的一种相关量，范围在-1～1之间。当值为-1时，表示几个变量完全相反，当值为0时，表示几个变量完全独立，当值为1时，表示几个变量完全相关。
下面对本发明的三个实施例(分别为多聚焦图像(图4)、医学图像(图5)、红外可见光图像(图6))作详细说明，本实施例在以本发明技术方案为前提下进行(以一种融合方法说明情况)：
第一步：首先求出3类图像的2张源图像以及融合图像的8种融合方法的11种指标矩阵，也就是上述的第一步。表1-表3为3类图像的11种指标矩阵图。其中，表1为图4的指标矩阵，表2为图5的指标矩阵，表3为图6的指标矩阵。
表1
Figure BDA0002023913680000061
表2
Figure BDA0002023913680000062
表3
Figure BDA0002023913680000063
第二步：利用TVL结构纹理分解将图像进行二级分解，其中分解中系数的选择非常重要。鉴于纹理信息包含着大量的结构信息，所以本发明将系数λ设为0.2、0.3、0.4开展实验，使得纹理特征的权重始终大于结构特征的权重。对于多聚焦图像而言，人眼一般会更加专注于图像的纹理，据此将多聚焦图像的λ调为0.2。对于医学图像来说，医生在关注图像纹理特征的同时，也会比较关注结构特征。例如，医生会依据结构特征来判断病灶的边界，以此来判断病灶是否侵入其他的器官，所以将医学图像的λ设计为0.4。对于红外可见光图像而言，我们把系数设置为0.2。例如军人会缜密的分析融合图像每个位置的细节，从而做出对应的行动方案。每类图像中我们挑选一幅来显示分解的结果。由于篇幅有限，我们依然只显示融合图像、融合图像一级分解的结构图像以及二级分解的纹理图像，因为这两组图像的权重较大。如图6所示。
我们从图7和图9中看出：λ＝0.2时分解的图像中纹理比较清晰，结构相对模糊。图7中，(c)中的字迹依然比较清晰；以及图8中，(c)中的森林和草地的细节也比较清晰。而对于图像9中，λ＝0.4分解的出的结构特征是相对明显的，可以较清晰的观察到相关结构的边缘。
具体实施实例效果：
最后的肯德尔系数结构如表4所示。根据肯德尔系数的定义，若系数值在0.5以上，就表明测试的两个变量的相关性较好。我们从表中可以看出，测试的3类图像的肯德尔系数都在0.5以上，大部分达到了0.7左右。其中对于红外可见光图像，系数甚至达到了0.9以上。客观结果验证了我们的融合指标与其他指标有较高的关联度，可以证明我们的算法有较高的可靠性。
为了进一步验证的正确性，我们对每类图像中的3幅图片做了小范围的主观评价。我们模仿国际标准ITU-R的规定，邀请了20位评价人员来做主观评价。最后每位在规定的相同时间，且在相同环境下做出相应的投票，下表4是3.2小节中3幅图像的主观评价结果，其中第一行为本发明的实验排名，第二行为主观评价排名：
我们将每幅融合图像分数最高的和得分最低的以及与图8中与主观排名不一致的图像用图10展示，图10中(a)和(b)是多聚焦图像表现最好和最差的算法图像；(c)和(d)属于红外可见光图像效果最好和最差算法图像；(e)和(f)图是医学图像表现最好与最坏的图像；(g)与(h)是医学图像与主观评价不一致的两幅图像。
我们从表4可以看出本发明评价指标和主观评价指标是非常吻合的：从图10中观察到得分最高的融合方法比最低的融合方法效果明显要好。虽然图8中DTCWT算法和CVT算法主观排名与本发明指标不一致，但是从图10中可以看到这两种融合图像丢失信息的程度差不多，难以判断哪个较好。其他的对比的几组图片与这3组图片的效果类似，据此，说明我们的评价方法的可行度很高。
表4主观评价的对比
Figure BDA0002023913680000081
注明：本发明使用的11种经典评价指标：
(1)清晰度指标：该指标可以敏感的反映出图像的微小细节反差和纹理变换特征，用来评价图像的相对清晰度，平均梯度越大，图像的层次越多，纹理也就更加清晰。
(2)边缘强度：该指标是指边缘与邻近像素的对比强度，其边缘越丰富，融合图像越清晰。
(3)空间频率:该指标反映的是空间域内图像的总体活跃度。
(4)互信息：它是衡量两个域之间变量的依懒性，用来比较融合图像与源图像之间灰度分布方面的相似情况。
(5)Wang指标：该指标利用边缘信息提出了基于双层的哈尔小波变换指标。
(6)Peilla指标：该指标是在通用图像质量评价(UIQI)的基础上做出了改善。UIQI指标通过计算源图像和融合图像之间的结构损失、亮度失真、以及对比度相似性，进而做出相应的评价。该指标有效的对源图像和融合图像的结构失真进行计算。Piella指标是在此基础上做出了一定的改进，分别提出了图像融合质量指数Q0、加权融合质量指数Qw、以及边缘相关融合质量指数QE。图像融合质量指数Q0在UIQI的基础上引入了局部窗体，利用局部窗体对图像进行分割。然后计算每个窗体的相似程度。由于Q0对图像的每一区域没有区别对待，而人眼对图像每一块区域感知程度是不同的，所以随后提出了加权融合质量指数Qw，该评价指标对图像中信息丰富的窗体给与较大的权重，而具有较少信息的窗体采用较少的权重，使得该指标取得了较好的效果；由于人眼对对图像边缘也比较敏感，将边缘图像引入到Qw中，据此提出了QE边缘相关融合质量指数。
(7)Xydeas指标：该方法首先用Sobel算子检测出图像的梯度和边缘角用来计算边缘强度和方向信息，然后求和归一化。由于人眼对图像边缘较为敏感，该方法与人眼主观评价具有较高的一致性。
(8)Zhao指标：该指标是基于绝对特征测量的组合像元级图像融合性能评估，在像素级别上进行评价。
(9)Pei-Wei Wang指标：该指标也是哈尔小波分解下进行计算的。
(10)Chen指标：该指标是利用对比敏感度函数类视觉***(CFS)对图像空间频率的感知程度来进行测试的。该方法首先将图片进行分块，然后计算区域的显著度。
(11)ChenBlum指标：与(10)的方法类似。

Claims (2)

1.一种基于TVL结构纹理分解的图像融合质量评价方法，其特征在于，该图像融合质量评价方法首先对图像进行TVL二级结构纹理分解；之后，分别将两幅源图像与融合图像的对应的一级结构图像、二级结构图像以及二级纹理图像利用边缘梯度指标QG做出相应的评价；最后，再将3类的分解图像综合得出融合的分数；
对图像进行TVL二级结构纹理分解过程中，系数λ设置在[0,1]，其中，初始分解和二级分解的结构图像分解系数为λ，纹理图像的分解系数为1-λ；
采用基于边缘信息的客观指标QG来计算图像融合质量的得分，该指标的计算公式为：
Figure FDA0003919480640000011
其中，QAF和QBF分别是源图像A与源图像B分别与融合图像F边缘宽度与方向的相似度；wA(i，j)，wB(i，j)分别是QAF和QBF的权重，其中m表示图像的宽度，m＝1～M；n表示图像的长度，n＝1～N，i、j表示不同点的像素值；
具体步骤如下：
第一步：分别将源图像A、B和融合图像F用系数λ进行一级分解，分别得到结构图像
Figure FDA0003919480640000012
Figure FDA0003919480640000013
以及得到纹理图像
Figure FDA0003919480640000014
一级分解过程中，将λ作为结构图像的权重，将1-λ作为纹理图像的权重；
第二步：继续将三幅纹理图像
Figure FDA0003919480640000015
用相同系数λ继续进行二级分解，分别得到结构图像
Figure FDA0003919480640000016
以及三幅纹理图像
Figure FDA0003919480640000017
二级分解过程中，三幅二级结构图像
Figure FDA0003919480640000018
Figure FDA0003919480640000019
的权重系数为λ(1-λ)，三幅二级纹理图像
Figure FDA00039194806400000110
的权重为(1-λ)2，此时
Figure FDA00039194806400000111
第三步：最后分别用边缘梯度指标QG计算
Figure FDA00039194806400000112
的融合分数Score3，接着算出
Figure FDA00039194806400000113
Figure FDA00039194806400000114
的融合得分Score2，最后计算一级分解的结构图像
Figure FDA00039194806400000115
的相似度Score1；此时，得出
Figure FDA00039194806400000116
第四步：计算出最终融合分数：
Score＝Score1*λ+[Score2*λ(1-λ)+Score3*(1-λ)2]。
2.根据权利要求1所述的一种基于TVL结构纹理分解的图像融合质量评价方法，其特征在于，当源图像为多聚焦图像时，二级分解系数λ设为0.2；当源图像为医学图像时，二级分解系数λ设为0.4；当源图像为红外可见光图像时，二级分解系数λ设为0.2。
CN201910287905.4A 2019-04-11 2019-04-11 一种基于tvl结构纹理分解的图像融合质量评价方法 Active CN110555823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910287905.4A CN110555823B (zh) 2019-04-11 2019-04-11 一种基于tvl结构纹理分解的图像融合质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910287905.4A CN110555823B (zh) 2019-04-11 2019-04-11 一种基于tvl结构纹理分解的图像融合质量评价方法

Publications (2)

Publication Number Publication Date
CN110555823A CN110555823A (zh) 2019-12-10
CN110555823B true CN110555823B (zh) 2023-04-07

Family

ID=68736317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910287905.4A Active CN110555823B (zh) 2019-04-11 2019-04-11 一种基于tvl结构纹理分解的图像融合质量评价方法

Country Status (1)

Country Link
CN (1) CN110555823B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法
CN109410177A (zh) * 2018-09-28 2019-03-01 深圳大学 一种超分辨率图像的图像质量分析方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法
CN109410177A (zh) * 2018-09-28 2019-03-01 深圳大学 一种超分辨率图像的图像质量分析方法及***

Also Published As

Publication number Publication date
CN110555823A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
Le Meur et al. A coherent computational approach to model bottom-up visual attention
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN106920232B (zh) 基于显著性检测的梯度相似度图像质量评价方法及***
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
US11605163B2 (en) Automatic abnormal cell recognition method based on image splicing
CN105069304A (zh) 一种基于机器学习的评估预测asd的方法
CN106340000A (zh) 骨龄评估方法
CN109410158B (zh) 一种基于卷积神经网络的多焦点图像融合方法
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN111784665B (zh) 基于傅里叶变换的oct图像质量评估方法、***及装置
CN112288010A (zh) 基于网络学习的指静脉图像质量评价方法
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN111062936B (zh) 用于面部变形诊疗效果的量化指标评估方法
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法
CN108898569A (zh) 一种针对于可见光和红外遥感影像的融合方法及其融合结果评价方法
Su et al. Going the extra mile in face image quality assessment: A novel database and model
Lévêque et al. CUID: A new study of perceived image quality and its subjective assessment
CN104112145B (zh) 基于pwld和d‑s证据理论的人脸表情识别方法
CN110555823B (zh) 一种基于tvl结构纹理分解的图像融合质量评价方法
CN108108715A (zh) 基于生物启发和深度属性学习相结合的人脸美感预测方法
CN112633301A (zh) 一种基于深度度量学习的中医舌图像腐腻特征分类方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN109948564A (zh) 一种基于有监督深度学习的人脸图像质量分类和评估方法
CN116503593A (zh) 一种基于深度学习的视网膜oct图像积液分割方法
Ji et al. No-reference image quality assessment for dehazed images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant