CN116051421A - 基于多维度的内窥镜图像质量评价方法、装置、设备及介质 - Google Patents

基于多维度的内窥镜图像质量评价方法、装置、设备及介质 Download PDF

Info

Publication number
CN116051421A
CN116051421A CN202310144850.8A CN202310144850A CN116051421A CN 116051421 A CN116051421 A CN 116051421A CN 202310144850 A CN202310144850 A CN 202310144850A CN 116051421 A CN116051421 A CN 116051421A
Authority
CN
China
Prior art keywords
image
endoscope
characteristic
gray
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310144850.8A
Other languages
English (en)
Inventor
岳广辉
邓丽珊
高杰
周天薇
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310144850.8A priority Critical patent/CN116051421A/zh
Publication of CN116051421A publication Critical patent/CN116051421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于多维度的内窥镜图像质量评价方法、装置、设备及介质。本发明涉及图像处理技术领域。其包括：对获取的内窥镜图像进行灰度处理得到内窥镜灰度图像，并计算其亮度得到亮度特征；对内窥镜图像及内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；对内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；采用GGD模型对内窥镜灰度图像的MSCN系数进行量化得到自然度特征；对内窥镜图像进行去噪处理后计算结构相似度得到噪声特征；将亮度特征、对比度特征、颜色特征、自然度特征以及噪声特征输入图像质量评价模型进行质量评价得到质量分数。本申请实施例可提高内窥镜图像质量评价的性能及准确性。

Description

基于多维度的内窥镜图像质量评价方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多维度的内窥镜图像质量评价方法、装置、设备及介质。
背景技术
现有图像质量评价方法分为主观评价方法和客观评价方法。主观评价方法是由观察者对图像质量进行评分，该种方式较为可靠准确但易受实验环境和观察者主观因素影响。客观评价方法是利用数学和工程方法对图像进行度量，具有简单、实时、可重复以及易集成等优点，其根据对无失真原始图像的依赖程度从高到低分为三种方法：全参考型、部分参考型以及无参考型，其中，全参考型需要完整的参考图像信息，部分参考型只需获取一部分的参考图像信息。但在实际生活中，无失真原始图像较难获取，故无参考型图像质量评价方法更符合实际生活需求。
在医学领域中，由于内窥镜成像的不确定性，内窥镜图像质量参差不齐，若内窥镜图像质量较差，会影响疾病的诊断和治疗，因此对内窥镜图像进行质量评价显得尤为重要。目前鲜有关于内窥镜图像质量的评价算法，由于内窥镜图像在采集过程中难以同时获取高质量和低质量图像，故对应的质量评价只能依赖无参考图像质量评价方法。而在图像质量评价领域，主流的无参考图像质量评价方法主要针对自然场景图像和计算机合成图像，难以充分挖掘内窥镜图像的失真特点，在评估内窥镜图像方面性能并不理想。因此，现有技术方法中存在无法准确地对内窥镜图像进行质量评价的问题。
发明内容
本发明实施例提供了一种基于多维度的内窥镜图像质量评价方法、装置、设备及介质，旨在解决现有技术方法中存在的无法准确地对内窥镜图像进行质量评价的问题。
第一方面，本发明实施例提供了一种基于多维度的内窥镜图像质量评价方法，其包括：
获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；
对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；
对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；
计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；
对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；
将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
第二方面，本发明实施例还提供了一种基于多维度的内窥镜图像质量评价装置，其包括：
处理计算单元，用于获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；
估计单元，用于对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；
转换计算单元，用于对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；
计算量化单元，用于计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；
去噪计算单元，用于对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；
质量评价单元，用于将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于多维度的内窥镜图像质量评价方法、装置、设备及介质。其中，所述方法包括：获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。本发明实施例的技术方案，利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型，可提高图像质量评价模型的泛化性；将与内窥镜图像相对应的多维度特征输入图像质量评价模型进行质量评价得到质量分数，充分表征了内窥镜图像的失真特点，可提高内窥镜图像质量评价的性能及准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多维度的内窥镜图像质量评价方法的流程示意图；
图2为本发明实施例提供的一种基于多维度的内窥镜图像质量评价方法的子流程示意图；
图3为本发明实施例提供的一种基于多维度的内窥镜图像质量评价装置的示意性框图；以及
图4为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的一种基于多维度的内窥镜图像质量评价方法的流程示意图。本发明实施例的基于多维度的内窥镜图像质量评价方法可应用于支持向量机回归模型中，例如可通过配置于与所述支持向量机回归模型相对应的软件程序来实现所述基于多维度的内窥镜图像质量评价方法，从而提高内窥镜图像质量评价的性能及准确性。如图1所示，该方法包括以下步骤S110-S160。
S110、获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征。
在本发明实施例中，获取内窥镜图像，利用预设灰度函数对所述内窥镜图像进行灰度处理得到初始内窥镜灰度图像，其中，所述预设灰度函数为MATLAB中的rgb2gray函数；根据所述初始内窥镜灰度图像及预先设置的乘子确定内窥镜灰度图像，其中，所述预先设置的乘子为M＝{1/8,1/6,1/4,1/2,2,4,6,8}；通过信息熵公式计算所述内窥镜灰度图像的亮度得到多个亮度特征，其中，所述信息熵公式如公式(1)所示，在公式(1)中，PjMi表示值为j的像素在第i个内窥镜灰度图像中出现的概率。为方便理解，假设所述初始内窥镜灰度图像为G0，所述内窥镜灰度图像Gi，Gi＝Go·Mi，i＝1,2,…,8，Mi为第i个乘子，用于进行权重平衡。可理解地，若i为1，则M1为1/8；若i为2，则M2为1/6，以此类推。需要说明的是，在本实施例中，之所以采用信息熵公式计算所述内窥镜灰度图像的亮度，是因为信息熵在图像质量评价中被广泛应用于测量图像细节，故在本实施例中使用信息熵EMi来表征其亮度维持能力，以提高内窥镜图像质量评价的准确度，可理解地，所述亮度特征表示为FB＝{EM1,EM2,…,EM8}。还需要说明的是，在本实施例中，所述内窥镜图像为原始失真图像。
Figure BDA0004088835290000051
S120、对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征。
在本发明实施例中，采用Minkowski距离公式对所述内窥镜图像进行整体对比度估计得到全局对比度特征；具体地，假设所述全局对比度为Cg，Cg如公式(2)所示，在公式(2)中，K表示所述内窥镜图像中的像素数，Ik表示所述内窥镜图像I中的第k个像素；Ip表示所述内窥镜图像的p次幂，需要说明的是，不同p的赋值可能会不同程度上加强对比度的权重，因此将p设为{1/8,1/6,1/4,1/2,2,4,6,8}，用于权重平衡；q控制计算数据偏离中心的偏差程度，将其设为4。由于p有8种不同的取值，故有8个全局对比度特征，将其简单标记为FCg＝{Cg1,Cg2,…,Cg8}。
Figure BDA0004088835290000061
进一步地，对所述内窥镜图像及所述内窥镜灰度图像进行局部对比度估计得到第一局部对比度特征及第二局部对比度特征，并将所述第一局部对比度特征及所述第二局部对比度特征作为局部对比度特征。具体地，采用对比度能量公式对所述内窥镜图像进行局部对比度估计得到第一局部对比度特征，其中，所述对比度能量公式如公式(3)所示，在公式(3)中，CEf为所述第一局部对比度特征，f∈{gr, yb, rg}表示所述内窥镜图像I的各个颜色通道，其中，gr＝0.299R+0.587G+0.114B， yb＝0.5(R+G)-B， rg＝R-G，R、G以及B表示各个颜色通道中的各个分量；
Figure BDA0004088835290000062
fv，fh分别为高斯函数的垂直和水平二阶导数，α用于计算Z(If)的最大值，γ是对比度增益；φf用于对颜色通道f中的噪声进行阈值约束。最后得到所述第一局部对比度特征为FCla＝{CEgr，CEyb，CErg}。
Figure BDA0004088835290000063
更进一步地，通过ULBP公式提取所述内窥镜灰度图像的ULBP特征得到第二局部对比度特征，其中，ULBP公式如公式(4)所示，在公式(4)中，
Figure BDA0004088835290000064
表示这是一种旋转不变LBP模式。其中P为考虑的邻居数量，R为考虑的邻居半径，s(.)是表示两个像素之间关系的符号函数， 当vi≥vc时,s(vi-vc)＝1,否则s(vi-vc)＝0。vi是所述内窥镜灰度图像Go中中心像素的第i个邻居的值。在本实施例中，将P和R分别设为8和1。于是可得到公式(5)，通过公式(5)可得到1种非均匀模式和9种均匀模式，将这10个局部对比特征作为所述第二局部对比度特征，并标记为FClb ＝{UL0,UL1,…,UL9}。需要说明的是，在本实施例中，ULBP运算符所考虑的是像素vc和其在局部区域中相邻像素的关系。还需要说明的是，在本实施例中，通过所述全局对比度特征、所述第一局部对比度特征以及所述第二局部对比度特征可充分表征所述内窥镜图像的对比度。
Figure BDA0004088835290000065
Figure BDA0004088835290000066
S130、对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征。在本发明实施例中，由于所述内窥镜图像RGB三颜色通道之间的高度相关性，不适合用于颜色特征提取，因此先将所述内窥镜图像中的R、G以及B颜色通道进行颜色空间转换以得到对立色颜色空间(oppenent-color space)分量，其中，对立色颜色空间分量为
Figure BDA0004088835290000071
对于每个对立颜色空间分量，计算平均值M，标准偏差D和偏度S作为统计量以得到颜色特征，而平均值M、标准偏差D和偏度S的计算公式如公式(6)-(7)所示，通过公式(6)-(7)可得到所述颜色特征FCol＝{M1,D1,S1,M2,D2,S2,M3,D3,S3}。
Mk＝Avg(Ok),k∈{1,2,3}    (6)
Figure BDA0004088835290000072
Figure BDA0004088835290000073
S140、计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征。
在本发明实施例中，对于所述内窥镜灰度图像的MSCN系数
Figure BDA00040888352900000710
可由公式(9)表示，其中，在公式(9)中，i，j表示坐标，G0表示所述内窥镜灰度图像，C为常数，用于避免公式(9)的分母为0。用公式(10)表示局部均值，用公式(11)表示像素的标准差，在公式(9)和公式(10)中ω＝{ωp,q|p＝-P,...,P；q＝-Q,...Q}为二维圆高斯加权函数。需要说明的是，在本实施中，是利用零均值高斯分布(GGD)模型来量化MSCN系数分布。均值为0的GGD模型如公式(12)所示，其中，
Figure BDA0004088835290000074
当α＞0时，
Figure BDA0004088835290000075
参数τ和σ2分别控制分布的形状和方差，x为G0。因此，所述自然度特征标记为FNa＝{τ,σ2}。
Figure BDA0004088835290000076
Figure BDA0004088835290000077
Figure BDA0004088835290000078
Figure BDA0004088835290000079
S150、对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征。
在本发明实施例中，所述内窥镜图像中常含有噪声，故正确估计噪声水平的大小对图像质量评价有极大帮助。在本实施例中，利用高斯低通滤波器对含有噪声的所述内窥镜图像进行处理，从而得到无噪声图像，基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征，SSIM方法的计算公式为FNo＝φ(x,y)，其中，FNo为噪声特征，x为带有噪声的所述内窥镜图像，y为无噪声的所述内窥镜图像，φ(.)为结构相似度计算函数。
S160、将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
在本发明实施例中，将与所述内窥镜图像相对应的多维度特征输入图像质量评价模型进行质量评价得到质量分数，其中，多维度特征包括所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征，充分表征了所述内窥镜图像的失真特点，可提高内窥镜图像质量评价的性能及准确性。需要说明的是，在本实施例中，所述图像质量评价模型是利用训练数据集对支持向量机回归(SupportVector Regression，SVR)模型进行训练得到的。还需要说明的是，在本实施例中，是将8个亮度特征、8个全局对比度特征、3个第一局部对比度特征、10个第二局部对比度特征、9个颜色特征、2个自然度特征以及1个噪声特征共41维特征输入训练后的SVR模型中得到一维的质量分数。
请参阅图2，利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型，具体包括如下步骤S161-S163：
S161、针对训练数据集中的每一训练批次图像，将与所述训练批次图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入支持向量机回归模型以输出预测质量分数；
S162、根据所述预测质量分数及所述训练数据集中的标签质量分数通过损失函数计算损失值；
S163、根据所述损失值对所述支持向量机回归模型进行迭代更新，直至达到预设训练批次数为止，以得到图像质量评价模型。
在本发明实施例中，在对支持向量机回归模型进行训练之前，先收集了2400张失真的内窥镜图像，并由18名志愿者对每张图像进行主观评分，评分结果的均值作为每张图像的质量分数。再将2400张图像划分为1800张训练集和600张测试集，即所述训练数据集与所述测试数据集的划分比例为3:1；可理解地，在本发明实施例中，所述训练数据集用于所述支持向量机回归模型的训练阶段，所述测试数据集用于对优化后的所述支持向量机回归模型进行测试。在其它实施例中，所述训练数据集及所述测试数据集中的图像数据的张数不作具体限定。
进一步地，在对质量评价模型训练时，将与所述训练批次图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入支持向量机回归模型以输出预测质量分数；根据所述预测质量分数及所述训练数据集中的标签质量分数通过损失函数计算损失值，其中，所述损失函数为均方差的损失函数，根据所述损失值对所述支持向量机回归模型进行迭代更新，直至达到预设训练批次数为止，以得到图像质量评价模型。具体地，判断所述损失值是否小于上一所述损失值，若所述损失值不小于上一所述损失值，表明损失值保持稳定，则将训练后的所述支持向量机回归模型作为图像质量评价模型；反之，若所述损失值小于上一所述损失值，表明所述损失值仍在降低，则继续设置网络参数优化网络，并返回执行步骤S161，以对所述支持向量机回归模型进行继续训练。
更进一步地，在本发明实施例中，达到预设训练批次数之后，将与测试数据集中每一测试图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入训练后的所述质量评价模型得到测试质量分数；根据所述测试质量分数及所述测试数据集中的标签质量分数计算指标值，其中，所述指标值为SRCC系数和PLCC系数。可理解地，SRCC系数和PLCC系数越接近1，表明图像质量评价模型的性能越好，对图像质量评价越准确。需要说明的是，在本实施例中，经验证，本实施例中的SRCC的值在0.82以上，PLCC的值在0.83以上，由此可知，本实施例中的图像质量评价模型对内窥镜图像具有较好的评价效果。
图3是本发明实施例提供的一种基于多维度的内窥镜图像质量评价装置200的示意性框图。如图3所示，对应于以上基于多维度的内窥镜图像质量评价方法，本发明还提供一种基于多维度的内窥镜图像质量评价装置200。该基于多维度的内窥镜图像质量评价装置200包括用于执行上述基于多维度的内窥镜图像质量评价方法的单元，该装置可以被配置于计算机设备中。具体地，请参阅图3，该基于多维度的内窥镜图像质量评价装置200包括处理计算单元201、估计单元202、转换计算单元203、计算量化单元204、去噪计算单元205以及质量评价单元206。
其中，所述处理计算单元201用于获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；所述估计单元202用于对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；所述转换计算单元203用于对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；所述计算量化单元204用于计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；所述去噪计算单元205用于对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；所述质量评价单元206用于将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
在某些实施例，例如本实施例中，所述处理计算单元201包括灰度处理单元、确定单元以及第一计算单元。
其中，所述灰度处理单元用于利用预设灰度函数对所述内窥镜图像进行灰度处理得到初始内窥镜灰度图像；所述确定单元用于根据所述初始内窥镜灰度图像及预先设置的乘子确定内窥镜灰度图像；所述第一计算单元用于通过信息熵公式计算所述内窥镜灰度图像的亮度得到多个亮度特征。
在某些实施例，例如本实施例中，所述估计单元202包括整体估计单元及局部估计单元。
其中，所述整体估计单元用于采用Minkowski距离公式对所述内窥镜图像进行整体对比度估计得到全局对比度特征；所述局部估计单元用于对所述内窥镜图像及所述内窥镜灰度图像进行局部对比度估计得到第一局部对比度特征及第二局部对比度特征，并将所述第一局部对比度特征及所述第二局部对比度特征作为局部对比度特征。
在某些实施例，例如本实施例中，所述局部估计单元包括第一局部估计子单元及第二局部估计子单元。
其中，所述第一局部估计子单元用于采用对比度能量公式对所述内窥镜图像进行局部对比度估计得到第一局部对比度特征；所述第二局部估计子单元用于通过ULBP公式提取所述内窥镜灰度图像的ULBP特征得到第二局部对比度特征。
在某些实施例，例如本实施例中，所述转换计算单元203包括转换单元及第二计算单元。
其中，所述转换单元用于将所述内窥镜图像中的颜色通道进行颜色空间转换以得到对立色颜色空间分量；所述第二计算单元用于计算所述对立色颜色空间分量的平均值、标准偏差以及偏度以得到颜色特征。
在某些实施例，例如本实施例中，所述利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型的步骤包括第一输入输出单元、第三计算单元以及迭代更新单元。
其中，所述第一输入输出单元用于针对训练数据集中的每一训练批次图像，将与所述训练批次图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入支持向量机回归模型以输出预测质量分数；所述第三计算单元用于根据所述预测质量分数及所述训练数据集中的标签质量分数通过损失函数计算损失值；所述迭代更新单元用于根据所述损失值对所述支持向量机回归模型进行迭代更新，直至达到预设训练批次数为止，以得到图像质量评价模型。
在某些实施例，例如本实施例中，所述利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型的步骤之后还包括第二输入输出单元及第四计算单元。
其中，所述第二输入输出单元用于将与测试数据集中每一测试图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入训练后的所述质量评价模型得到测试质量分数；所述第四计算单元用于根据所述测试质量分数及所述测试数据集中的标签质量分数计算指标值。
本发明实施例的基于多维度的内窥镜图像质量评价装置200的具体实现方式与上述基于多维度的内窥镜图像质量评价方法相对应，在此不再赘述。
上述基于多维度的内窥镜图像质量评价装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为服务器，具体地，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图4，该计算机设备300包括通过***总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作***3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于多维度的内窥镜图像质量评价方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于多维度的内窥镜图像质量评价方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现上述方法的实施例的流程步骤。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于多维度的内窥镜图像质量评价方法的任意实施例。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多维度的内窥镜图像质量评价方法，应用于构建的息肉分割模型，其特征在于，包括：
获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；
对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；
对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；
计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；
对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；
将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征，包括：
利用预设灰度函数对所述内窥镜图像进行灰度处理得到初始内窥镜灰度图像；
根据所述初始内窥镜灰度图像及预先设置的乘子确定内窥镜灰度图像；
通过信息熵公式计算所述内窥镜灰度图像的亮度得到多个亮度特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征，包括：
采用Minkowski距离公式对所述内窥镜图像进行整体对比度估计得到全局对比度特征；
对所述内窥镜图像及所述内窥镜灰度图像进行局部对比度估计得到第一局部对比度特征及第二局部对比度特征，并将所述第一局部对比度特征及所述第二局部对比度特征作为局部对比度特征。
4.根据权利要求3所述的方法，其特征在于，所述对所述内窥镜图像及所述内窥镜灰度图像进行局部对比度估计得到第一局部对比度特征及第二局部对比度特征，包括：
采用对比度能量公式对所述内窥镜图像进行局部对比度估计得到第一局部对比度特征；
通过ULBP公式提取所述内窥镜灰度图像的ULBP特征得到第二局部对比度特征。
5.根据权利要求1所述的方法，其特征在于，所述对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征，包括：
将所述内窥镜图像中的颜色通道进行颜色空间转换以得到对立色颜色空间分量；
计算所述对立色颜色空间分量的平均值、标准偏差以及偏度以得到颜色特征。
6.根据权利要求1所述的方法，其特征在于，利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型，包括：
针对训练数据集中的每一训练批次图像，将与所述训练批次图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入支持向量机回归模型以输出预测质量分数；
根据所述预测质量分数及所述训练数据集中的标签质量分数通过损失函数计算损失值；
根据所述损失值对所述支持向量机回归模型进行迭代更新，直至达到预设训练批次数为止，以得到图像质量评价模型。
7.根据权利要求6所述的方法，其特征在于，所述利用训练数据集对支持向量机回归模型进行训练得到图像质量评价模型之后，还包括：
将与测试数据集中每一测试图像相对应的所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入训练后的所述质量评价模型得到测试质量分数；
根据所述测试质量分数及所述测试数据集中的标签质量分数计算指标值。
8.一种基于多维度的内窥镜图像质量评价装置，其特征在于，包括：
处理计算单元，用于获取内窥镜图像，并对所述内窥镜图像进行灰度处理得到内窥镜灰度图像，计算所述内窥镜灰度图像的亮度得到亮度特征；
估计单元，用于对所述内窥镜图像及所述内窥镜灰度图像进行对比度估计得到全局对比度特征及局部对比度特征；
转换计算单元，用于对所述内窥镜图像进行颜色空间转换以计算预设数值得到颜色特征；
计算量化单元，用于计算所述内窥镜灰度图像的MSCN系数，并采用GGD模型对所述MSCN系数进行量化得到自然度特征；
去噪计算单元，用于对所述内窥镜图像进行去噪处理得到无噪内窥镜图像，并基于SSIM方法，计算所述无噪内窥镜图像与所述内窥镜图像结构相似度得到噪声特征；
质量评价单元，用于将所述亮度特征、所述全局对比度特征、所述局部对比度特征、所述颜色特征、所述自然度特征以及所述噪声特征输入图像质量评价模型进行质量评价得到质量分数，其中，所述图像质量评价模型是利用训练数据集对支持向量机回归模型进行训练得到的。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310144850.8A 2023-01-29 2023-01-29 基于多维度的内窥镜图像质量评价方法、装置、设备及介质 Pending CN116051421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310144850.8A CN116051421A (zh) 2023-01-29 2023-01-29 基于多维度的内窥镜图像质量评价方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310144850.8A CN116051421A (zh) 2023-01-29 2023-01-29 基于多维度的内窥镜图像质量评价方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116051421A true CN116051421A (zh) 2023-05-02

Family

ID=86131471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310144850.8A Pending CN116051421A (zh) 2023-01-29 2023-01-29 基于多维度的内窥镜图像质量评价方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116051421A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681681A (zh) * 2023-06-13 2023-09-01 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681681A (zh) * 2023-06-13 2023-09-01 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质
CN116681681B (zh) * 2023-06-13 2024-04-02 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质

Similar Documents

Publication Publication Date Title
Gu et al. Learning a no-reference quality assessment model of enhanced images with big data
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Ma et al. Perceptual evaluation of single image dehazing algorithms
Zhang et al. A feature-enriched completely blind image quality evaluator
CN105261013B (zh) 一种扫描图像质量综合评价方法及评价***
CN112001904B (zh) 一种遥感图像质量清晰度综合评价模块及评价方法
US20140126808A1 (en) Recursive conditional means image denoising
CN111127387B (zh) 无参考图像的质量的评价方法
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
CN117764864B (zh) 基于图像去噪的核磁共振肿瘤视觉检测方法
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
CN111666890A (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN116051421A (zh) 基于多维度的内窥镜图像质量评价方法、装置、设备及介质
CN110996096A (zh) 一种基于结构相似性差异度的色调映射图像质量评价方法
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
CN111047618A (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN117911370A (zh) 一种皮肤图像质量评估方法、装置、电子设备及存储介质
CN116744125B (zh) 图像颜色数据处理方法、装置、设备及存储介质
CN111489333B (zh) 一种无参考夜间自然图像质量评价方法
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及***
Zewdie et al. A new pooling strategy for image quality metrics: Five number summary
Gavrovska et al. No-reference local image quality evaluation
CN112950479B (zh) 一种图像灰度区域拉伸算法
CN115100068A (zh) 一种红外图像校正方法
CN111354048B (zh) 一种面向相机获取图片的质量评价方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination