CN110796650A - 图像质量的评估方法及装置、电子设备、存储介质 - Google Patents

图像质量的评估方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN110796650A
CN110796650A CN201911040753.4A CN201911040753A CN110796650A CN 110796650 A CN110796650 A CN 110796650A CN 201911040753 A CN201911040753 A CN 201911040753A CN 110796650 A CN110796650 A CN 110796650A
Authority
CN
China
Prior art keywords
image
super
detected
pixel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911040753.4A
Other languages
English (en)
Inventor
王扬斌
张鹿鸣
王泽鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fubo Technology Co Ltd
Original Assignee
Hangzhou Fubo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fubo Technology Co Ltd filed Critical Hangzhou Fubo Technology Co Ltd
Priority to CN201911040753.4A priority Critical patent/CN110796650A/zh
Publication of CN110796650A publication Critical patent/CN110796650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像质量的评估方法及装置、电子设备、计算机可读存储介质，该方案包括：将待测图像分割为多个超像素区域；根据待测图像的图像金字塔，定位每个超像素区域在图像金字塔对应的位置标识；将位置标识相邻的超像素区域组建成目标区域，得到待测图像的多个目标区域；根据待测图像中所选取目标区域的深度特征，聚合得到待测图像的深度特征；将待测图像的深度特征输入已构建的质量分析模型，输出待测图像的质量分数。由此解决了人工评估标准不一，准确性不高的问题，提高了图像质量评估的准确度，节省了人力物力。

Description

图像质量的评估方法及装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像质量的评估方法及装置、电子设备、计算机可读存储介质。
背景技术
图像质量评估在计算机视觉和智能***中有重要应用，例如：图像分类，图像重定位，场景渲染。该技术旨在对图像进行特性分析研究，然后评估出图像的优劣。
图像质量评估多为主观评测，由观测者对图像进行主观评测，评估标准不一，准确性不高。另外，对于图片较多的视频文件，人工评估工作量大，需要耗费大量的时间。
发明内容
本申请实施例提供了一种图像质量的评估方法，用以解决人工评估标准不一，准确性不高的问题。
本申请实施例提供了一种图像质量的评估方法，包括：
将待测图像分割为多个超像素区域；
根据所述待测图像的图像金字塔，定位每个所述超像素区域在所述图像金字塔对应的位置标识；
将所述位置标识相邻的超像素区域组建成目标区域，得到所述待测图像的多个所述目标区域；
根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征；
将所述待测图像的深度特征输入已构建的质量分析模型，输出所述待测图像的质量分数。
在一实施例中，在所述将待测图像分割为多个超像素区域之后，所述方法还包括：
去除尺寸小于预设值或超像素分数低于阈值的所述超像素区域。
在一实施例中，所述去除尺寸小于预设值或超像素分数低于阈值的所述超像素区域之前，所述方法还包括：
利用已知图像特征的图像数据训练线性判别分析模型，得到所述线性判别分析模型的转移矩阵；
提取每个所述超像素区域的外观特征；
根据所述外观特征与所述转移矩阵，计算每个所述超像素区域的超像素分数。
在一实施例中，所述根据所述待测图像的图像金字塔，定位每个所述超像素区域在所述图像金字塔对应的位置标识，包括：
对所述待测图像进行多尺度变换，构建所述待测图像的图像金字塔；
针对每个超像素区域，若所述超像素区域的90％以上被所述图像金字塔的一金字塔单元覆盖，则所述超像素区域的位置标识为所述金字塔单元的位置标识。
在一实施例中，所述将所述位置标识相邻的超像素区域组建成目标区域，得到所述待测图像的多个所述目标区域包括：
随机选择一起始的所述超像素区域，在空间相邻的超像素区域之间进行随机游走；
将所述位置标识相邻的超像素区域组建成一所述目标区域，直到所述目标区域的超像素区域数量达到设定值，构建下一所述目标区域。
在一实施例中，所述根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征之前，所述方法还包括：
根据每个所述目标区域的外表特征，计算每个所述目标区域的目标质量分数；
按照所述目标质量分数的高低对所述目标区域进行排序，选取所述目标质量分数最大的前若干个目标区域。
在一实施例中，所述根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征，包括：
针对所选取的每一所述目标区域，根据所述目标区域中每个超像素区域的深度特征，通过统计方法聚合得到所述目标区域的深度特征；
将所述待测图像中所选取的目标区域的深度特征，拼接得到所述待测图像的深度特征。
在一实施例中，所述将所述待测图像的深度特征输入已构建的质量分析模型，输出所述待测图像的质量分数，包括：
将所述待测图像的深度特征输入已训练的softmax逻辑回归模型，输出所述待测图像的质量分数。
本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述图像质量的评估方法。
本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述图像质量的评估方法。
本申请提供的技术方案，通过对待测图像进行超像素分割，定位超像素区域在图像金字塔的位置标识，将位置标识相邻的超像素区域组建成目标区域，构建图像中目标区域之间的深度特征，计算待测图像的质量分数，有效地反映了图像中物体的空间位置关系，使得评估效果更佳准确，由此解决了人工评估标准不一，准确性不高的问题，提高了图像质量评估的准确度，节省了人力物力。
附图说明
图1为本申请实施例提供的一种图像质量的评估方法的应用场景示意图；
图2为本申请实施例提供的一种图像质量的评估方法的流程示意图；
图3为本申请实施例提供的计算每个超像素区域的超像素分数的步骤示意图；
图4为图2对应实施例中步骤220的细节流程图；
图5为图2对应实施例中步骤240的细节流程图；
图6为本申请实施例提供的一种图像质量的评估装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
图1为本申请实施例提供的一种图像质量的评估方法的应用场景示意图。如图1所示，该应用场景可以包括用户终端110，用户终端110可以是具有拍照功能的智能手机或平板电脑。用户终端110可以执行本申请提供的图像质量的评估方法，评估所拍摄图像的质量；还可以评估在视频、图像传播、压缩、存储过程中图像的损失程度。
根据需要，该应用场景还可以包括服务端120，服务端120可以是服务器、服务器集群或者云计算中心。服务端120可以接收用户终端110上传的图像，执行本申请提供的图像质量的评估方法，评估所接收图像的质量。
如图2所示，本申请提供了一种图像质量的评估方法，该方法可以包括以下步骤。
步骤210：将待测图像分割为多个超像素区域；
步骤220：根据待测图像的图像金字塔，定位每个超像素区域在图像金字塔对应的位置标识；
步骤230：将位置标识相邻的超像素区域组建成目标区域，得到待测图像的多个目标区域；
步骤240：根据待测图像中所选取目标区域的深度特征，聚合得到待测图像的深度特征；
步骤250：将待测图像的深度特征输入已构建的质量分析模型，输出待测图像的质量分数。
下面对上述步骤展开详细描述。
在步骤210中，将待测图像分割为多个超像素区域。
在计算机视觉领域，图像分割指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素区域由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。
于一实施例中，可以采用SLIC算法将图像分割为超像素，可以利用三种分割参数(0.5A，0.2A，0.1A，其中A代表图像的宽、高的较小值)分割图像，得到一系列超像素区域。SLIC算法是一个超像素分割的算法。SLIC利用K-means聚类将相似的像素聚集在一起，且设定K-means搜索范围是2S，S表示每个超像素中的像素数目。这样可以大大减少搜索范围，提高计算效率。
在步骤210之后，本申请提供的方法还包括：去除尺寸小于预设值或超像素分数低于阈值的超像素区域。
在图像分割后需要去除分割损伤的超像素区域，于一实施例中，可以去除尺寸小于0.01wl(像素)的超像素区域，以及去除超像素分数低于阈值的超像素区域，保留超像素分数大于等于阈值的超像素区域。在一实施例中，可以利用ImageNet数据集中的177类带有标记的图像，提取它们的颜色矩和直方图特征组成137维特征，然后通过训练一个LDA(Linear Discriminant Analysis，线性判别分析模型)得到转移矩阵。利用转移矩阵衡量SLIC分割的分数。例如设定分割分数区间为[0,1]，设定1为分割良好，0位分割很差，设定阈值为0.4。
在一实施例中，在上述去除超像素分数低于阈值的超像素区域之前，本申请提供的方法还包括计算每个超像素区域的超像素分数的步骤。其中，如图3所示，计算每个超像素区域的超像素分数的步骤可以包括以下步骤301-303。
在步骤301中，利用已知图像特征的图像数据训练线性判别分析模型，得到线性判别分析模型的转移矩阵。
其中，图像特征可以是图像的外观特征(颜色矩和直方图)以及相应超像素分数。于一实施例中，可以利用图像库中177种带有特征标签的图像数据训练线性LDA，学习得到转移矩阵J。转移矩阵可以认为是线性判别分析模型的参数。
在步骤302中，提取每个超像素区域的外观特征。
提取每个超像素区域的9维颜色矩和128维的方向梯度直方图(HOG，Histogram ofOriented Gradient，)特征，作为超像素区域的外观特征(137维)。颜色矩是一种简单有效的颜色特征表示方法，HOG特征是一种在计算机视觉和图像处理中，用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
在步骤303中，根据外观特征与转移矩阵，计算每个超像素区域的超像素分数。于一实施例中，可以利用137为的外观特征向量x*乘以转移矩阵J，得到超像素区域的超像素分数。
在步骤220中，根据待测图像的图像金字塔，定位每个超像素区域在图像金字塔对应的位置标识。
图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。如果某个超像素区域有90％以上被金字塔单元(i，j)覆盖，则该超像素区域的位置标识设置为(i，j)。i表示在图像金字塔的第几层，j表示该层的第几个。
在一实施例中，如图4所示，上述步骤220可以包括以下步骤221-222。
在步骤221中，对待测图像进行多尺度变换，构建待测图像的图像金字塔。
图像金字塔化一般包括二个步骤：1、利用低通滤波器平滑图像；2、对平滑图像进行抽样，从而得到一系列尺寸缩小的图像。于一实施例中，可以将待测图像转变为1×1，2×2，4×4的三层图像金字塔。
在步骤222中，针对每个超像素区域，若超像素区域的90％以上被图像金字塔的一金字塔单元覆盖，则超像素区域的位置标识为金字塔单元的位置标识。
针对每个超像素区域，如果第二层金字塔单元(2，1)覆盖了超像素区域的90％，则该超像素区域的位置标识设置为(2，1)。
在步骤230中，将位置标识相邻的超像素区域组建成目标区域，得到待测图像的多个目标区域。
其中，位置标识相邻是指属于位于同一层的相邻金字塔单元的位置标识。
于一实施例中，上述步骤230可以包括以下步骤：随机选择一起始的超像素区域，在空间相邻的超像素区域之间进行随机游走；将位置标识相邻的超像素区域组建成一目标区域，直到目标区域的超像素区域数量达到设定值，构建下一目标区域。
例如，设定构成目标区域的最大的超像素区域数量为5，则目标区域可以表示为x＝[x(1)，…，x(5)]，其中x(i)代表139维向量，其中前137维向量代表9维颜色矩+128维HOG，最后两维代表位置标识，x可以认为是目标区域的外表特征。
于一实施例中，在步骤240之前，本申请提供的方法还可以包括以下步骤：根据每个目标区域的外表特征，计算每个目标区域的目标质量分数；按照目标质量分数的高低对目标区域进行排序，选取目标质量分数最大的前若干个目标区域。
目标区域的外表特征，可以包括9维颜色矩、128维的方向梯度直方图以及2维的位置标识。
具体可以利用如下公式计算每个目标区域的目标质量分数：
Figure BDA0002251667120000091
其中，转移矩阵U∈Rd×C是从所有的训练图像中学***，则否则为0。正则化项||U||21保证矩阵U是行稀疏的。是一个损失项，它惩罚质量预测的准确性。‘0’表示低质量，‘1’表示高质量。
在计算出每个目标区域的目标质量分数后，按照目标质量分数由高到低，对所有目标区域进行排序，选取排序靠前的(也就是目标质量分数最大的)若干个目标区域。一些目标区域可能对图像质量建模没有帮助。所以需要对目标区域进行排序选择，对目标区域进行排序后，可以从图像中选择高排序的目标区域，从而更好的从构建的空间双聚合网络中提取每个目标区域的深度特征。
在步骤240中，根据待测图像中所选取目标区域的深度特征，聚合得到待测图像的深度特征。
其中，目标区域的深度特征可以通过多层自适应分割池ASP(Adaptive SpatialPooling，自适应空间池化)的深度神经网络进行提取，与传统CNN(卷积神经网络)要求输入图像是矩形不同，为了更好提取图像中目标区域的特征，构建自适应分割池化层支持ASP输入任意形状的图像。传统的CNN要求输入的图像必须是固定尺寸的，比如说224*224。本申请提取出的目标区域的尺寸不是固定的，不能够直接作为CNN的输入，因此设置一个ASP层来接收输入的不同尺寸的图像块。深度神经网络架构可以包括四阶卷积层、自适应空间池化层、局部相应归一化层以及全连接层。于一实施例中，聚合可以是拼接，将几个目标区域的深度特征拼接得到待测图像的深度特征。
在一实施例中，如图5所示，上述步骤240可以包括以下步骤241-242。
在步骤241中，针对所选取的每一目标区域，根据目标区域中每个超像素区域的深度特征，通过统计方法聚合得到目标区域的深度特征。
步骤241可以认为是内部聚合。可以令
Figure BDA0002251667120000111
表示一系列第l个目标区域的所有组分的第a维深度特征值。令F＝{min，max，mean，median}表示统计方法，它将目标区域中的所有组分特征整合为O维向量。这一过程公式总结如下：
Figure BDA0002251667120000112
其中，Wl∈RO×4(A+2)是全连接层的聚合参数，
Figure BDA0002251667120000113
是定义的一个连接符号，
Figure BDA0002251667120000114
表示将4(A+2)个特征向量连接为一个特征向量。πi表示第i个统计方法。例如，构成目标区域的3个超像素区域的深度特征为{2，3，4}，{1，5，3}，{2，6，3}，利用统计算法F，内部聚合为{1，3，2，3，7，4，2，5，3，2，5，3}。
举例来说，若构成目标区域的3个超像素特征为
Figure BDA0002251667120000115
利用统计算法F＝{min，max，mean，median}，首先得到
Figure BDA0002251667120000116
按行选取每一行的min(最小)值得到1，3，2；然后再按行选取每一行的max(最大)值，得到3，7，4；同理取得mean值(平均数)和median值(中位数)，最后内部聚合(也就是拼接)为{1，3，2，3，7，4，2，5，3，2，5，3}。
在步骤242中，将待测图像中所选取的目标区域的深度特征，拼接得到待测图像的深度特征。
目标区域的深度特征进行拼接，也可以称为是外部聚合。可以利用全连接层将待测图像中k个排序靠前的目标区域组合在一起构建一个图像层的P维特征。整个双层聚合可以描述如下：
Figure BDA0002251667120000117
其中，W2代表全连接层的参数。例如组成目标区域的超像素有2个，内部聚合结果分别为{1，3，2，3，7，4，2，5，3，2，5，3}和{2，4，3，1，5，2，6，7，1，3，4，5}，则参数K＝2，外部聚合(也就是将内部聚合结果进行拼接)为{1,3,2,3,7,4,2,5,3,2,5,3,2,4,3,1,5,2,6,7,1,3,4,5}。
在步骤250中，将待测图像的深度特征输入已构建的质量分析模型，输出待测图像的质量分数。
质量分析模型可以是softmax回归模型，其参数是先由训练图像训练得到的。具体训练过程如下，(1)基于所提出的多层自适应分割池ASP的深度神经网络的定长输出，将每个目标区域中对应于语义区域的深层特征集合成一个目标区域的层次特征(即内聚合)。(2)将图像中所有目标区域的特性合并到最终的图像质量分数中。(3)在完成内聚合后，外聚合使用全连接层将每个图像的K个细化的顶级目标区域组合在一起，在图像级生成P维的深度特征。(4)最后，将P维的图像级深度特征输入P维softmax层，根据已知的最终质量分数，优化softmax层的参数。在测试过程中，可以将待测图像的深度特征输入已训练的softmax逻辑回归模型，输出待测图像的质量分数。
本申请提供的技术方案，通过对待测图像进行超像素分割，定位超像素区域在图像金字塔的位置标识，将位置标识相邻的超像素区域组建成目标区域，构建图像中目标区域之间的深度特征，计算待测图像的质量分数，有效地反映了图像中物体的空间位置关系，使得评估效果更佳准确，由此解决了人工评估标准不一，准确性不高的问题，提高了图像质量评估的准确度，节省了人力物力。
下述为本申请装置实施例，可以用于执行本申请上述图像质量的评估方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请图像质量的评估方法实施例。
如图6所示，本申请提供了一种图像质量的评估装置，该装置可以包括：依次连接的像素分割模块610、像素定位模块620、区域构建模块630、特征聚合模块640和分数计算模块650。
像素分割模块610，用于将待测图像分割为多个超像素区域。
像素定位模块620，用于根据待测图像的图像金字塔，定位每个超像素区域在图像金字塔对应的位置标识。
区域构建模块630，用于将位置标识相邻的超像素区域组建成目标区域，得到待测图像的多个目标区域。
特征聚合模块640，用于根据待测图像中所选取目标区域的深度特征，聚合得到待测图像的深度特征。
分数计算模块650，用于将待测图像的深度特征输入已构建的质量分析模型，输出待测图像的质量分数。
在一实施例中，本申请提供的图像质量的评估装置还包括：像素去除模块，用于在将待测图像分割为多个超像素区域之后，去除尺寸小于预设值或超像素分数低于阈值的超像素区域。
在一实施例中，本申请提供的图像质量的评估装置还包括：模型训练模块，用于在去除尺寸小于预设值或超像素分数低于阈值的超像素区域之前，利用已知图像特征的图像数据训练线性判别分析模型，得到线性判别分析模型的转移矩阵。
特征提取模块，用于提取每个超像素区域的外观特征。
分数转移模块，用于根据外观特征与转移矩阵，计算每个超像素区域的超像素分数。
在一实施例中，像素定位模块620包括：金字塔构建单元，用于对待测图像进行多尺度变换，构建待测图像的图像金字塔；位置标识单元，用于针对每个超像素区域，若超像素区域的90％以上被图像金字塔的一金字塔单元覆盖，则超像素区域的位置标识为金字塔单元的位置标识。
在一实施例中，区域构建模块630包括：像素游走单元，用于随机选择一起始的超像素区域，在空间相邻的超像素区域之间进行随机游走；目标构建单元，用于将位置标识相邻的超像素区域组建成一目标区域，直到目标区域的超像素区域数量达到设定值，构建下一目标区域。
在一实施例中，本申请提供的图像质量的评估装置还包括：目标分数计算模块，用于在根据待测图像中所选取目标区域的深度特征，聚合得到待测图像的深度特征之前，根据每个目标区域的外观特征，计算每个目标区域的目标质量分数；目标选取模块，用于按照目标质量分数的高低对目标区域进行排序，选取目标质量分数最大的前若干个目标区域。
在一实施例中，上述特征聚合模块640包括：内聚合模块，用于针对所选取的每一目标区域，根据目标区域中每个超像素区域的深度特征，通过统计方法聚合得到目标区域的深度特征；外聚合模块，用于将待测图像中所选取的目标区域的深度特征，拼接得到待测图像的深度特征。
在一实施例中，上述分数计算模块650具体用于：将待测图像的深度特征输入已训练的softmax逻辑回归模型，输出待测图像的质量分数。
本申请还提供了一种电子设备，电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行上文实施例的图像质量的评估方法。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器执行以完成上文的图像质量的评估方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像质量的评估方法，其特征在于，包括：
将待测图像分割为多个超像素区域；
根据所述待测图像的图像金字塔，定位每个所述超像素区域在所述图像金字塔对应的位置标识；
将所述位置标识相邻的超像素区域组建成目标区域，得到所述待测图像的多个所述目标区域；
根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征；
将所述待测图像的深度特征输入已构建的质量分析模型，输出所述待测图像的质量分数。
2.根据权利要求1所述的方法，其特征在于，在所述将待测图像分割为多个超像素区域之后，所述方法还包括：
去除尺寸小于预设值或超像素分数低于阈值的所述超像素区域。
3.根据权利要求2所述的方法，其特征在于，所述去除尺寸小于预设值或超像素分数低于阈值的所述超像素区域之前，所述方法还包括：
利用已知图像特征的图像数据训练线性判别分析模型，得到所述线性判别分析模型的转移矩阵；
提取每个所述超像素区域的外观特征；
根据所述外观特征与所述转移矩阵，计算每个所述超像素区域的超像素分数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待测图像的图像金字塔，定位每个所述超像素区域在所述图像金字塔对应的位置标识，包括：
对所述待测图像进行多尺度变换，构建所述待测图像的图像金字塔；
针对每个超像素区域，若所述超像素区域的90％以上被所述图像金字塔的一金字塔单元覆盖，则所述超像素区域的位置标识为所述金字塔单元的位置标识。
5.根据权利要求1所述的方法，其特征在于，所述将所述位置标识相邻的超像素区域组建成目标区域，得到所述待测图像的多个所述目标区域包括：
随机选择一起始的所述超像素区域，在空间相邻的超像素区域之间进行随机游走；
将所述位置标识相邻的超像素区域组建成一所述目标区域，直到所述目标区域的超像素区域数量达到设定值，构建下一所述目标区域。
6.根据权利要求1所述的方法，其特征在于，所述根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征之前，所述方法还包括：
根据每个所述目标区域的外表特征，计算每个所述目标区域的目标质量分数；
按照所述目标质量分数的高低对所述目标区域进行排序，选取所述目标质量分数最大的前若干个目标区域。
7.根据权利要求1所述的方法，其特征在于，所述根据所述待测图像中所选取目标区域的深度特征，聚合得到所述待测图像的深度特征，包括：
针对所选取的每一所述目标区域，根据所述目标区域中每个超像素区域的深度特征，通过统计方法聚合得到所述目标区域的深度特征；
将所述待测图像中所选取的目标区域的深度特征，拼接得到所述待测图像的深度特征。
8.根据权利要求1所述的方法，其特征在于，所述将所述待测图像的深度特征输入已构建的质量分析模型，输出所述待测图像的质量分数，包括：
将所述待测图像的深度特征输入已训练的softmax逻辑回归模型，输出所述待测图像的质量分数。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-8任意一项所述的图像质量的评估方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-8任意一项所述的图像质量的评估方法。
CN201911040753.4A 2019-10-29 2019-10-29 图像质量的评估方法及装置、电子设备、存储介质 Pending CN110796650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911040753.4A CN110796650A (zh) 2019-10-29 2019-10-29 图像质量的评估方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911040753.4A CN110796650A (zh) 2019-10-29 2019-10-29 图像质量的评估方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN110796650A true CN110796650A (zh) 2020-02-14

Family

ID=69441921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911040753.4A Pending CN110796650A (zh) 2019-10-29 2019-10-29 图像质量的评估方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110796650A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839167A (zh) * 2020-12-30 2021-05-25 Oppo（重庆）智能科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN114742836A (zh) * 2022-06-13 2022-07-12 浙江太美医疗科技股份有限公司 医学图像的处理方法、装置及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013177779A1 (en) * 2012-05-31 2013-12-05 Thomson Licensing Image quality measurement based on local amplitude and phase spectra
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN105513080A (zh) * 2015-12-21 2016-04-20 南京邮电大学 一种红外图像目标显著性评估方法
CN105957063A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于多尺度加权相似性测度的ct图像肝脏分割方法及***
CN107122713A (zh) * 2017-03-27 2017-09-01 华南理工大学 一种基于深度学习的似物性检测方法
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013177779A1 (en) * 2012-05-31 2013-12-05 Thomson Licensing Image quality measurement based on local amplitude and phase spectra
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN105513080A (zh) * 2015-12-21 2016-04-20 南京邮电大学 一种红外图像目标显著性评估方法
CN105957063A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于多尺度加权相似性测度的ct图像肝脏分割方法及***
CN107122713A (zh) * 2017-03-27 2017-09-01 华南理工大学 一种基于深度学习的似物性检测方法
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENJINHU 等: "No reference quality assessment for Thangka color image based on superpixel", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
YANLI ZHANG 等: "Improved DSP matching with space-spanning scales and SLIC superpixels for dense scene correspondences", 《CHINESE CONTROL CONFERENCE (CCC)》 *
王同罕: "图像质量评价若干问题研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
程少光 等: "基于超像素空间金字塔模型的场景识别研究", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839167A (zh) * 2020-12-30 2021-05-25 Oppo（重庆）智能科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN114742836A (zh) * 2022-06-13 2022-07-12 浙江太美医疗科技股份有限公司 医学图像的处理方法、装置及计算机设备
CN114742836B (zh) * 2022-06-13 2022-09-09 浙江太美医疗科技股份有限公司 医学图像的处理方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
Liu et al. Learning relaxed deep supervision for better edge detection
Chaudhuri et al. Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Ali et al. Image retrieval by addition of spatial information based on histograms of triangular regions
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
US8837820B2 (en) Image selection based on photographic style
CN113011319A (zh) 多尺度火灾目标识别方法及***
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
Funk et al. Beyond planar symmetry: Modeling human perception of reflection and rotation symmetries in the wild
CN111126197B (zh) 基于深度学习的视频处理方法及装置
CN109800817B (zh) 基于融合语义神经网络的图像分类方法
CN111209897B (zh) 视频处理的方法、装置和存储介质
CN113627402B (zh) 一种图像识别方法及相关装置
CN112163508A (zh) 一种基于真实场景的文字识别方法、***及ocr终端
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
Kishorjit Singh et al. Image classification using SLIC superpixel and FAAGKFCM image segmentation
CN110796650A (zh) 图像质量的评估方法及装置、电子设备、存储介质
Wang et al. Multi-level feature fusion model-based real-time person re-identification for forensics
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
Ahmad et al. SSH: Salient structures histogram for content based image retrieval
CN116415210A (zh) 图像侵权检测方法、装置及存储介质
CN113011506B (zh) 一种基于深度重分形频谱网络的纹理图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214

WD01 Invention patent application deemed withdrawn after publication