CN110782448A - 渲染图像的评价方法及装置 - Google Patents
渲染图像的评价方法及装置 Download PDFInfo
- Publication number
- CN110782448A CN110782448A CN201911029262.XA CN201911029262A CN110782448A CN 110782448 A CN110782448 A CN 110782448A CN 201911029262 A CN201911029262 A CN 201911029262A CN 110782448 A CN110782448 A CN 110782448A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种渲染图像的评价方法及装置,涉及家装设计的技术领域,包括先接收渲染图像;然后将渲染图像进行标准化处理,得到标准化的渲染图像;最后将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。添加全连接层的卷积神经网络模型可以学习到对同一张渲染图像的不同设计师主观评分的概率分布。因此,该卷积神经网络模型更接近于人的感知,符合人类的审美需求。本发明基于该卷积神经网络模型可以提高质量评价的准确性,进而可以实现自动评分。
Description
技术领域
本发明涉及家装设计技术领域,尤其是涉及一种渲染图像的评价方法及装置。
背景技术
目前在家居设计中,由于设计师的水准不同,因此不同设计师设计的渲染图的质量参差不齐。从大量的渲染图中挑选出优秀的渲染图,可以增强用户体验、提升用户的体验效果。另外,对于图片展示而言,评分更高的渲染图通常更能吸引流量。
基于图像的质量评价一般包括图像质量本身的评价和图像美学的评价,其中图像质量本身一般是指图像模糊度、噪声、扭曲变形等基础指标,对于图像质量本身的评价较为客观;而基于图像美学的评价相对比较主观,不同的设计师有不同的倾向,对美学的审美理解和水平也不尽相同,因此给渲染图像整体的质量评价带来了一定的困难。
发明内容
本发明的目的在于提供一种渲染图像的评价方法及装置,使评价结果更接近于人的感知,符合人类的审美需求,提高质量评价的准确性,实现自动评分。
本发明提供的一种渲染图像的评价方法,其中,包括:接收渲染图像;
将所述渲染图像进行标准化处理,得到标准化的渲染图像;将所述标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
进一步的,在接收渲染图像之前,方法还包括:在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
进一步的,所述基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型的步骤包括:获取训练样本;其中,所述训练样本包括多个渲染图像集合,每个所述渲染图像集合包括图像样本以及所述图像样本的第一评分概率分布;将所述图像样本输入至所述卷积神经网络模型中,输出图像样本的第二评分概率分布;基于预设的损失函数确定所述第一评分概率分布和所述第二评分概率分布的误差;根据所述误差对所述卷积神经网络模型中的参数进行训练,直至所述参数收敛,得到预训练的卷积神经网络模型。
进一步的,方法还包括:基于所述渲染图像的评分概率分布预测,得到所述渲染图像的分数。
进一步的,方法还包括:根据所述分数对所有的所述渲染图像进行排序;基于排序结果向客户端推送预设个数的渲染图像。
本发明提供的一种渲染图像的评价装置,其中,包括:接收模块,用于接收渲染图像;标准化处理模块,用于将所述渲染图像进行标准化处理,得到标准化的渲染图像;输入模块,用于将所述标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
进一步的,装置还包括:构建模块,用于在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;训练模块,用于基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
进一步的,所述训练模块包括:获取单元,用于获取训练样本;其中,所述训练样本包括多个渲染图像集合,每个所述渲染图像集合包括图像样本以及所述图像样本的第一评分概率分布;输出单元,用于将所述图像样本输入至所述卷积神经网络模型中,输出图像样本的第二评分概率分布;确定单元,用于基于预设的损失函数确定所述第一评分概率分布和所述第二评分概率分布的误差;训练单元,用于根据所述误差对所述卷积神经网络模型中的参数进行训练,直至所述参数收敛,得到预训练的卷积神经网络模型。
本发明还提供一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现所述的渲染图像的评价方法。
本发明还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,其中,所述程序代码使所述处理器执行所述的渲染图像的评价方法。
本发明提供的渲染图像的评价方法及装置,先接收渲染图像;然后将渲染图像进行标准化处理,得到标准化的渲染图像;最后将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。添加全连接层的卷积神经网络模型可以学习到对同一张渲染图像的不同设计师主观评分的概率分布。该卷积神经网络模型更接近于人的感知,符合人类的审美需求。因此,本发明可以提高质量评价的准确性,实现自动评分。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种渲染图像的评价方法的流程图;
图2为本发明实施例提供的另一种渲染图像的评价方法的流程图;
图3为卷积神经网络模型的流程图;
图4为卷积神经网络模型的网络框架图;
图5为图2中步骤S102的流程图;
图6为本发明实施例提供的一种渲染图像的评价装置的结构示意图;
图7为本发明实施例提供的另一种渲染图像的评价装置的结构示意图;
图8为图7中训练模块的结构示意图。
图标:
11-接收模块;12-标准化处理模块;13-输入模块;14-构建模块;15-训练模块;16-预测模块;17-排序模块;18-推送模块;21-获取单元;22-输出单元;23-确定单元;24-训练单元。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图像质量评价可以分为客观评价方法和主观评价方法。根据评价时是否需要参考图像,又将客观评价方法分为全参考、半参考和无参考三种类型。由于无失真的参考图像在家居渲染图中难以得到,因此无参考图像质量评价方法有着更广泛的应用范围,更具有实用价值。深度学习常被应用于图像质量的无参考客观评价。大多深度学习算法只能对图像的质量类别进行判定,如:图像是否被噪声污染等。对整体构图及美感的评定少之甚少。
目前,在家装设计领域中,伴随AI(Artificial Intelligence,人工智能)智能化应用在家居产品设计中的不断深入,对渲染图像的质量包括美感度进行评分筛选的工作变得极其重要。在家居设计中,由于设计师的质量参差不齐,导致渲染呈现的应用场景中,渲染图像的质量差距较大,往往存在一些质量低下的渲染图。如:设计场景空旷,存在多个角度未设计;颜色搭配不协调,大面积使用纯度过高的色彩等。这些评价大多是由人为感知,并包含人的主观想法。因此对于此类问题,需要在网络中添加人为感知模块以增强评分的准确性。基于此,本发明提供了一种渲染图像的评价方法及装置,基于添加全连接层的卷积神经网络模型学习对同一张渲染图像的不同设计师主观评分的概率分布。由于该卷积神经网络模型更接近于人的感知,符合人类的审美需求。因此本发明可以提高质量评价的准确性,实现自动评分。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种渲染图像的评价方法进行详细介绍。
实施例一:
参照图1,本发明提供了一种渲染图像的评价方法,其中,评价方法可以包括以下步骤:
步骤S110,接收渲染图像;
在本发明实施例中,渲染图像个数不限,且存在接收的渲染图像格式不统一,命名格式也不统一的情况。
步骤S120,将渲染图像进行标准化处理,得到标准化的渲染图像;
在本发明实施例中,对渲染图像进行标准化处理的过程如下:1)对所有的渲染图像都进行格式转换,统一为固定格式;2)对所有的渲染图像均进行重命名操作,统一重命名格式;统一渲染图像命名格式的目的在于便于处理与数据追寻,因此先对所有渲染图像进行统一按照自定义的规则命名。
步骤S130,将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
在本发明实施例中,预训练的卷积神经网络模型为本发明的重点,该模型通过借助专业设计师对大量渲染图像的人工打分,增加视觉美学的损失函数,通过卷积神经网络的训练方式,学习其概率分布的规律,得到模型参数,可以实现对渲染图像的质量美学评分。
本发明实施例提供的渲染图像的评价方法先接收渲染图像;然后将渲染图像进行标准化处理,得到标准化的渲染图像;最后将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。添加全连接层的卷积神经网络模型可以学习到对同一张渲染图像的不同设计师主观评分的概率分布。该卷积神经网络模型更接近于人的感知,符合人类的审美需求。因此,本发明实施例可以提高质量评价的准确性,实现自动评分。
进一步的,参照图2,在执行步骤S110之前,评价方法还可以包括以下步骤:
步骤S101,在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;
本发明实施例利用基本的卷积神经网络来提取渲染图像的图像特征,卷积神经网络采用的网络深度为47层网络。参照图3,本发明实施例对卷积神经网络进行了一些网络修改或增添,引入Inception机制以更好地提取图像特征,具体的,可以对渲染图像的不同尺度的特征提取,分别提取渲染图像的全局结构信息和局部细节信息,其中全局结构信息为全局特征,局部细节信息为局部特征;全局特征是通过逐层传播,因此每一层网络得到的都是渲染图像的所有全局特征,而局部特征是指Inception机制可以对某层网络的某个局部的特征直接连接到待连接的网络层当中去,以此来获得该层网络的局部特征。
由于渲染图像是一幅彩色的rgb图像,因此图像特征为rgb图像的卷积特征,而该卷积特征中包含该渲染图像所要表达的所有信息。引入的Inception机制,分别采用1x1,3x3,5x5的卷积对相同的输入进行图像特征提取,并对提取到的图像特征进行拼接操作,可以融合不同尺度的图像特征。利用该卷积神经网络与Inception学习机制的方式以提取渲染图像中的局部特征与全局特征,可以充分表达渲染图像的结构化信息。
参照图4,和一般的卷积神经网络类似,本发明实施例中卷积神经网络模型的网络框架是也基于深度卷积神经网络。在设计网络的过程中,一方面将网络加深到47层,加深的层数在此不作具体限定;另一方面采用了Inception机制,采用不同大小的滤波器对图像特征进行提取,能更好的学习到渲染图像中的美感信息,Inception中的跳跃连接需要将不同网络层的特征越级传给其他层,而不是逐一特征网络层往后传,因此就需要将跳级的两个特征进行组合拼接。最后在卷积神经网络的末尾增加一个全连接层,构建成卷积神经网络模型。
步骤S102,基于训练采用的训练样本对卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
在本发明实施例中,参照图5,步骤S102可以包括以下步骤:
步骤S301,获取训练样本;其中,训练样本包括多个渲染图像集合,每个渲染图像集合包括图像样本以及图像样本的第一评分概率分布;
在本发明实施例中,图像样本的获取来源包括但不限于以下途径:1.利用网络获取已经存在的渲染图像,比如网页爬虫获取;2.采用专业渲染器对图像进行渲染后生成;3.由装修公司的设计师提供。本发明实施例对图像样本的获取来源不作具体限定。图像样本可以为美感好的渲染图像,也可以为美感较差的渲染图像,对图像样本的质量不作具体限定,无论图像样本的质量好还是坏,最终都对应由多个设计师对其进行评分的得分结果,并将上述得分结果确定为评分结果,也称之为标准分数。将评分结果进行转换,可以确定第一评分概率分布,第一评分概率分布为真实评分概率分布。
图像样本为标准化处理后的渲染图像,进行标准化处理的目的在于:一方面将图像样本统一成固定格式,将存储图像样本的评分结果的标签文件转换成Json形式;另一方面根据对应关系,可以将图像样本与标签文件一一对应。
目前公开的基于美学数据集例如AVA数据集,共255000张图片,每张图平均200个不同非专业摄影师人次进行评分。在本发明实施例中,由于设计师的水准和人次将在很大程度上决定效果的好坏,因此,本发明实施例的第一评分结果由具有专业工作经验的专业家居设计师对每张图像样本以不低于10人次(每人只有一次评分机会)评分。不同图像样本的评分标准是一样的,例如,评分范围为[0-10]。
步骤S302,将图像样本输入至卷积神经网络模型中,输出图像样本的第二评分概率分布;
在本发明实施例中,卷积神经网络模型利用搭建的卷积神经网络对图像样本进行特征提取,然后在卷积神经网络的最后一层添加全连接层,添加全连接层的目的在于预测图像样本的评分概率分布,并将该模型预测的评分概率分布确定为第二评分概率分布。此外,可以将预测的第二评分概率分布转换成预测分数。
步骤S303,基于预设的损失函数确定第一评分概率分布和第二评分概率分布的误差;
在本发明实施例中,损失函数不仅考虑了不同图像样本之间的评分概率分布差异,还考虑到不同的人对同一图像样本美感认知的差异。
损失函数可以指针对主观性较强的美学评价部分设计的一个函数,其目的在于训练卷积神经网络模型,使该模型学习到与人类感知一致的美学评价。具体的,利用该损失函数进行模型训练,可以调整模型参数。在设置好卷积神经网络模型的初始参数之后,便可以输入训练样本对其进行训练。在训练时,损失函数设定为判定第二评分概率分布与第一评分概率分布的差异。相比于传统单纯的学习分数而言,该模型可以学习数据分布,该形式的学习可以更好的拟合人类的主观审美标准,使得预测评分概率分布接近人的感知评分概率分布。
预设的损失函数为:
其中,为误差,p为标准分数的概率密度函数,为预测分数的概率密度函数,N表示分数类别(即将评分范围0-10分为的N阶段),K为对应k的预测集合,k为处于1-N间的整数,为累积分布函数,为第i个分数区间的估计概率。
在上述预设的损失函数中,为了计算标准分数与预测分数的欧几里得距离,设定r=2。
步骤S304,根据误差对卷积神经网络模型中的参数进行训练,直至参数收敛,得到预训练的卷积神经网络模型。
在本发明实施例中,参数可以指模型中各层网络的权值参数,即卷积核的值。在参数收敛后,得到优化后的参数。将与优化后的参数对应的卷积神经网络模型确定为预训练的卷积神经网络模型,利用预训练的卷积神经网络模型可以实现对渲染图像的自动评分。具体的,训练过程中基于设计好的初始参数和训练样本,对卷积神经网络进行多次迭代计算,最后得到一个优化的参数。
进一步的,参照图2,评价方法还包括以下步骤:
步骤S140,基于渲染图像的评分概率分布预测,得到渲染图像的分数;
步骤S150,根据分数对所有的渲染图像进行排序;
步骤S160,基于排序结果向客户端推送预设个数的渲染图像。
本发明实施例可以对质量参差不齐的渲染图像进行评分、排序。得到渲染图像的分数有两种方式,方式一为对渲染图像的评分概率分布预测渲染图像的所有评分的平均值,以得到该渲染图像的具体分数。方式二为自动评分,即利用网络训练得到的模型参数,进行前馈的快速计算,便可以实现对渲染图像的自动评分功能。本发明实施例可以对分数进行阈值划分,自定义固定分数以判定渲染图像是否合格或者排名层次。
在本发明实施例中,可以设置评分概率分布的方差阈值,均值阈值。当评分概率分布的方差高于方差阈值时,并且分数均值高于均值阈值时,将该渲染图像的标签设置为“坏图”;当评分概率分布的方差低于方差阈值时,并且分数均值高于均值阈值时,将该渲染图像的标签设置为“一般”;当评分概率分布的方差低于方差阈值时,并且分数均值低于均值阈值时,将该渲染图像的标签设置为“好图”。
推送预设个数的渲染图像可以指智能推荐,在某些场景中需要从海量的渲染图像中选取最好最优质的方案,此时可以针对渲染图像集中的所有渲染图像进行一个打分,并按分数高低进行排序,将得分高的、排在前面的渲染图像进行推荐,可以帮助用户做选择。
对于挑选出优秀的设计方案及渲染图像,可以提升用户的体验效果,增强用户体验。另外,对于图片展示而言,评分更高的渲染图像更能吸引流量。而传统的渲染图像推送都是人工筛选,因此实现对渲染图像的自动评分功能将大大减少人工处理的工作时间,提高工作效率。
本发明的技术效果优点是:本发明实施例借助多尺度卷积特征,以及增加损失函数的方式,利用Inception机制的训练方式,使得训练得到的模型参数对不同角度及样式的渲染图像在具有很好鲁棒性的同时具有较好的泛化性能。对比之前的传统方法,很显然,借由神经网络的方式,由于在特征提取上有了更具表达能力的描述方式,使得在效果上体现出了很大的提升,且具有很好的延展性。
在家居行业的渲染图像领域,开创了基于图像质量本身与图像质量美学的自动评分机制。本发明实施例可以对层次、技术水平高低不一的设计师设计的渲染图像进行自动评分与排序,更重要的是给用户提供了评价指导,能更好更快的帮助用户选取出想要的设计方案图,大大降低了家居行业内对优秀方案挑选的时间耗费,为实现家居领域智能化应用提供了重要保障。
本发明实施例基于家居设计的渲染图像,针对渲染图像质量参差不齐的情况,做了很多具体细化的工作。
从渲染图像质量评价本身上来说:基于渲染图像的质量评价一般是图像质量本身的评价和图像美学的评价,图片质量本身一般是指图像模糊度、噪声、扭曲变形等基础指标,类似基于图像美学的评价相对比较主观,不同的人有不同的倾向,对美学的审美理解和水平也不尽相同,因此给图像整体的质量评价带来了一定的困难,因此需要设计网络模型从大部分专业的人的审美倾向中学习到某些规律,使得网络模型模拟出人类的想法,给出合乎人的审美判断。对于神经网络而言,是在目标函数上做文章,故而本发明实施例在目标函数中设计了一个视觉审美的函数,具体体现在损失函数中。之所以说损失函数是基于审美视觉的函数,是因为在本发明实施例中利用损失函数所学习到的特征是基于渲染图像进行审美评价的评价概率分布,该函数是对图像质量美学做出有效评分的最大贡献。
从实际场景应用来说:获取的渲染图像由设计师设计得到,而设计师的技术水平差异较大,对家居设计的理解也各有千秋,因此对于渲染图像的评价相差较远,其评分标准难以做到相对趋同;再者家居设计中包含各种风格,且由于空间种类的不同(如:客厅、厨房和卫生间等),再加上不同的家居样式,给渲染图像的质量评分带来了更大的困难。本发明实施例在图像特征提取上,采用卷积神经网络进行提取。提取的图像特征是卷积特征,该特征能表达渲染图像本身的所有信息,而基于美学评判的评分概率分布是通过损失函数来决定的。相对于传统方法中特征提取的方法,基于神经网络的方法所提取的特征能够更好地表达图像的结构化语义信息,使得渲染图像的图像特征更具有丰富性与鲁棒性;在神经网络的设计上,为了更好地适应美学特征的提取,例如:渲染图像的整体构图信息等,同时充分考虑效率问题,本发明实施例引用了Inception机制的结构,对渲染图像不同尺度的图像特征进行提取并融合,以学习到其全局特征及局部特征。特别的,该模型针对渲染图像的主观评分的概率分布进行学习。即不同的人对同一张渲染图像具有不同的看法及评分,因此该模型可以学习到对同一张渲染图像的不同设计师主观评分的概率分布,使得学习到的模型更接近于人的感知,即更符合人类的审美需求。
本发明提供的一种渲染图像的评价方法,包括:首先获取渲染图像;再利用图像处理手段将渲染图像的图像数据转化成深度学习网络可读取的标准化数据格式;通过搭建的深度学习网络框架,对渲染图像中的所有家居模型与贴图数据进行特征提取,所提取的特征包括色彩、纹理、美学构图以及结构化的特征信息,再借助所设计的目标函数求导训练,得到一个能满足实际需求的图像质量评分模型参数,该模型可以实现在家居设计领域中针对不同渲染图像进行自动评分,给出具体分数,并按照图像质量好坏,从高分到低分的顺序排列,方便用于自定义筛选掉不合格图像。特别需要指出来的是:本发明实施例的目标函数设计与学习模式是只要的发明点。本发明实施例一方面可以快速对渲染图像进行评分定级,对图像筛选具有重要的作用,为家居领域的人工智能化发展提供很好的数据判别支持;另一方面能够大大降低设计师对渲染图像的人工筛选的工作量,提高工作效率;再者,图像质量评价分数的高低也可用作网页首页图的筛选,最优质的图片可以最大程度的吸引用户,以提升好感度,达到引流目的。
实施例二:
参照图6,本发明实施例提供的一种渲染图像的评价装置,可以包括以下模块:
接收模块11,用于接收渲染图像;
标准化处理模块12,用于将渲染图像进行标准化处理,得到标准化的渲染图像;
输入模块13,用于将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
在本发明实施例中,本发明提供的渲染图像的评价装置,先利用接收模块接收渲染图像;然后利用标准化处理模块将渲染图像进行标准化处理,得到标准化的渲染图像;最后利用输入模块将标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。添加全连接层的卷积神经网络模型可以学习到对同一张渲染图像的不同设计师主观评分的概率分布。该卷积神经网络模型更接近于人的感知,符合人类的审美需求。因此,本发明实施例可以提高质量评价的准确性,实现自动评分。
进一步的,参照图7,评价装置还包括以下模块:
构建模块14,用于在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;
训练模块15,用于基于训练采用的训练样本对卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
进一步的,参照图8,训练模块15可以包括以下单元:
获取单元21,用于获取训练样本;其中,训练样本包括多个渲染图像集合,每个渲染图像集合包括图像样本以及图像样本的第一评分概率分布;
输出单元22,用于将图像样本输入至卷积神经网络模型中,输出图像样本的第二评分概率分布;
确定单元23,用于基于预设的损失函数确定第一评分概率分布和第二评分概率分布的误差;
训练单元24,用于根据误差对卷积神经网络模型中的参数进行训练,直至参数收敛,得到预训练的卷积神经网络模型。
进一步的,参照图7,评价装置还包括:
预测模块16,用于基于渲染图像的评分概率分布预测,得到渲染图像的分数;
排序模块17,用于根据分数对所有的渲染图像进行排序;
推送模块18,用于基于排序结果向客户端推送预设个数的渲染图像。
在本发明的又一实施例中,还提供一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法实施例所述方法的步骤。
在本发明的又一实施例中,还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行方法实施例所述方法。
在本发明实施例所提供的实例中,所揭露的方法和工具,也可以通过其它的方式实现。以上实施例的具体说明仅仅是示意性的,附图当中的模块可以独立存在也可以集成存在,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
以上所述的实例,仅为本发明实施例较好的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
在本发明的描述中,需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种渲染图像的评价方法,其特征在于,包括:
接收渲染图像;
将所述渲染图像进行标准化处理,得到标准化的渲染图像;
将所述标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
2.根据权利要求1所述的评价方法,其特征在于,在接收渲染图像之前,方法还包括:
在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;
基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
3.根据权利要求2所述的评价方法,其特征在于,所述基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型的步骤包括:
获取训练样本;其中,所述训练样本包括多个渲染图像集合,每个所述渲染图像集合包括图像样本以及所述图像样本的第一评分概率分布;
将所述图像样本输入至所述卷积神经网络模型中,输出图像样本的第二评分概率分布;
基于预设的损失函数确定所述第一评分概率分布和所述第二评分概率分布的误差;
根据所述误差对所述卷积神经网络模型中的参数进行训练,直至所述参数收敛,得到预训练的卷积神经网络模型。
4.根据权利要求1所述的评价方法,其特征在于,方法还包括:
基于所述渲染图像的评分概率分布预测,得到所述渲染图像的分数。
5.根据权利要求4所述的评价方法,其特征在于,方法还包括:
根据所述分数对所有的所述渲染图像进行排序;
基于排序结果向客户端推送预设个数的渲染图像。
6.一种渲染图像的评价装置,其特征在于,包括:
接收模块,用于接收渲染图像;
标准化处理模块,用于将所述渲染图像进行标准化处理,得到标准化的渲染图像;
输入模块,用于将所述标准化的渲染图像输入至预训练的卷积神经网络模型,得到渲染图像的评分概率分布;其中,所述卷积神经网络模型为引入Inception结构并添加全连接层的网络模型。
7.根据权利要求6所述的评价装置,其特征在于,还包括:
构建模块,用于在卷积神经网络中引入Inception结构并添加全连接层,构建卷积神经网络模型;
训练模块,用于基于训练采用的训练样本对所述卷积神经网络模型进行训练,得到预训练的卷积神经网络模型。
8.根据权利要求7所述的评价装置,其特征在于,所述训练模块包括:
获取单元,用于获取训练样本;其中,所述训练样本包括多个渲染图像集合,每个所述渲染图像集合包括图像样本以及所述图像样本的第一评分概率分布;
输出单元,用于将所述图像样本输入至所述卷积神经网络模型中,输出图像样本的第二评分概率分布;
确定单元,用于基于预设的损失函数确定所述第一评分概率分布和所述第二评分概率分布的误差;
训练单元,用于根据所述误差对所述卷积神经网络模型中的参数进行训练,直至所述参数收敛,得到预训练的卷积神经网络模型。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现如权利要求1至5任一项所述的方法。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911029262.XA CN110782448A (zh) | 2019-10-25 | 2019-10-25 | 渲染图像的评价方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911029262.XA CN110782448A (zh) | 2019-10-25 | 2019-10-25 | 渲染图像的评价方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110782448A true CN110782448A (zh) | 2020-02-11 |
Family
ID=69386897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911029262.XA Pending CN110782448A (zh) | 2019-10-25 | 2019-10-25 | 渲染图像的评价方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110782448A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382781A (zh) * | 2020-02-21 | 2020-07-07 | 华为技术有限公司 | 获取图像标签的方法、训练图像识别模型的方法和装置 |
CN112581360A (zh) * | 2020-12-30 | 2021-03-30 | 杭州电子科技大学 | 一种基于结构约束的多风格图像美学质量增强的方法 |
CN113255743A (zh) * | 2021-05-12 | 2021-08-13 | 展讯通信(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114049420A (zh) * | 2021-10-29 | 2022-02-15 | 马上消费金融股份有限公司 | 一种模型训练方法、图像渲染方法、装置和电子设备 |
CN116030040A (zh) * | 2023-02-23 | 2023-04-28 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256246A (zh) * | 2017-06-06 | 2017-10-17 | 西安工程大学 | 基于卷积神经网络的印花织物图像检索方法 |
CN107562963A (zh) * | 2017-10-12 | 2018-01-09 | 杭州群核信息技术有限公司 | 一种筛选家装设计渲染图的方法和装置 |
CN107610123A (zh) * | 2017-10-11 | 2018-01-19 | 中共中央办公厅电子科技学院 | 一种基于深度卷积神经网络的图像美学质量评价方法 |
CN110070087A (zh) * | 2019-05-05 | 2019-07-30 | 广东三维家信息科技有限公司 | 图片识别方法及装置 |
CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
-
2019
- 2019-10-25 CN CN201911029262.XA patent/CN110782448A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256246A (zh) * | 2017-06-06 | 2017-10-17 | 西安工程大学 | 基于卷积神经网络的印花织物图像检索方法 |
CN107610123A (zh) * | 2017-10-11 | 2018-01-19 | 中共中央办公厅电子科技学院 | 一种基于深度卷积神经网络的图像美学质量评价方法 |
CN107562963A (zh) * | 2017-10-12 | 2018-01-09 | 杭州群核信息技术有限公司 | 一种筛选家装设计渲染图的方法和装置 |
CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
CN110070087A (zh) * | 2019-05-05 | 2019-07-30 | 广东三维家信息科技有限公司 | 图片识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
HOSSEIN TALEBI ET AL: "NIMA: Neural Image Assessment", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382781A (zh) * | 2020-02-21 | 2020-07-07 | 华为技术有限公司 | 获取图像标签的方法、训练图像识别模型的方法和装置 |
CN111382781B (zh) * | 2020-02-21 | 2023-09-12 | 华为云计算技术有限公司 | 获取图像标签的方法、训练图像识别模型的方法和装置 |
CN112581360A (zh) * | 2020-12-30 | 2021-03-30 | 杭州电子科技大学 | 一种基于结构约束的多风格图像美学质量增强的方法 |
CN112581360B (zh) * | 2020-12-30 | 2024-04-09 | 杭州电子科技大学 | 一种基于结构约束的多风格图像美学质量增强的方法 |
CN113255743A (zh) * | 2021-05-12 | 2021-08-13 | 展讯通信(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114049420A (zh) * | 2021-10-29 | 2022-02-15 | 马上消费金融股份有限公司 | 一种模型训练方法、图像渲染方法、装置和电子设备 |
CN116030040A (zh) * | 2023-02-23 | 2023-04-28 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782448A (zh) | 渲染图像的评价方法及装置 | |
CN107330956B (zh) | 一种漫画手绘图无监督上色方法及装置 | |
US8692830B2 (en) | Automatic avatar creation | |
CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
CN111144483B (zh) | 一种图像特征点过滤方法以及终端 | |
CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
CN110222722A (zh) | 交互式图像风格化处理方法、***、计算设备及存储介质 | |
CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN112614077A (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
CN108492294B (zh) | 一种图像色彩和谐程度的评估方法及装置 | |
CN111652822B (zh) | 一种基于生成对抗网络的单幅图像阴影去除方法及*** | |
CN109919209A (zh) | 一种领域自适应深度学习方法及可读存储介质 | |
CN113505854A (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
CN111724400A (zh) | 视频自动抠像方法及*** | |
CN109509156A (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
CN110245550A (zh) | 一种基于总体余弦分布的人脸噪音数据集cnn训练方法 | |
CN110689093A (zh) | 一种复杂场景下的图像目标精细分类方法 | |
CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
CN115064020A (zh) | 基于数字孪生技术的智慧教学方法、***及存储介质 | |
CN115375663A (zh) | 基于深度互学习和双尺度特征融合的图像质量评价方法 | |
CN107729821B (zh) | 一种基于一维序列学习的视频概括方法 | |
CN112258420B (zh) | 基于dqn的图像增强处理方法及装置 | |
CN112767038B (zh) | 基于美学特征的海报ctr预测方法及装置 | |
CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
CN112348809A (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |