CN118096966A - 图像处理方法、装置、设备、存储介质及程序产品 - Google Patents
图像处理方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN118096966A CN118096966A CN202211493839.4A CN202211493839A CN118096966A CN 118096966 A CN118096966 A CN 118096966A CN 202211493839 A CN202211493839 A CN 202211493839A CN 118096966 A CN118096966 A CN 118096966A
- Authority
- CN
- China
- Prior art keywords
- optimized
- image
- value
- parameter
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 239000000463 material Substances 0.000 claims abstract description 430
- 238000009877 rendering Methods 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 15
- 239000003973 paint Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、设备、存储介质及程序产品;在本申请实施例中,获取目标对象的待优化材质参数,并对所述待优化材质参数进行初始化处理,得到所述待优化材质参数的初始值;获取所述目标对象的拍摄图像,并确定所述拍摄图像的拍摄参数;根据所述初始值和所述拍摄参数,对所述目标对象进行渲染,得到所述目标对象的渲染图像;根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息;根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,以根据所述目标值对所述目标对象进行渲染,得到所述目标对象渲染后的图像。本申请实施例可以提高图像处理的效率和准确度。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、设备、存储介质及程序产品。
背景技术
随着科学技术的发展,图像技术的应用越来越广泛,比如,将图像技术应用于游戏、动画或者广告等。
在通过图像技术展现图像之前,需要对图像中对象进行渲染,对图像中对象进行渲染的过程为:设置图像中对象的材质参数,根据材质参数对图像中对象进行渲染,从而得到该图像。然而,目前,图像中对象的材质参数通过手动方式设置,导致渲染的效率和准确度均较低。
发明内容
本申请实施例提供一种图像处理方法、装置、设备、存储介质及程序产品,可以解决手动方式设置材质参数的值,导致渲染的效率和准确度均较低的技术问题。
本申请实施例提供一种图像处理方法,包括:
获取目标对象的待优化材质参数,并获取上述待优化材质参数的初始值;
获取上述目标对象的拍摄图像,并确定上述拍摄图像的拍摄参数;
根据上述初始值和上述拍摄参数,对上述目标对象进行渲染,得到上述目标对象的渲染图像;
根据上述渲染图像和上述拍摄图像,确定上述渲染图像和上述拍摄图像之间的差异信息;
根据上述差异信息,对上述初始值进行优化,得到上述待优化材质参数优化后的目标值,以根据上述目标值对上述目标对象进行渲染,得到上述目标对象渲染后的图像。
相应地,本申请实施例提供一种图像处理装置,包括:
参数获取模块,用于获取目标对象的待优化材质参数,并获取上述待优化材质参数的初始值;
图像获取模块,用于获取上述目标对象的拍摄图像,并确定上述拍摄图像的拍摄参数;
对象渲染模块,用于根据上述初始值和上述拍摄参数,对上述目标对象进行渲染,得到上述目标对象的渲染图像;
信息确定模块,用于根据上述渲染图像和上述拍摄图像,确定上述渲染图像和上述拍摄图像之间的差异信息;
参数优化模块,用于根据上述差异信息,对上述初始值进行优化,得到上述待优化材质参数优化后的目标值,以根据上述目标值对上述目标对象进行渲染,得到上述目标对象渲染后的图像。
可选地,信息确定模块具体用于执行:
根据上述渲染图像,确定上述待优化材质参数在渲染图像中对应的渲染值;
根据上述拍摄图像,确定上述待优化材质参数在上述拍摄图像中对应的真实值;
根据上述渲染值和上述真实值,确定上述渲染图像和上述拍摄图像之间的差异信息。
可选地,上述待优化材质参数包括至少两个子材质参数,上述渲染值包括上述子材质参数的渲染值,上述真实值包括上述子材质参数的真实值。
相应地,信息确定模块具体用于执行:
确定上述子材质参数的真实值和上述子材质参数的渲染值之间的子差异信息;
根据各个上述子差异信息,确定上述渲染图像和上述拍摄图像之间的差异信息。
可选地,参数优化模块具体用于执行:
获取预设条件;
若上述差异信息不满足上述预设条件,则根据上述差异信息,对上述初始值进行优化,得到上述待优化材质参数优化后的候选值;
将上述候选值作为上述待优化材质参数的初始值,并返回执行根据上述初始值和上述拍摄参数,对上述目标对象进行渲染的步骤;
若上述差异信息满足上述预设条件,则将上述初始值作为上述待优化材质参数优化后的目标值。
可选地,参数优化模块具体用于执行:
根据上述差异信息,确定上述待优化材质参数的变化趋势;
根据上述变化趋势,对上述初始值进行优化,得到上述待优化材质参数优化后的目标值。
可选地,参数优化模块具体用于执行:
获取上述待优化材质参数对应的优化步长;
根据上述优化步长和上述变化趋势,确定上述初始值对应的优化程度;
根据上述优化程度,对上述初始值进行优化,得到上述待优化材质参数优化后的目标值。
可选地,上述待优化材质参数包括颜色材质参数。
相应地,信息确定模块具体用于执行:
对上述渲染图像进行颜色空间转换,得到转换后渲染图像;
对上述拍摄图像进行颜色空间转换,得到转换后拍摄图像;
根据上述转换后渲染图像和上述转换后拍摄图像,确定上述渲染图像和上述拍摄图像之间的差异信息。
可选地,参数获取模块具体用于执行:
获取目标对象的至少两个材质参数;
从至少两个上述材质参数中,筛选出待优化材质参数。
相应地,对象渲染模块具体用于执行:
根据上述初始值、上述候选材质参数对应的设定值以及上述拍摄参数,对上述目标对象进行渲染,得到上述目标对象的渲染图像,上述候选材质参数为上述材质参数中除了待优化材质参数之外的参数。
可选地,参数获取模块具体用于执行:
确定至少两个上述材质参数之间的关联关系;
根据上述关联关系,从至少两个上述材质参数中,筛选出待优化材质参数。
可选地,参数获取模块还用于执行:
确定上述材质参数的优化状态;
若上述材质参数的优化状态为待优化状态,则返回执行从至少两个上述材质参数中,筛选出待优化材质参数的步骤。
可选地,上述待优化材质参数包括至少两个。
相应地,信息确定模块具体用于执行:
根据上述渲染图像和上述拍摄图像,确定每个上述待优化材质参数在上述渲染图像和上述拍摄图像之间的初始差异信息;
根据每个上述待优化材质参数对应的初始差异信息,确定上述渲染图像和上述拍摄图像之间的差异信息。
此外,本申请实施例还提供一种电子设备,包括处理器和存储器,上述存储器存储有计算机程序,上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的图像处理方法。
此外,本申请实施例还提供一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序适于处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法。
此外,本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本申请实施例所提供的任一种图像处理方法。
在本申请实施例中,获取目标对象的待优化材质参数,并获取待优化材质参数的初始值,获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数,根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像,实现通过拍摄图像对待优化材质参数的初始值进行自动优化,提高对待优化材质参数进行优化的效率和准确度,从而提高根据目标值对目标对象进行渲染的效率和准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理过程的场景示意图;
图2是本申请实施例提供的图像处理方法的流程示意图;
图3是本申请实施例提供的另一种图像处理方法的流程示意图;
图4是本申请实施例提供的材质参数的设置过程的示意图;
图5是本申请实施例提供的另一种材质参数的设置过程的示意图;
图6是本申请实施例提供的材质参数优化方法的示意图;
图7是本申请实施例提供的图像处理装置的结构示意图;
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、设备、存储介质及程序产品,其中,设备可以为电子设备,存储介质可以为计算机存储介质,程序产品可以为计算机程序产品。该图像处理装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
并且,其中多个服务器可组成为一区块链,而服务器为区块链上的节点。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、虚拟现实设备(Virtual Reality,Vr)以及增强现实设备(Augmented Reality,AR)等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,如图1所示,服务器获取目标对象的待优化材质参数,并对待优化材质参数进行初始化处理,得到待优化材质参数的初始值,获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数,根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值。终端发送目标对象的参数获取请求至服务器,服务器根据参数请求将待优化材质参数的目标值返回至终端,终端根据目标值对目标对象进行渲染,得到目标对象渲染后的图像。
本申请实施例的图像处理方法,可以应用于各种对对象进行渲染的场景,比如,本申请实施例的图像处理方法,可以用于对游戏中的对象进行渲染,游戏中的对象比如可以为游戏道具、游戏角色或者游戏背景等,又比如,本申请实施例的图像处理方法,也可以用于动画中的对象进行渲染,动画中的对象可以为动画中人物、动物或者景点等。
另外,本申请实施例中的“多个”指两个或两个以上。本申请实施例中的“第一”和“第二”等用于区分描述,而不能理解为暗示相对重要性。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
下面对本申请涉及到的名称进行解释说明。
虚幻引擎(Unreal Engine),指由编写各种游戏所需的各种工具组成的框架,游戏开发者可以直接调用虚幻引擎中各个工具,从而快速地做出游戏应用程序而不用从零开始。
渲染管线((Render Pipeline)):指将数据从3D场景转换成2D图像,最终在屏幕上显示出来的总过程,渲染管线可以包括应用阶段(Application Stage)、几何阶段(Geometry Processing)以及光栅化阶段(Rasterization Stage)。其中,应用阶段指获取场景数据的过程,场景数据包括顶点三维坐标、光源、摄像机位置、视锥体、以及每个对象的材质等。几何阶段包括对场景数据进行计算过程,计算过程包括坐标变化、顶点着色、投影变化以及裁剪等过程,光栅化阶段包括将3D连续的对象转换为离散屏幕像素点的过程以及根据光照和材质参数确定屏幕像素点的颜色等过程。
本申请实施例可以将目标对象的待优化材质参数的初始值和拍摄参数输入至渲染管线中进行渲染,从而得到目标对象的渲染图像。
在本实施例中,将从图像处理装置的角度进行描述,为了方便对本申请的图像处理方法进行说明,以下将以图像处理装置集成在终端中进行详细说明,即以终端作为执行主体进行详细说明。
请参阅图2,图2是本申请一实施例提供的图像处理方法的流程示意图。该图像处理方法可以包括:
S201、获取目标对象的待优化材质参数,并获取待优化材质参数的初始值。
目标对象可以指现实中存在的对象,其可以是人物,也可以是宠物,或者,也可以是植物,或者,也可以是各种产品,比如,目标对象可以为车漆或者石头等。
目标对象在渲染器中可以以模型的形式存在,模型指由点、线或面组成的且没有颜色和纹理等信息的图形。
当目标对象为游戏对应的玩家时,对目标对象进行渲染之后,可以得到游戏玩家在游戏中对应的游戏角色。
材质参数指表明目标对象的可视属性的参数,其包括颜色、纹理、光滑度、透明度、反射率、折射率以及中发光度的至少一种。应理解,不同目标对象的材质参数可能不相同,也可能相同。
比如,当目标对象为车漆时,目标对象的材质参数可以指车漆的透明度和颜色。又比如,当目标对象为石头时,目标对象的材质参数可以指石头的光滑度以及颜色等。
材质参数可以通过两个类型表示,一种是通过贴图的方式表示目标对象的材质参数,另外一种是通过具体的数值表示目标对象的材质参数,在本申请实施例中,材质参数可以通过具体的数值,也可以指贴图。当材质参数指贴图时,待优化材质参数的初始值可以为初始贴图。
目标对象的待优化材质参数可以指目标对象的材质参数中未被优化过的材质参数。
终端在对待优化材质参数优化之前,可以显示设置界面,然后响应于用户对设置界面的触发操作,获取到目标对象的待优化材质参数,即初始值可以由用户手动设置。
或者,终端也可以在获取到待优化材质参数之后,按照预设初始化算法,对待优化材质参数进行初始化,从而得到待优化材质参数的初始值,此时,终端自动得到待优化材质参数的初始值,无需用户进行手动设置。
预设初始化算法,可以根据实际情况进行选择,比如,可以采用随机初始化算法或标准初始化算法作为本申请实施例中的预设初始化算法,本实施例在此不做限定。
终端可以在获取目标对象的待优化材质参数时,获取待优化材质参数的初始值,或者,终端也可以在获取到目标对象的待优化材质参数之后,再获取待优化材质参数的初始值,本申请实施例在此不做限定。
S202、获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数。
目标对象的拍摄图像可以包括至少一张,其中,可以在同一种拍摄参数下拍摄预设数量的拍摄图像,或者,也可以在一种拍摄参数下,拍摄一张拍摄图像,本实例在此不做限定。
拍摄图像的拍摄参数可以指拍摄目标对象时的参数,其可以包括目标对象的拍摄环境的参数和摄像头的参数中的至少一种,目标对象的拍摄环境的参数可以包括目标对象的拍摄环境的天气,拍摄环境的天气包括雨水、光照度、光颜色或者光源位置等,摄像头的参数可以包括摄像头和目标对象之间的位置关系,位置关系包括距离和角度中的至少一种。
终端可以通过本身的摄像头获取目标对象的拍摄图像,或者,也可以通过其他终端的摄像头获取目标对象的拍摄图像,其他终端再将拍摄图像发送给终端,终端从而获取到目标对象的拍摄图像。
S203、根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像。
渲染指按照设定好的环境、光以及材质参数将对象对应的模型调整为图像的过程。
根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,可以理解为在拍摄参数下,确定根据初始值对目标对象进行渲染的渲染效果,然后根据渲染效果对目标对象进行渲染,从而得到目标对象的渲染图像。
比如,拍摄参数为光照度且光照度为280勒克斯,待优化材质参数为颜色材质参数,初始值可以为(255,0,0),终端计算在280勒克斯下,确定根据(255,0,0)对目标对象进行渲染的渲染效果,然后根据渲染效果对目标对象进行渲染。
终端在获取到拍摄参数之后,可以通过渲染器(渲染管线),根据初始值和拍摄参数对目标对象进行渲染,从而得到目标对象的渲染图像。
渲染器可以根据实际情况进行选择,比如,渲染器可以为虚幻引擎中或者Unity引擎中的渲染器,本申请实施例在此不做限定。
S204、根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息。
终端可以确定渲染图像的图像参数值和拍摄图像的图像参数值之间的比值,然后将比值作为渲染图像和拍摄图像之间的差异信息,或者,终端也可以确定渲染图像的图像参数值和拍摄图像的图像参数值之间的差值,然后将差值作为渲染图像和拍摄图像之间的差异信息。
渲染图像的图像参数值可以包括渲染图像的所有图像参数值,拍摄图像的图像参数值可以包括拍摄图像的所有图像参数值,或者,渲染图像的图像参数值也可以只包括待优化材质参数对应的渲染值,拍摄图像的图像参数值可以包括待优化材质参数对应的真实值,本实施例在此不做限定。
当渲染图像的图像参数值包括待优化材质参数对应的渲染值,拍摄图像的图像参数值包括待优化材质参数对应的真实值时,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,包括:
根据渲染图像,确定待优化材质参数在渲染图像中对应的渲染值;
根据拍摄图像,确定待优化材质参数在拍摄图像中对应的真实值;
根据渲染值和真实值,确定渲染图像和拍摄图像之间的差异信息。
比如,待优化材质参数指颜色材质参数,渲染图像的颜色值为A,拍摄图像的颜色值为B,将A和B之间的差值,作为渲染图像和拍摄图像之间的差异信息。
需要说明的是,一些待优化材质参数由至少两个子材质参数组成,比如,颜色材质参数(RGB)包括R参数、G参数以及B参数,则渲染图像和拍摄图像之间的差异信息可以根据各个子材质参数的子差异信息确定。此时,渲染值可以包括子材质参数的渲染值,真实值包括子材质参数的真实值,根据渲染值和真实值,确定渲染图像和拍摄图像之间的差异信息,包括:
确定子材质参数的真实值和子材质参数的渲染值之间的子差异信息;
根据各个子差异信息,确定渲染图像和拍摄图像之间的差异信息。
终端在得到各个子材质参数的子差异信息之后,可以直接将各个子材质参数的子差异信息相加,从而得到渲染图像和拍摄图像之间的差异信息。
或者,当子差异信息为子材质参数的真实值和子材质参数的渲染值之间的差值时,终端可以先计算各个子差异信息的平方,然后再将各个子差异信息的平方相加,从而得到渲染图像和拍摄图像之间的差异信息,此时,可以理解为根据各个子材质参数之间的欧式距离,确定渲染图像和拍摄图像之间的差异信息。
在一些实施例中,当待优化材质参数为颜色材质参数时,为了使得得到的目标值更加准确,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,包括:
对渲染图像进行颜色空间转换,得到转换后渲染图像;
对拍摄图像进行颜色空间转换,得到转换后拍摄图像;
根据转换后渲染图像和转换后拍摄图像,确定渲染图像和拍摄图像之间的差异信息。
转换的颜色空间可以根据实际情况进行选择,比如,可以将渲染图像的颜色空间转换为Lab颜色空间或HSV颜色空间,本实施例在此不做限定。
通常,采用RGB颜色空间对渲染图像的颜色信息和拍摄图像的颜色信息进行描述。然而,采用RGB颜色空间描述的颜色信息的计算较为复杂,且用户对RGB颜色空间描述的颜色信息的敏感度较低,导致根据差异信息得到的目标值的准确度较低,因此,本申请实施例中,先对渲染图像进行颜色空间转换,得到转换后渲染图像,对拍摄图像进行颜色空间转换,得到转换后拍摄图像,然后再根据转换后渲染图像和转换后拍摄图像,确定渲染图像和拍摄图像之间的差异信息,从而减少确定差异信息的过程中的计算量以及提高根据差异信息得到的目标值的准确度。
S205、根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像。
如果差异信息不满足预设条件,则根据差异信息,对初始值进行优化,从而得到待优化材质参数优化后的目标值,如果差异信息满足预设条件,则将初始值作为待优化材质参数优化后的目标值。
当拍摄图像包括多张时,渲染图像也包括多张,此时,可以将每张渲染图像和拍摄图像之间的差异信息进行相加,得到总差异信息,并根据总差异信息对初始值进行优化,得到待优化材质参数优化后的目标值,或者根据总差异信息的平均值,对初始值进行优化,得到待优化材质参数优化后的目标值。
相关技术中,通常是工作人员对材质参数的取值进行手动设置,工作人员在设置材质参数的取值的过程中,一般靠工作人员的主观意识判断根据材质参数渲染得到的渲染图像是否符合用户的视觉效果,如果不符合,则再次对材质参数的取值进行调整,直至根据材质参数渲染得到的渲染图像符合用户的视觉效果。
然而,通过工作人员对材质参数的取值进行手动设置,当需要设置的材质参数较多时,材质参数空间会大大增加,从而提高人工的工作量,进而降低了材质参数的取值的设置效率。
并且,靠工作人员的主观意识判断根据材质参数渲染得到的渲染图像是否符合用户的视觉效果,不同工作人员的判断结果可能不相同,从而导致材质参数的取值的准确度较低。
而在本申请实施例中,在相同的拍摄参数下,根据渲染图像与拍摄图像之间的差异信息,对待优化材质参数的初始值进行优化,实现对待优化材质参数的取值的自动设置,从而提高待优化材质参数的取值的设置效率,并且,通过根据渲染图像与拍摄图像之间的差异信息,判断待优化材质参数的初始值是否满足预设条件,使得根据待优化材质参数的目标值对目标对象渲染后得到的图像尽可能地接近拍摄图像,无需通过工作人员的主观意识判断,从而提高待优化材质参数的取值的准确度。
由于可以快速地确定待优化材质参数的取值以及得到的待优化材质参数的取值更加准确,因此,根据待优化材质参数的取值对目标对象进行渲染得到的渲染图像的效率和准确度更高。
在一些实施例中,为了更加准确地得到目标值,可以对初始值进行多次优化,此时,根据差异信息,对初始值进行优化,从而得到待优化材质参数优化后的目标值,包括:
获取预设条件;
若差异信息不满足预设条件,则根据差异信息,对初始值进行优化,得到待优化材质参数优化后的候选值;
将候选值作为待优化材质参数的初始值,并返回执行根据初始值和拍摄参数,对目标对象进行渲染的步骤;
若差异信息满足预设条件,则将初始值作为待优化材质参数优化后的目标值。
比如,待优化材质参数的初始值设置为A1,根据A1和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像m1,根据渲染图像m1和拍摄图像,确定渲染图像m1和拍摄图像之间的差异信息d1,若d1大于预设阈值,则根据d1对A1进行优化,得到候选值A2,并根据A2和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像m2,根据渲染图像m2和拍摄图像,确定渲染图像m2和拍摄图像之间的差异信息d2,若d2小于或等于预设阈值,则将A2作为待优化材质参数优化后的目标值。若d1小于或等于预设阈值,则将A1作为待优化材质参数优化后的目标值。
应理解,当将候选值作为待优化材质参数的初始值时,返回执行的也可以是获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数的步骤,此时,可以通过不同的拍摄图像,对待优化材质参数进行优化。
或者,由于当优化次数达到一定次数时,待优化材质参数的取值会达到收敛状态,因此,在对初始值进行多次优化的过程中,也可以根据优化次数判断是否停止优化,也即是,在得到差异信息之后,确定当前优化次数,如果当前优化次数小于预设优化次数,则根据差异信息对初始值进行优化,得到待优化材质参数的候选值,如果当前优化次数等于预设优化次数,则将初始值作为待优化材质参数的目标值。
在本申请实施例中,根据差异信息,对初始值进行多次优化,从而提高待优化材质参数优化后的目标值的准确度。
在另一些实施例中,根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,包括:
根据差异信息,确定待优化材质参数的变化趋势;
根据变化趋势,对初始值进行优化,得到待优化材质参数优化后的目标值。
待优化材质参数的变化趋势可以指待优化材质参数的变化方向和变化大小中的至少一种,当变化趋势指待优化材质参数的变化方向时,该变化方向可以指待优化材质参数的梯度方向。
其中,待优化材质参数的变化方向可以根据差异信息对待优化材质参数的导数确定,待优化材质参数的变化大小可以根据差异信息的大小确定,比如,差异信息越大,待优化材质参数的变化幅度越大,差异信息越小,待优化材质参数的变化幅度越小。
可选地,根据变化趋势,对初始值进行优化,得到待优化材质参数优化后的目标值,包括:
获取待优化材质参数对应的优化步长;
根据优化步长和变化趋势,确定初始值对应的优化程度;
根据优化程度,对初始值进行优化,得到待优化材质参数优化后的目标值。
在本实施例中,设置优化步长(优化步长也可以称为优化超参数),确定初始值对应的优化程度,避免错过待优化材质参数的最优值。
其中,变化趋势可以采用数值表示,将优化步长和变化趋势进行乘法融合处理,从而得到初始值对应的优化程度,然后将优化程度和初始值进行加法融合处理,从而得到待优化材质参数优化后的目标值。
优化步长可以是固定的,也可以根据差异信息动态地调整优化步长,本实施例在此不做限定。
应理解,当目标对象存在至少两个材质参数时,终端可以对材质参数一个一个地优化,或者,同时对材质参数进行优化。当对材质参数一个一个地优化时,可以先从目标对象的至少两个材质参数中筛选出待优化材质参数,然后将候选材质参数的取值固定,对待优化材质参数的取值进行优化,将候选材质参数为材质参数中除了待优化材质参数之外的参数,此时,根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,包括:
根据初始值、候选材质参数对应的设定值以及拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像。
需要说明的是,由于候选材质参数可能为已经优化过的参数,也可能为未优化过的参数,因此,候选材质参数的设定值可以指候选材质参数的初始值,也可以指候选材质参数的目标值。
比如,目标对象的材质参数为颜色材质参数和透明度材质参数,终端先将透明度材质参数作为待优化材质参数进行优化,此时,还未对颜色材质参数进行优化,因此,颜色材质参数的设定值为颜色材质参数的初始值。当对透明度材质参数的优化完成时,得到透明度材质参数的目标值,并将颜色材质参数作为待优化材质参数进行优化,此时,已经对透明度材质参数进行优化过,因此,在对颜色材质参数优化的过程中,透明度材质参数的设定值为透明度材质参数的目标值。
在另一些实施例中,从至少两个材质参数中,筛选出待优化材质参数,包括:
确定至少两个材质参数之间的关联关系;
根据关联关系,从至少两个材质参数中,筛选出待优化材质参数。
由于有些材质参数之间不会存在影响,因此,可以根据材质参数之间的关联关系,确定各个材质参数之间的优化顺序,然后根据优化顺序,从至少两个材质参数中,筛选出待优化材质参数,从而使得最终得到的目标对象的各个材质参数的取值的准确度均比较高。
其中,终端可以设置有影响的材质参数的优化顺序较后,没有影响的材质参数的优化顺序较前,比如,材质参数包括颜色材质参数和透明度材质参数,透明度材质参数对颜色材质参数没有影响,因此,可以先对透明度材质参数进行优化,然后再对颜色材质参数进行优化。
因为终端是一个一个地对材质参数进行优化,所以,当对待优化材质参数的优化完成时,如果还存在未优化的材质参数,则需要对未优化的材质参数进行优化,此时,在根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值之后,还包括:
确定材质参数的优化状态;
若材质参数的优化状态为待优化状态,则返回执行从至少两个材质参数中,筛选出待优化材质参数的步骤。
如果材质参数的优化状态为待优化状态,表明材质参数为未优化过的参数,所以,还需要对材质参数进行优化。
比如,目标对象的材质参数为颜色材质参数和透明度材质参数,终端先将透明度材质参数作为待优化材质参数进行优化,即根据透明度材质参数的初始值、拍摄参数和颜色材质参数的设定值,对目标对象进行渲染,得到渲染图像,如果渲染图像和拍摄图像之间的差异信息满足预设条件,则对透明度材质参数的优化完成,此时,还未对颜色材质参数进行优化,所以颜色材质参数的优化状态为待优化状态,因此,将颜色材质参数作为待优化材质参数,并继续对颜色材质参数的取值进行优化。
在本申请实施例中,当目标对象的材质参数包括至少两个时,通过对材质参数一个一个地优化,从而实现对目标对象的所有材质参数的优化。
当同时对材质参数进行优化时,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,包括:
根据渲染图像和拍摄图像,确定每个待优化材质参数在渲染图像和拍摄图像之间的初始差异信息;
根据每个待优化材质参数对应的初始差异信息,确定渲染图像和拍摄图像之间的差异信息。
其中,终端可以根据每个待优化材质参数在渲染图像中对应的渲染值和在拍摄图像中对应的真实值,确定每个待优化材质参数在渲染图像和拍摄图像之间的初始差异信息,然后将各个初始差异信息相加,从而得到渲染图像和拍摄图像之间的差异信息。
或者,当同时对材质参数进行优化时,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息的过程也可以为:
根据每个待优化材质参数在渲染图像中对应的渲染值,确定渲染图像的总渲染值,根据每个待优化材质参数在拍摄图像中对应的真实值,确定拍摄图像的总真实值,根据总渲染值和总真实值,确定渲染图像和拍摄图像之间的差异信息。
应理解,当同时对材质参数进行优化时,每个材质参数对应的优化步长可以是不相同,也可以相同,本申请实施例在此不做限定。
在本实施例中,同时对目标对象的所有材质参数进行优化,减少得到每个材质参数的目标值的时间,从而进一步提高得到目标对象的材质参数的目标值的速度。
终端在得到待优化材质参数优化后的目标值之后,可立即根据实际应用场景,采用目标值对目标对象进行渲染,从而得到目标对象渲染后的图像,或者,终端也可以在预设时间间隔后,再根据实际应用场景,采用目标值对目标对象进行渲染,从而得到目标对象渲染后的图像,本申请实施例在此不做限定。
需要说明的是,在得到目标对象的待优化材质参数的目标值之后,目标对象的待优化材质参数在不同应用场景中对应的目标值可以是相同的,但是,根据不同的应用场景,采用目标值对目标对象进行渲染后的渲染效果可能不相同。
比如,应用场景包括第一应用场景和第二应用场景,第一应用场景为月光照耀着地面,地面上存在车漆,第二应用场景为日光照耀着地面,地面上存在车漆,则根据车漆的透明度材质参数的目标值和颜色材质参数的目标值分别对第一应用场景中车漆进行渲染和第二应用场景中车漆进行渲染,则车漆在第一应用场景中的渲染效果和在第二应用场景中的渲染效果不相同。
由以上可知,在本申请实施例中,获取目标对象的待优化材质参数,并对待优化材质参数进行初始化处理,得到待优化材质参数的初始值,获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数,根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息,根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像,实现通过拍摄图像对待优化材质参数的初始值进行自动优化,提高对待优化材质参数进行优化的效率和准确度,从而提高根据目标值对目标对象进行渲染的效率和准确度。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图3,图3为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法流程可以包括:
S301、终端获取目标对象的透明度材质参数和颜色材质参数,并获取透明度材质参数的初始值和颜色材质参数的初始值。
透明度材质参数(Opacity)可以为浮点数(MPC scalar),颜色材质参数(BaseColor)可以为一个三维向量(vector)。终端对材质参数进行优化的过程可以包括参数设置部分和参数优化部分。
在参数设置过程中,终端可以在虚幻引擎4(UE4)中添加MPC scalar参数Opacity和vector参数Base Color。比如,虚幻引擎4的参数设置界面如图4所示(参数的取值即材质参数的初始值),终端可以在虚幻引擎4创建一个材质参数集合(Material ParameterCollection),然后在材质参数集合中设置透明度材质参数和颜色材质参数。
终端在材质参数集合中设置好透明度材质参数的初始值和颜色材质参数的初始值之后,将材质参数集合输入至虚幻引擎4的渲染器中。
可选地,终端可以只将材质参数集合中待优化材质参数的初始值输入至虚幻引擎4的渲染器中,候选待优化材质参数采用默认的参数值。比如,如图5所示。当对透明度材质参数的初始值进行优化时,将透明度材质参数的初始值输入至虚幻引擎4的渲染器中,其中,图5中Fresnel表示渲染器,Exponenth表示指数,BaseReflectFraction表示基本反射小数,ParameterName表示参数名称。
S302、终端确定透明度材质参数和颜色材质参数之间的关联关系,并根据关联关系从透明度材质参数和颜色材质参数筛选出透明度材质参数作为待优化材质参数,颜色材质参数作为候选材质参数。
S303、终端获取目标对象的拍摄图像,并确定拍摄图像的光照度。
S304、终端根据候选材质参数的设定值、待优化材质参数的初始值和光照度,对目标对象进行渲染,得到目标对象的渲染图像。
S305、终端确定待优化材质参数在渲染图像中对应的渲染值和在拍摄图像中对应的真实值,并判断待优化材质参数是否为颜色材质参数。
S306、若待优化材质参数不是颜色材质参数,终端则确定渲染值和真实值之间的差值,并将渲染值和真实值之间的差值作为渲染图像和拍摄图像之间的差异信息。
S307、若待优化材质参数是颜色材质参数,终端则对渲染值和真实值进行颜色空间转换,得到转换后渲染值和转换后真实值。
比如,当渲染值为采用RGB颜色空间表示的颜色值时,可以将渲染值转换为LAB颜色空间表示的颜色值,此时,可以先将渲染值转换至XYZ颜色空间的候选渲染值,然后再将候选渲染值转换至LAB颜色空间的转换后渲染值,也即是,可以将渲染值代入以下公式中进行转换,从而得到转换后渲染值:
/>
其中,M表示转换矩阵,Xn、Yn和Zn表示CIE1931标准下的白色参考点,Xn=95.047,Yn=100.0,Zn=108.883,Li、ai和bi表示转换后渲染值,表示候选渲染值,/>表示渲染值。
f()可以通过以下公式表示:
将真实值转换为转换后真实值的过程,可以参照将渲染值转换为转换后渲染值的过程,本实施例在此不再赘述。
S308、终端确定转换后渲染值和转换后真实值之间的差值,并将转换后渲染值和转换后真实值之间的差值作为渲染图像和拍摄图像之间的差异信息。
由于颜色材质参数可以包括三个子材质参数,因此,可以分别求解每个子材质参数的转换后渲染值和转换后真实值的子差值,然后再将三个子差值相加,从而得到转换后渲染值和转换后真实值之间的差值。
也即是,可以将转换后渲染值和转换后真实值代入以下公式中,从而得到渲染图像和拍摄图像之间的差异信息:
ΔL=Lr-Li
Δa=ar-ai
Δb=br-bi
其中,ΔL表示亮度子材质参数的转换后渲染值和转换后真实值的子差值,Δa红色绿色子材质参数的转换后渲染值和转换后真实值的子差值,Δb表示黄色蓝色子材质参数的转换后渲染值和转换后真实值的子差值,ΔE表示转换后渲染值和转换后真实值之间的差值,Lr、ar和br表示转换后真实值。
S309、若差异信息大于预设阈值,终端则求解差异信息针对待优化材质参数的梯度,并获取待优化材质参数对应的优化步长。
S3010、终端根据待优化材质参数的梯度和待优化材质参数对应的优化步长对待优化材质参数的初始值进行优化,得到待优化材质参数优化后的候选值。
终端可以将待优化材质参数的梯度和待优化材质参数对应的优化步长进行乘法融合处理,从而得到待优化材质参数的优化程度,然后在将优化程度和初始值进行加法融合处理,从而得到待优化材质参数优化后的候选值。
比如,当待优化材质参数为颜色材质参数时,可以将差异信息代入以下公式中进行融合处理,从而得到待优化材质参数优化后的候选值:
其中,Lk+1、ak+1和bk+1表示待优化材质参数优化后的候选值,Lk、ak和bk表示待优化材质参数的初始值,表示差异信息针对亮度子材质参数的梯度,α表示亮度子材质参数的优化步长,/>表示差异信息针对红色绿色子材质参数的梯度,β表示红色绿色子材质参数的优化步长,/>表示差异信息针对黄色蓝色子材质参数的梯度,γ表示黄色蓝色子材质参数的优化步长,k表示优化次数。
S3011、终端将候选值作为待优化材质参数的初始值,并返回执行步骤S303。
S3012、若差异信息小于或等于预设阈值,则将初始值作为待优化材质参数优化后的目标值。
本申请实施例中差异信息也可以理解为损失函数值,即将渲染值和真实值代入损失函数中进行计算,从而损失函数值,并将损失函数值作为差异信息。
比如,当待优化材质参数为颜色材质参数时,本申请实施例的材质参数的优化过程可以如图6所示,终端在得到待优化材质参数的初始值后,将初始值输入至虚幻引擎中对目标对象进行渲染,得到渲染图像,然后分别对渲染图像的渲染值和拍摄图像的真实值进行颜色空间转换,得到转换后渲染值和转换后真实值,接着将转换后渲染值和转换后真实值代入损失函数中计算,得到损失函数值,并根据损失函数值计算待优化材质参数的梯度,根据梯度下降优化待优化材质参数的初始值,得到候选值,最后继续对候选值进行优化,直至损失函数值满足预设条件。
S3013、终端确定颜色材质参数的优化状态。
S3014、若颜色材质参数的优化状态为待优化状态,终端则将颜色材质参数作为待优化材质参数,将透明度材质参数作为候选材质参数,并返回执行步骤S303。
S3015、若颜色材质参数的优化状态为已优化状态,终端则可以根据颜色材质参数的目标值和透明度材质参数的目标值,对目标对象进行渲染,得到目标对象的渲染图像。
在本申请实施例中,计算在相同光照环境下,渲染图像与拍摄图像之间的差异,再计算差异相对于待优化材质参数的导数,并进行梯度下降优化,在进行若干轮迭代计算之后,可以得到最接近拍摄图像的渲染图像,从而可以得到最接近拍摄图像时材质参数的目标值。
下面对本申请实施例的效果进行说明。
本申请在光照度为280勒克斯、210勒克斯、160勒克斯、110勒克斯以及65勒克斯时对车漆进行拍摄,得到车漆的拍摄图像,然后在280勒克斯、210勒克斯、160勒克斯、110勒克斯以及65勒克斯下,根据拍摄图像对透明度材质参数进行优化,当透明度材质参数的初始值为0.2,渲染图像和拍摄图像之间的差异信息为4.243824小于预设阈值,则将0.2作为透明度材质参数的目标值。
同理地,终端在得到透明度材质参数的目标值之后,在280勒克斯、210勒克斯、160勒克斯、110勒克斯、65勒克斯以及透明度材质参数的目标值为0.2下,根据拍摄图像对颜色材质参数进行优化,当颜色材质参数的初始值为0.86,渲染图像和拍摄图像之间的差异信息为3.043818小于预设阈值,则将0.86作为颜色材质参数的目标值。
为便于更好的实施本申请实施例提供的图像处理方法,本申请实施例还提供一种基于上述图像处理方法的装置。其中名词的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。
例如,如图7所示,该图像处理装置可以包括:
参数获取模块701,用于获取目标对象的待优化材质参数,并获取待优化材质参数的初始值;
图像获取模块702,用于获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数;
对象渲染模块703,用于根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像;
信息确定模块704,用于根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息;
参数优化模块705,用于根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像。
可选地,信息确定模块704具体用于执行:
根据渲染图像,确定待优化材质参数在渲染图像中对应的渲染值;
根据拍摄图像,确定待优化材质参数在拍摄图像中对应的真实值;
根据渲染值和真实值,确定渲染图像和拍摄图像之间的差异信息。
可选地,待优化材质参数包括至少两个子材质参数,渲染值包括子材质参数的渲染值,真实值包括子材质参数的真实值。
相应地,信息确定模块704具体用于执行:
确定子材质参数的真实值和子材质参数的渲染值之间的子差异信息;
根据各个子差异信息,确定渲染图像和拍摄图像之间的差异信息。
可选地,参数优化模块705具体用于执行:
获取预设条件;
若差异信息不满足预设条件,则根据差异信息,对初始值进行优化,得到待优化材质参数优化后的候选值;
将候选值作为待优化材质参数的初始值,并返回执行根据初始值和拍摄参数,对目标对象进行渲染的步骤;
若差异信息满足预设条件,则将初始值作为待优化材质参数优化后的目标值。
可选地,参数优化模块705具体用于执行:
根据差异信息,确定待优化材质参数的变化趋势;
根据变化趋势,对初始值进行优化,得到待优化材质参数优化后的目标值。
可选地,参数优化模块705具体用于执行:
获取待优化材质参数对应的优化步长;
根据优化步长和变化趋势,确定初始值对应的优化程度;
根据优化程度,对初始值进行优化,得到待优化材质参数优化后的目标值。
可选地,待优化材质参数包括颜色材质参数。
相应地,信息确定模块704具体用于执行:
对渲染图像进行颜色空间转换,得到转换后渲染图像;
对拍摄图像进行颜色空间转换,得到转换后拍摄图像;
根据转换后渲染图像和转换后拍摄图像,确定渲染图像和拍摄图像之间的差异信息。
可选地,参数获取模块701具体用于执行:
获取目标对象的至少两个材质参数;
从至少两个材质参数中,筛选出待优化材质参数。
相应地,对象渲染模块703具体用于执行:
根据初始值、候选材质参数对应的设定值以及拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像,候选材质参数为材质参数中除了待优化材质参数之外的参数。
可选地,参数获取模块701具体用于执行:
确定至少两个材质参数之间的关联关系;
根据关联关系,从至少两个材质参数中,筛选出待优化材质参数。
可选地,参数获取模块701还用于执行:
确定材质参数的优化状态;
若材质参数的优化状态为待优化状态,则返回执行从至少两个材质参数中,筛选出待优化材质参数的步骤。
可选地,待优化材质参数包括至少两个。
相应地,信息确定模块704具体用于执行:
根据渲染图像和拍摄图像,确定每个待优化材质参数在渲染图像和拍摄图像之间的初始差异信息;
根据每个待优化材质参数对应的初始差异信息,确定渲染图像和拍摄图像之间的差异信息。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施方式以及对应的有益效果可参见前面的方法实施例,在此不再赘述。
本申请实施例还提供一种电子设备,该电子设备可以是服务器或终端等,如图8所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的计算机程序和/或模块,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储计算机程序以及模块,处理器801通过运行存储在存储器802的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
电子设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理***与处理器801逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器801会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的计算机程序,从而实现各种功能,比如:
获取目标对象的待优化材质参数,并获取待优化材质参数的初始值;
获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数;
根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像;
根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息;
根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像。
以上各个操作的具体实施方式以及对应的有益效果可参见上文对图像处理方法的详细描述,在此不作赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取目标对象的待优化材质参数,并获取待优化材质参数的初始值;
获取目标对象的拍摄图像,并确定拍摄图像的拍摄参数;
根据初始值和拍摄参数,对目标对象进行渲染,得到目标对象的渲染图像;
根据渲染图像和拍摄图像,确定渲染图像和拍摄图像之间的差异信息;
根据差异信息,对初始值进行优化,得到待优化材质参数优化后的目标值,以根据目标值对目标对象进行渲染,得到目标对象渲染后的图像。
以上各个操作的具体实施方式以及对应的有益效果可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像处理方法。
以上对本申请实施例所提供的一种图像处理方法、装置、设备、存储介质及程序产品进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种图像处理方法,其特征在于,包括:
获取目标对象的待优化材质参数,并获取所述待优化材质参数的初始值;
获取所述目标对象的拍摄图像,并确定所述拍摄图像的拍摄参数;
根据所述初始值和所述拍摄参数,对所述目标对象进行渲染,得到所述目标对象的渲染图像;
根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息;
根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,以根据所述目标值对所述目标对象进行渲染,得到所述目标对象渲染后的图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息,包括:
根据所述渲染图像,确定所述待优化材质参数在渲染图像中对应的渲染值;
根据所述拍摄图像,确定所述待优化材质参数在所述拍摄图像中对应的真实值;
根据所述渲染值和所述真实值,确定所述渲染图像和所述拍摄图像之间的差异信息。
3.根据权利要求2所述的图像处理方法,其特征在于,所述待优化材质参数包括至少两个子材质参数,所述渲染值包括所述子材质参数的渲染值,所述真实值包括所述子材质参数的真实值;
所述根据所述渲染值和所述真实值,确定所述渲染图像和所述拍摄图像之间的差异信息,包括:
确定所述子材质参数的真实值和所述子材质参数的渲染值之间的子差异信息;
根据各个所述子差异信息,确定所述渲染图像和所述拍摄图像之间的差异信息。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,包括:
获取预设条件;
若所述差异信息不满足所述预设条件,则根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的候选值;
将所述候选值作为所述待优化材质参数的初始值,并返回执行根据所述初始值和所述拍摄参数,对所述目标对象进行渲染的步骤;
若所述差异信息满足所述预设条件,则将所述初始值作为所述待优化材质参数优化后的目标值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,包括:
根据所述差异信息,确定所述待优化材质参数的变化趋势;
根据所述变化趋势,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述变化趋势,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,包括:
获取所述待优化材质参数对应的优化步长;
根据所述优化步长和所述变化趋势,确定所述初始值对应的优化程度;
根据所述优化程度,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值。
7.根据权利要求1所述的图像处理方法,其特征在于,所述待优化材质参数包括颜色材质参数;
所述根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息,包括:
对所述渲染图像进行颜色空间转换,得到转换后渲染图像;
对所述拍摄图像进行颜色空间转换,得到转换后拍摄图像;
根据所述转换后渲染图像和所述转换后拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息。
8.根据权利要求1-7任一项所述的图像处理方法,其特征在于,所述获取目标对象的待优化材质参数,包括:
获取目标对象的至少两个材质参数;
从至少两个所述材质参数中,筛选出待优化材质参数;
所述根据所述初始值和所述拍摄参数,对所述目标对象进行渲染,得到所述目标对象的渲染图像,包括:
根据所述初始值、所述候选材质参数对应的设定值以及所述拍摄参数,对所述目标对象进行渲染,得到所述目标对象的渲染图像,所述候选材质参数为所述材质参数中除了待优化材质参数之外的参数。
9.根据权利要求8所述的图像处理方法,其特征在于,所述从至少两个所述材质参数中,筛选出待优化材质参数,包括:
确定至少两个所述材质参数之间的关联关系;
根据所述关联关系,从至少两个所述材质参数中,筛选出待优化材质参数。
10.根据权利要求8所述的图像处理方法,其特征在于,在所述根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值之后,还包括:
确定所述材质参数的优化状态;
若所述材质参数的优化状态为待优化状态,则返回执行从至少两个所述材质参数中,筛选出待优化材质参数的步骤。
11.根据权利要求1所述的图像处理方法,其特征在于,所述待优化材质参数包括至少两个;
所述根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息,包括:
根据所述渲染图像和所述拍摄图像,确定每个所述待优化材质参数在所述渲染图像和所述拍摄图像之间的初始差异信息;
根据每个所述待优化材质参数对应的初始差异信息,确定所述渲染图像和所述拍摄图像之间的差异信息。
12.一种图像处理装置,其特征在于,包括:
参数获取模块,用于获取目标对象的待优化材质参数,并获取所述待优化材质参数的初始值;
图像获取模块,用于获取所述目标对象的拍摄图像,并确定所述拍摄图像的拍摄参数;
对象渲染模块,用于根据所述初始值和所述拍摄参数,对所述目标对象进行渲染,得到所述目标对象的渲染图像;
信息确定模块,用于根据所述渲染图像和所述拍摄图像,确定所述渲染图像和所述拍摄图像之间的差异信息;
参数优化模块,用于根据所述差异信息,对所述初始值进行优化,得到所述待优化材质参数优化后的目标值,以根据所述目标值对所述目标对象进行渲染,得到所述目标对象渲染后的图像。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至11任一项所述的图像处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1至11任一项所述的图像处理方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1至11任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211493839.4A CN118096966A (zh) | 2022-11-25 | 2022-11-25 | 图像处理方法、装置、设备、存储介质及程序产品 |
PCT/CN2023/123514 WO2024109357A1 (zh) | 2022-11-25 | 2023-10-09 | 图像处理方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211493839.4A CN118096966A (zh) | 2022-11-25 | 2022-11-25 | 图像处理方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118096966A true CN118096966A (zh) | 2024-05-28 |
Family
ID=91159060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211493839.4A Pending CN118096966A (zh) | 2022-11-25 | 2022-11-25 | 图像处理方法、装置、设备、存储介质及程序产品 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118096966A (zh) |
WO (1) | WO2024109357A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10964098B1 (en) * | 2019-03-05 | 2021-03-30 | Facebook Technologies, Llc | Inverse path tracing for material and lighting estimation |
CN110428388B (zh) * | 2019-07-11 | 2023-08-08 | 创新先进技术有限公司 | 一种图像数据生成方法及装置 |
CN113822977A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 图像渲染方法、装置、设备以及存储介质 |
CN114494494A (zh) * | 2022-01-24 | 2022-05-13 | 广州繁星互娱信息科技有限公司 | 图像光照参数的调整方法和装置、存储介质及电子设备 |
CN115272548A (zh) * | 2022-07-29 | 2022-11-01 | 商汤国际私人有限公司 | 渲染参数调整方法、装置、电子设备及存储介质 |
CN115375816A (zh) * | 2022-09-06 | 2022-11-22 | 清华大学 | 可微渲染方法、装置、电子设备及存储介质 |
-
2022
- 2022-11-25 CN CN202211493839.4A patent/CN118096966A/zh active Pending
-
2023
- 2023-10-09 WO PCT/CN2023/123514 patent/WO2024109357A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024109357A1 (zh) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112116692B (zh) | 模型渲染方法、装置、设备 | |
CN107223269A (zh) | 三维场景定位方法和装置 | |
CN108648269A (zh) | 三维建筑物模型的单体化方法和*** | |
CN112215934A (zh) | 游戏模型的渲染方法、装置、存储介质及电子装置 | |
CN109064542A (zh) | 三维模型表面空洞填补方法和装置 | |
US20200035038A1 (en) | An Interactive Implementation Method for Mobile Terminal Display of 3D Model | |
CN102096941A (zh) | 虚实融合环境下的光照一致性方法 | |
CN112184873B (zh) | 分形图形创建方法、装置、电子设备和存储介质 | |
US20240087219A1 (en) | Method and apparatus for generating lighting image, device, and medium | |
CN111476851A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108876935A (zh) | 一种在移动端快速进行房屋三维模型拼接的方法及装置 | |
US20230368459A1 (en) | Systems and methods for rendering virtual objects using editable light-source parameter estimation | |
CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
CN116758208A (zh) | 全局光照渲染方法、装置、存储介质及电子设备 | |
CN112053440A (zh) | 单体化模型的确定方法及通信装置 | |
CN114359458A (zh) | 一种图像渲染方法、装置、设备、存储介质及程序产品 | |
CN105957133A (zh) | 一种加载贴图的方法和装置 | |
CN117456076A (zh) | 一种材质贴图生成方法及相关设备 | |
CN117218273A (zh) | 图像渲染方法以及装置 | |
CN118096966A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
JP2007272847A (ja) | 照明シミュレーション方法及び画像合成方法 | |
CN110532232A (zh) | 一种对上传图片进行处理的方法及装置 | |
CN116485981A (zh) | 三维模型贴图制作方法、装置、设备及存储介质 | |
CN108846897B (zh) | 三维模型表面材质模拟方法、装置、存储介质及电子设备 | |
CN114245907A (zh) | 自动曝光的光线追踪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |