CN115249215A - 图像处理方法、装置、电子设备以及可读存储介质 - Google Patents

图像处理方法、装置、电子设备以及可读存储介质 Download PDF

Info

Publication number
CN115249215A
CN115249215A CN202110468921.0A CN202110468921A CN115249215A CN 115249215 A CN115249215 A CN 115249215A CN 202110468921 A CN202110468921 A CN 202110468921A CN 115249215 A CN115249215 A CN 115249215A
Authority
CN
China
Prior art keywords
information
image
feature
characteristic information
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110468921.0A
Other languages
English (en)
Inventor
王光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202110468921.0A priority Critical patent/CN115249215A/zh
Priority to PCT/CN2022/083822 priority patent/WO2022227996A1/zh
Priority to US18/551,392 priority patent/US20240177409A1/en
Publication of CN115249215A publication Critical patent/CN115249215A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供一种图像处理方法、装置、电子设备以及可读存储介质，该方法包括：获取待处理图像，待处理图像中包括目标对象；采用特征模型，获取目标对象的法向特征信息和目标特征信息，目标特征信息包括：深度特征信息和/或切线特征信息；基于法向特征信息和目标特征信息，对待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；输出光照渲染后的图像。本公开相较于现有技术，终端设备可以基于目标对象更为丰富的特征信息，对目标对象进行光照渲染，能够丰富光照渲染效果。

Description

图像处理方法、装置、电子设备以及可读存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备以及可读存储介质。
背景技术
重光照(relighting)技术是改变图像拍摄时的光照得到新图像的技术。例如，脸部的重光照技术针对的对象是图像中的脸部，即对脸部进行重光照。重光照技术广泛应用在图像的后期处理中或者电影的后期制作中。示例性的，用户采用修图软件中的重光照功能，可以对图像中的脸部进行处理，以改变脸部的光影效果。
目前图像处理装置可以基于对象的法向信息，采用某一角度的光照对对象进行光照渲染，渲染效果单一。
发明内容
本公开实施例提供一种图像处理方法、装置、电子设备以及可读存储介质，可以丰富图像的光照渲染效果。
第一方面，本公开实施例提供一种图像处理方法，包括：获取待处理图像，所述待处理图像中包括目标对象；采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；输出所述光照渲染后的图像。
第二方面，本公开实施例提供一种图像处理装置，包括：
处理模块，用于获取待处理图像，所述待处理图像中包括目标对象；采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像。
输出模块，用于输出所述光照渲染后的图像。
第三方面，本公开实施例提供一种电子设备，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。
本实施例提供一种图像处理方法、装置、电子设备以及可读存储介质，该方法包括：获取待处理图像，待处理图像中包括目标对象；采用特征模型，获取目标对象的法向特征信息和目标特征信息，目标特征信息包括：深度特征信息和/或切线特征信息；基于法向特征信息和目标特征信息，对待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；输出光照渲染后的图像。本公开实施例中，终端设备不仅获取了目标对象的法向特征信息，还能够获取目标对象的深度特征信息和/或切线特征信息，因为深度特征信息与光照距离对象的远近相关，切线特征信息与光照在对象上形成的光线的分布相关，因此相较于现有技术，终端设备可以基于目标对象更为丰富的特征信息，对目标对象进行光照渲染，能够丰富光照渲染效果，提高用户体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像处理方法应用的一种场景示意图；
图2为本公开实施例提供的图像处理方法的流程示意图一；
图3为本公开实施例提供的图像处理方法应用的另一种场景示意图；
图4为本公开实施例提供的特征模型的训练流程示意图一；
图5为本公开实施例提供的初始模型的结构示意图；
图6为本公开实施例提供的特征模型的训练流程示意图二；
图7为本公开实施例提供的一种样本图像处理的示意图；
图8为本公开实施例提供的图像处理方法的流程示意图二；
图9为本公开实施例提供的图像处理装置的结构框图；
图10为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
为解决现有技术存在的技术问题，本公开实施例提供了以下解决思路：在对图像中的对象进行重光照(relighting)处理时，获取图像中的对象的法向特征信息和目标特征信息，该目标特征信息中可以包括深度特征信息和/或切线特征信息(tangent)。因为法向特征信息与光照的角度(如方向光源)相关，深度特征信息与光照距离对象的远近相关(或理解为深度特征信息与光照达到对象的光照强度相关)，切线特征信息与光照在对象上形成的光线的分布相关。因此相较于现有技术，本公开实施例中可以基于对象更为丰富的特征信息，实现对图像中的对象进行不同的光照渲染，如对对象进行不同角度、不同强度和/或不同光线的分布等的渲染，进而达到丰富对象的渲染效果的目的。在一种实施例中，图像中的对象可以但不限于为人物、动物、生活用具，生活用具如餐具。应理解，图像以及下述实施例中涉及的待处理图像、样本图像可以为图片或者视频中的视频帧。
参考图1，图1为本公开实施例提供的图像处理方法应用的一种场景示意图。示例性的，用户可以通过终端设备对图像中的对象进行光照渲染。示例性的，用户可以打开终端设备中的修图应用程序，在修图应用程序中选择待处理图像，如终端设备的界面101所示的为待处理图像，该待处理图像中包括用户的脸部以及用户的头发。界面101上可以显示有“光照渲染”控件，用户点击该“光照渲染”控件，终端设备可以执行本公开实施例提供的图像处理方法，以对待处理图像中的对象(用户的脸部以及用户的头发)进行光照渲染，得到如界面102所示的光照渲染后的图像。示例性的，如光照渲染后的图像中，光照渲染可以从用户的侧面、以光照强度为a进行光照，且用户的头发呈现水波纹形状的光线分布。应理解，界面102中的用户的头发的水波纹形状为示例。
应理解，图1为一种应用场景的示例，终端设备上可以先显示“光照渲染”控件，用户选择图像后，终端设备可以对该图像中的对象进行光照渲染。或者，如上述界面101上还可以现有其他修图控件，本公开实施例中对用户如何触发终端设备执行光照渲染的方式不做限制。在一种实施例中，本公开实施例提供的图像处理方法还可以应用于对各类视频(例如，应视作品)的后期处理场景中，如终端设备可以将视频中的视频帧做为待处理图像，进而待处理图像中的对象进行光照渲染。
本公开实施例中的终端设备可以包括但不限于为：手机、平板电脑、笔记本电脑、音箱、可穿戴设备、智慧屏、智能家用电器、物联网(internet of things，IoT)设备、摄像头设备等具有图像处理功能的设备。可选的，终端设备还可以为个人数字处理(personaldigital assistant，PDA)、具有无线通信功能的手持设备、计算设备、虚拟现实(virtualreality，VR)终端设备、无人机设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、智慧家庭(smart home)中的无线终端等。本公开实施例中对终端设备的形态不做限制。
参考图2，图2为本公开实施例提供的图像处理方法的流程示意图一。本实施例的方法可以应用在终端设备中，该图像处理方法可以包括：
S201：获取待处理图像，待处理图像中包括目标对象。
待处理图像可以为终端设备中存储的本地图像，如用户可以在终端设备中选择至少一个本地图像，终端设备将用户选择的本地图像作为待处理图像，如界面101所示。在一种实施例中，待处理图像可以为终端设备拍摄的图像，或者待处理图像可以为导入终端设备的图像。在一种实施例中，待处理图像可以为另一电子设备发送给终端设备的图像，即该另一电子设备需要对图像进行光照渲染，进而将该图像发送给终端设备进行光照渲染。其中，图像可以为一张图片，或者一组图片，或者视频。视频中的每个视频帧可以看做一个图像。
待处理图像中包括目标对象。目标对象可以但不限于为人物、动物、物品等，物品可以如不锈钢材质的餐具、陶瓷材质的餐具、塑料袋等。下述实施例中以目标对象为人物为例进行说明。
S202：采用特征模型，获取目标对象的法向特征信息和目标特征信息，目标特征信息包括：深度特征信息和/或切线特征信息。
特征模型用于提取待处理图像中的目标对象的法向特征信息和目标特征信息。其中，目标特征信息包括：深度特征信息和/或切线特征信息。在一种实施例中，法向特征信息可以为目标对象的法向图、法向矩阵、或者法向特征向量。深度特征信息可以为目标对象的深度图、深度矩阵、或者深度特征向量。切线特征信息可以为目标对象的切线图、切线矩阵、或者切线特征向量。
在一种实施例中，可以采用样本数据预先训练得到该特征模型，进而将该特征模型预置在终端设备中，以使终端设备可以采用该特征模型获取图像中目标对象的法向特征信息和目标特征信息。其中，训练该特征模型的执行主体可以为终端设备或其他电子设备。其他电子设备如模型训练机器、服务器等，本公开实施例对训练得到特征模型的执行主体对此不作限制。
在一种实施例中，样本数据可以包括样本图像、样本图像的法向特征信息。在一种实施例中，样本数据可以包括样本图像、样本图像中的样本对象的法向特征信息和样本目标特征信息。样本目标特征信息可以包括样本深度特征信息和/或样本切线特征信息。应注意的是，样本数据中包括的样本目标特征信息的类型与基于特征模型输出的目标特征信息的类型相同。示例性的，若样本数据中包括的样本目标特征信息为样本切线特征信息，则基于特征模型输出的目标特征信息也为切线特征信息。
在一种实施例中，终端设备在获取待处理图像后，可以将该待处理图像输入至特征模型，特征模型可以输出该待处理图像中目标对象的法向特征信息和目标特征信息。应理解，该实施例中先对特征模型的使用过程进行说明，特征模型的训练过程具体可以参照下述图4和图5的相关描述。应注意，目标对象和样本对象的类型可以相同，如目标对象为人物，则样本对象可以为人物。示例性的，如目标对象为留有头发的人物，样本对象可以包括留有头发的人物。
应注意的是，本公开实施例中之所以除了目标对象的法向特征信息之外，还要获取目标特征信息的原因在于：目前终端设备基于法向特征信息，仅能对目标对进行某一角度的光照渲染。而若终端设备还获取了目标对象的深度特征信息，因为深度特征信息表征目标对象的每个像素点距离拍摄位置处的距离，因此终端设备可以基于深度特征信息为目标对象提供不同距离的点光源的光照渲染。因为距离目标对象不同距离的点光源，达到目标对象的光照强度不同，因此也可以理解为终端设备可以为目标对象提供不同光照强度的光照渲染。
另外，若目标对象具有各向异性，则还需要获取目标对象的切线特征信息对目标对象进行光线的分布的光照渲染。应理解，如头发、毛发、不锈钢制品的餐具均呈现各向异性。示例性的，如目标对象为留有头发的用户，用户的脸部和身体一般具有各向同性，则不需要切线特征信息，也能够正确地进行光照渲染。而用户的头发具有各向异性，光照在头发上的光线分布应该呈现水波纹的形状，而若终端设备未获取头发的切线特征信息，则光照在头发上的光线分布与光照在用户的脸部和身体的光线分布相同，光线分布呈现光圈形状，这与实际生活中头发在光照下的光线的分布不同，导致对头发的渲染效果差。本公开实施例中，终端设备可以获取目标对象的切线特征信息，并可以对各向同性和各向异性的对象均能进行准确的光线的分布的渲染，渲染效果好，提升了对具有各向异性的对象的渲染效果。
在一种实施例中，目标特征信息中包含的信息越多，则光照渲染的效果越好。
S203：基于法向特征信息和目标特征信息，对待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像。
因为法向特征信息与光照的角度相关，深度特征信息与光照距离对象的远近相关，切线特征信息与光照在对象上形成的光线的分布相关。在一种实施例中，终端设备可以基于法向特征信息，确定光照角度(如图1中用户的侧面)。终端设备基于深度特征信息，确定光照强度(或点光源距离目标对象的距离)。以及终端设备基于切线特征信息，确定光照在目标对象上形成的光线的分布，示例性的，如光照在对象上形成的光线的分布可以包括：光照在用户的脸部上形成的光线的分布为光圈形状，在头发的分布为水波纹形状。
在一种实施例中，终端设备可以基于光照角度、光照强度和光照在对象上形成的光线的分布，对目标对象进行光照渲染。光照渲染可以为：终端设备将光照角度的图层(如来自用户侧面的光照)和光照强度对应的图层(光照强度为a)，以及光照在对象上形成的光线的分布对应的图层(水波纹形状)与待处理图像中的目标对象叠加在一起，得到光照渲染后的图像。
S204：输出光照渲染后的图像。
在一种实施例中，终端设备可以显示该光照渲染后的图像，如图1中的界面102所示。或者，在一种实施例中，终端设备可以将该光照渲染后的图像输出至另一电子设备，该另一电子设备可以为向终端设备请求对图像进行光照渲染的设备，如智能穿戴设备，如图3所示。图3为本公开实施例提供的图像处理方法应用的另一种场景示意图。其中，该另一电子设备接收到光照渲染后的图像后，可以显示该光照渲染后的图像。
本公开实施例提供的图像处理方法包括：终端设备获取待处理图像，待处理图像中包括目标对象，采用特征模型，获取目标对象的法向特征信息和目标特征信息，目标特征信息包括：深度特征信息和/或切线特征信息，基于法向特征信息和目标特征信息，对待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像，输出光照渲染后的图像。本公开实施例中，终端设备在对图像中的目标对象进行光照渲染时，不仅获取了目标对象的法向特征信息，还获取了目标对象的深度特征信息和/或切线特征信息，因为深度特征信息与光照距离对象的远近相关，切线特征信息与光照在对象上形成的光线的分布相关，因此相较于现有技术，终端设备可以基于目标对象更为丰富的特征信息，对目标对象进行更为丰富的光照渲染，如对目标对象进行不同角度、不同光照强度和/或不同的光线的分布的光照渲染，进而能够丰富光照渲染效果，提高用户体验。
为了更为清楚地对本公开实施例提供的图像处理方法进行介绍，下述结合图4对本公开实施例训练得到特征模型的过程进行说明。训练特征模型的执行主体可以为服务器，训练特征模型的执行主体还可以为终端设备或具备训练能力的电子设备，本公开实施例对训练特征模型的执行主体不作限制。
参照图4，训练得到特征模型的方法可以包括：
S401：将包含有样本对象的样本图像输入至初始模型。
初始模型可以为训练特征模型的初始框架。初始模型可以但不限于为：基于全卷积神经网络(fully convolutional networks，FNC)框架的Unet神经网络、轻量化神经网络shufflenet、卷积神经网络(convolutional neural network，CNN)。可以将样本图像输入初始模型，以进行训练。
应注意的是，训练得到特征模型的样本数据除了样本图像之外，还可以包括：样本图像中样本对象的样本法向特征信息。在一种实施例中，样本数据中包括：样本图像，以及样本图像中样本对象的样本法向特征信息和样本目标特征信息。样本目标特征信息可以包括样本深度特征信息和/或样本切线特征信息。应理解，样本法向特征信息、样本深度特征信息和样本切线特征信息可以看做是样本对象准确的特征信息，可以称为样本对象的特征的标注信息。
在一种实施例中，样本法向特征信息可以包括样本法向图，样本深度特征信息可以包括样本深度图，样本切线特征信息可以包括样本切线图。此外，样本法向特征信息、深度特征信息、以及切线特征信息还可以包括其他类型的表现形式，如特征向量、特征矩阵等，本公开不对此进行限制。下述实施例中以(法向/深度/切线)特征信息为(法向/深度/切线)图进行说明。
S402：获取初始模型输出的样本对象的法向特征信息、深度特征信息和切线特征信息。
本公开实施例中以一个样本图像在训练中的处理过程进行说明。在训练过程中，将样本图像输入初始模型后，初始模型可以输出该样本图像中样本对象的法向特征信息、深度特征信息和切线特征信息。
图5为本公开实施例提供的初始模型的结构示意图。参照图5，初始模型包括输入层、隐含层和输出层，隐含层包括法向特征提取块、深度特征提取块以及切线特征提取块。输入层用于向法向特征提取块、深度特征提取块以及切线特征提取块输入样本图像。在一种实施例中，输入层和输出层可以采用Unet神经网络，隐含层可以采用shufflenet神经网络。法向特征提取块、深度特征提取块以及切线特征提取块也可以称为初始模型中的三个分支(branch)。
法向特征提取块，用于提取样本图像的样本对象中与法向图相关的信息，且基于该与法向图相关的信息获取法向图，且通过输出层输出样本对象的法向图。法向特征提取块，还用于向深度特征提取块和切线特征提取块输出与法向图相关的信息。深度特征提取块，用于提取样本图像的样本对象中与深度图相关的信息，且根据与深度图相关的信息和与法向图相关的信息，获取深度图，且通过输出层输出样本对象的深度图。切线特征提取块，用于提取样本图像的样本对象中与切线图相关的信息，且根据与切线图相关的信息和与法向图相关的信息，获取切线图，且通过输出层输出样本对象的切线图。其中，与法向图相关的信息可以为样本对象的法向特征，如法向向量等。与深度图相关的信息可以为样本对象的深度特征，与切线图相关的信息可以为样本对象的切线特征。
特征模型在训练过程中，可以输出样本对象的法向图。因为法向图的准确性高，本公开实施例中，可以结合与预设法向图相关的信息得到深度图和切线图，进而提高深度图和切线图的准确性。
S403：获取法向特征信息的第一损失函数、深度特征信息的第二损失函数，以及切线特征信息的第三损失函数。
针对初始模型输出的法向图、深度图和切线图，为了验证法向图、深度图和切线图的准确性，可以获取法向特征信息的第一损失函数、深度特征信息的第二损失函数，以及切线特征信息的第三损失函数，以对初始模型中输入层和隐含层之间的权重，以及隐含层和输出层之间的权重进行更新，使得初始模型输出的法向图、深度图和切线图更为准确。应理解，损失函数表征初始模型得到的特征信息与标注信息之间的误差，损失函数越大，则误差越大，初始模型的训练结果越不准确。其中，当初始模型得到的特征信息与标注信息之间的误差在小于误差阈值时，该初始模型的训练结果准确。
在一种实施例中，针对样本数据中包括“样本图像和样本对象的样本法向图”的场景，可以基于法向图和样本法向图获取第一损失函数，示例性的，如采用L1损失函数公式，基于法向图和样本法向图获取第一损失函数。因为样本数据中没有样本对象的样本深度图和样本切线图，因此可以根据深度图获取法向特征信息，进而得到深度图对应的法向图，进而可以采用L1损失函数公式，基于样本法向图和深度图对应的法向图获取第二损失函数。同理的，可以对切线图和法向图进行点乘，获取点乘结果，进而采用L1损失函数公式，基于点乘结果和0获取第三损失函数。
应理解，深度图用于表征样本对象的各像素点的深度。在一种实施例中，以样本对象上的一个像素点为例，可以基于该像素点的深度，以及该像素点周围的像素点的深度，获取该像素点的深度梯度，可以基于该像素点的深度梯度，获取该像素点的法向特征信息，如法向向量。进而可以基于样本对象的各像素点的法向特征信息，得到样本对象的法向图，即样本对象的深度图对应的法向图。
或者，在一种实施例中，可以基于样本对象的深度图，得到样本对象的二值图，二值图上各像素点的灰度与像素点的深度呈正比关系。以样本对象上的一个像素点为例，可以基于该像素点的灰度，以及该像素点周围的像素点的灰度，获取该像素点的灰度梯度，可以基于该像素点的灰度梯度，获取该像素点的法向特征信息。进而可以基于样本对象的各像素点的法向特征信息，得到样本对象的法向图。本申请实施例对基于样本对象的深度图，得到样本对象的法向图的方式不做限制。
在一种实施例中，针对样本数据中包括“样本图像、样本对象的样本法向图、样本深度图和样本切线图”的场景，可以采用上述方法分别获取第一损失函数、第二损失函数和第三损失函数。也可以采用L1损失函数公式，基于深度图和样本深度图获取第二损失函数，也可以采用L1损失函数公式，基于切线图和样本切线图获取第三损失函数。
S404：基于第一损失函数、第二损失函数和第三损失函数，更新初始模型，以得到特征模型。
本公开实施例中，可以基于第一损失函数，更新初始模块中输入层中的各神经元和法向特征提取块中的各神经元之间的权重，以及法向特征提取块中的各神经元和输出层中的各神经元之间的权重。可以基于第二损失函数，更新输入层中的各神经元和深度特征提取块中的各神经元之间的权重，以及深度特征提取块中的各神经元和输出层中的各神经元之间的权重。可以基于第三损失函数，更新输入层中的各神经元和切线特征提取块中的各神经元之间的权重，以及切线特征提取块中的各神经元和输出层中的各神经元之间的权重。在一种实施例中，可以基于第一损失函数、第二损失函数和第三损失函数，采用反向传播(back propagation)方式，更新初始模型中各神经元之间的权重。
应理解，得到更新后的初始模型后，可以基于该更新后的初始模型和样本数据，继续训练初始模型，直至训练次数达到预设训练次数结束训练，得到特征模型。在一种实施例中，若更新后的初始模型(或初始模型)输出的第一损失函数小于第一预设值，第二损失函数小于第二预设值，以及第三损失函数小于第三预设值，则结束训练，得到训练好的特征模型。
综上，可以训练得到特征模型，且将该特征模型预置在终端设备中。
在一种实施例中，可以对样本图像进行预处理，且将预处理后的样本图像输入至初始模型进行训练，以得到预测准确性更高的特征模型。
其中，参照图6，在上述S401之前可以包括：
S405：基于样本图像，获取样本图像中的样本对象的掩膜图像。
样本对象的掩膜图像(mask)，可以为二值图像。如可以将样本图像中的样本对象的像素点置为1，将非样本对象的像素点置为0，即样本图像中的样本对象呈现白色，非样本图像呈现黑色。在一种实施例中，样本对象的掩膜图像可以为灰度图，样本对象的像素点的灰度可以为255，非样本对象的像素点的灰度可以为0。本公开实施例中对样本对象的掩膜图像不做限制，只要能够有效区分样本图像中的样本对象的像素点和非样本对象的像素点即可。
在一种实施例中，可以识别样本图像中的样本对象，进而将样本图像中的样本对象的像素点置为1，将非样本对象的像素点置为0，以获取样本对象的掩膜图像。在一种实施例中，以采用人像分割(portrait matting)技术，获取样本对象的掩膜图像。
图7为本公开实施例提供的一种样本图像处理的示意图。参照图7，样本图像为：包括用户的脸部、用户的头发的图像A，样本图像的掩膜图像可以如图7中的B所示。其中，图像A中还包括背景部分，如太阳。
S406：基于样本图像，获取样本对象的目标部分的掩膜图像，目标部分具有各向异性。
目标部分可以为样本对象的全部区域或者部分区域。目标部分具有各向异性，示例性的，样本对象为用户(包括用户的脸部和用户的头发)，样本对象的目标部分可以为用户的头发，其中，头发具有各向异性，相应地，可以基于图像A，获取用户的头发的掩膜图像，如图7中的D所示。应理解，获取目标部分的掩膜图像的方法可以参照上述获取样本对象的掩膜图像的相关描述。此外，本领域技术人员应当理解的，目标部分的掩膜图像可以预先获取或者预先设置，本公开不对此进行限制。
在一种实施例中，可以将样本对象的目标部分的掩膜图像作为样本数据。
S407：基于样本对象的掩膜图像，将样本图像中除样本对象之外的像素点调整为预设值，以获取处理后的样本图像。
在获取样本对象的掩膜图像后，因为样本对象的掩膜图像的大小和样本图像的大小一致，因此，可以基于样本对象的掩膜图像和样本图像的像素点的对应关系，将样本图像中除样本对象之外的像素点调整为预设值。
示例性的，以预设值为0，样本对象为用户为例进行说明，可以将样本图像中除用户之外的像素点调整为0，使得样本图像中的用户呈现为彩色，除用户之外的像素点呈现为黑色，如图7中的C所示，应理解，图7中的C的前景部分在实际中是彩色的，尽管图7中以黑白色进行表征。
相应的，上述S401可以替换为如下S408：
S408：将样本对象的掩膜图像和处理后的样本图像进行级联后输入至初始模型。
样本图像可以为彩色图像，在一种实施例中，在样本图像中分割获取样本对象的掩膜图像时，因为光线等外界因素的影响，获取的样本对象的掩膜图像中还包含有部分非样本对象的像素点。为了提高特征模型的预测准确性，本公开实施例中，可以将样本对象的掩膜图像和处理后的样本图像进行级联(concat)，且将级联后的样本对象的掩膜图像和处理后的样本图像输入至初始模型。
其中，因为处理后的样本图像是基于样本对象的掩膜图像得到的，若样本对象的掩膜图像中还包含有部分非样本对象的像素点，则处理后的样本图像的前景部分(彩色部分)包括部分背景区域的像素点(即非样本对象的像素点)，因为处理后的样本图像的样本对象为彩色，相较于样本对象的掩膜图像的前景部分，包含有更多的信息。因此，本公开实施例中，将样本对象的掩膜图像和处理后的样本图像进行级联后输入至初始模型，可以使得在训练得到特征模型的过程中，能够更为准确的识别样本对象在样本图像的边界，进而提高特征模型的预测准确性。
在一种实施例中，样本数据中还可以包括样本对象的目标部分的样本切线图。参照图7，可以将用户的掩膜图像和处理后的样本图像进行级联后输入至初始模型，相应的，在训练过程中，除了采用上述图4中相关描述获取第三损失函数，还可以采用如下方式获取第三损失函数：
因为样本对象中只有目标部分(例如，头发)具有各向异性，因此本公开实施例中可以仅针对目标部分进行第三损失函数的计算。示例性的，用户的目标部分为头发，可以针对用户的头发进行第三损失函数的计算。如可以基于头发的掩膜图像，在初始模型输出的用户的切线图中，获取头发的切线图。示例性的，可以基于头发掩膜，在用户的切线图中获取头发的像素点对应的切线图的部分，即为头发的切线图。可以采用L1损失函数公式，基于头发的切线图和头发的样本切线图，获取用户的头发的第三损失函数，如图7所示。
在一种实施例中，若样本数据中未包括样本对象的目标部分的样本切线图，则可以采用目标部分的切线图和目标部分的法向图进行点乘，进而采用L1损失函数公式，基于点乘结果和0获取样本对象的目标部分的第三损失函数。应理解，可以基于目标部分的掩膜图像，在样本对象的法向图中获取目标部分的法向图。
综上所示，本公开实施例中，可以对样本图像进行预处理，且将样本对象的掩膜图像和处理后的样本图像进行级联后输入至初始模型，以训练得到特征模型，可以提高特征模型的预测准确性。
上述图7所示的特征模型，相较于上述图5的特征模型，增加了样本图像预处理的过程，可以提高特征模型的预测准确性。下述本公开实施例可以基于上述图7中的特征模型，获取图像的法向特征信息和目标特征信息，进而可以提高光照渲染的效果。图8为本公开实施例提供的图像处理方法的流程示意图二。参照图8，本公开实施例提供的图像处理方法可以包括：
S801：获取待处理图像，待处理图像中包括目标对象。
S802：对待处理图像进行预处理，得到处理后的图像，处理后的图像中除目标对象之外的像素点为预设值。
终端设备可以基于待处理图像，获取目标对象的掩膜图像，进而基于掩膜图像，将待处理图像中除目标对象之外的像素点调整为预设值。基于训练得到特征模型时对样本图像的预处理的相关描述，本公开实施例中，终端设备可以采用相同的方法对待处理图像进行预处理，具体可以参照上述的相关描述。
应理解，本公开实施例中，终端设备将待处理图像进行预处理，且处理后的图像中除目标对象之外的像素点为预设值，则在采用特征模型获取目标对象的法向特征信息和目标特征信息时，特征模型可以完全集中于前景部分的目标对象，进而能够提高获取的目标对象的法向特征信息和目标特征信息的准确性。
示例性的，待处理图像可以为图7中的A所示，目标对象为用户，目标对象的目标部分为用户的头发。终端设备可以获取用户的掩膜图像B，参照上述S406的相关描述。终端设备可以基于用户的掩膜图像B，将待处理图像中除了用户之外的像素点调整为0，即待处理图像中除了用户之外的部分调整为黑色，从而得到处理后的图像C。
S803：将处理后的图像输入特征模型，得到法向特征信息和目标特征信息。
本公开实施例中，终端设备可以将处理后的图像输入特征模型，进而得到特征模型输出的目标对象的法向特征信息和目标特征信息。在一种实施例中，法向特征信息可以为法向图，或者法向向量或法向矩阵等，下述中以法向特征信息为法向图为例进行说明。
其中，与图5所示的初始模型的结构类似的，特征模型可以包括：输入层、隐含层和输出层。输入层用于向隐含层输入待处理图像。所述隐含层用于基于待处理图像，获取待处理图像中目标对象的法向特征信息和目标特征信息，且通过输出层输出目标对象的法向特征信息和目标特征信息。
在一种实施例中，隐含层包括法向特征提取块和目标特征提取块。法向特征提取块，用于提取待处理图像的目标对象中与法向图相关的信息，且基于该与法向图相关的信息获取法向图，且通过输出层输出目标对象的法向图。法向特征提取块，还用于向目标特征提取块输出与法向图相关的信息。目标特征提取块，用于提取待处理图像的目标对象中与目标特征信息相关的信息，且基于与目标特征信息相关的信息和与法向特征信息相关的信息，获取目标特征信息，通过输出层输出目标特征信息。
在一种实施例中，目标特征提取块可以包括深度特征提取块以及切线特征提取块。在该实施例中，输入层可以用于向法向特征提取块、深度特征提取块以及切线特征提取块输入待处理图像。
法向特征提取块，用于提取待处理图像的目标对象中与法向图相关的信息，且基于该与法向图相关的信息获取法向图，且通过输出层输出目标对象的法向图。法向特征提取块，还用于向深度特征提取块和切线特征提取块输出与法向图相关的信息。深度特征提取块，用于提取待处理图像的目标对象中与深度图相关的信息，且根据与深度图相关的信息和与法向图相关的信息，获取深度图，且通过输出层输出目标对象的深度图。切线特征提取块，用于提取待处理图像的目标对象中与切线图相关的信息，且根据与切线图相关的信息和与法向图相关的信息，获取切线图，且通过输出层输出目标对象的切线图。其中，与法向图相关的信息可以为目标对象的法向特征，如法向向量、法向矩阵等。同理的，与深度图相关的信息可以为目标对象的深度特征，与切线图相关的信息可以为目标对象的切线特征。
在一种实施例中，S803中“与法向图相关的信息”可以替换为“与法向特征信息相关的信息”，“与深度图相关的信息”和“与切线图相关的信息”可以替换为“与目标特征信息相关的信息”。其中，“与深度图相关的信息”可以替换为“与深度特征信息相关的信息”，“与切线图相关的信息”可以替换为“与切线特征信息相关的信息”。
据此，终端设备将处理后的图像输入特征模型，可以提取目标对象与法向特征信息相关的信息，以及目标对象与目标特征信息相关的信息，进而基于与法向特征信息相关的信息，获取法向特征信息，基于与法向特征信息相关的信息和与目标特征信息相关的信息，获取目标特征信息。
在一种实施例中，法向特征信息包括法向图，深度特征信息包括深度图，切线特征信息包括切线图。当目标特征信息包括深度特征信息和切线特征信息时，特征模型中的法向特征提取块可以基于处理后的图像，提取与目标对象的法向图相关的信息，深度特征提取块可以基于处理后的图像，提取与目标对象的深度图相关的信息，以及切线特征提取块可以基于处理后的图像，提取与目标对象的切线图相关的信息。法向特征提取块可以基于与目标对象的法向图相关的信息，获取目标对象的法向图。深度特征提取块可以基于与目标对象的法向图相关的信息，以及与目标对象的深度图相关的信息，获取目标对象的深度图。切线特征提取块可以基于与目标对象的法向图相关的信息，以及与目标对象的切线图相关的信息，获取目标对象的切线图。应理解，与法向图相关的信息可以为目标对象的法向特征，与深度图相关的信息可以为目标对象的深度特征，与切线图相关的信息可以为目标对象的切线特征。
示例性的，终端设备可以将除了用户之外的部分为黑色的“处理后的图像”输入至特征模型，进而得到用户的法向特征信息，以及目标特征信息。在一种实施例中，目标特征信息包括深度特征信息时，深度特征信息可以为用户的法向特征信息。在一种实施例中，目标特征信息包括切线特征信息时，切线特征信息可以为用户的切线特征信息或用户的头发的切线特征信息。
在一种实施例中，终端设备可以基于用户的头发的掩膜图像D，在用户的切线特征信息中获取用户的头发的切线特征信息，如将用户的切线特征信息中，头发的掩膜中头发的像素点对应的切线特征信息，作为头发的切线特征信息。
在一种实施例中，为了提高深度模型获取目标对象的特征图(法向图、深度图、切线图)的准确性，上述S803可以替换为：将目标对象的掩膜图像(如图7中的图像B)和处理后的图像(如图7中的图像C)进行级联后输入至特征模型。其中，处理后的图像中除目标对象之外的像素点为预设值，将目标对象的掩膜图像和处理后的图像进行级联可以理解为：将目标对象的掩膜图像的像素点和处理后的图像的像素点一一对应级联，将级联后的目标对象的掩膜图像和处理后的图像，输入至特征模型。
示例性的，终端设备可以将除了用户之外的部分为黑色的“处理后的图像”，以及用户的掩膜图像级联后输入至特征模型，进而得到用户的法向特征信息，以及目标特征信息，可以提高法向特征信息和目标特征信息的准确性。
S804：根据法向特征信息和目标特征信息，获取光照渲染模式。
在一种实施例中，终端设备中存储有各法向特征信息和各目标特征信息对应的光照渲染模式。也就是说，法向特征信息不同，光照渲染模式不同，同理的，目标特征信息不同，光照渲染模式不同。本公开实施例中，终端设备在获取目标对象的法向特征信息和目标特征信息后，可以基于有各法向特征信息和各目标特征信息对应的光照渲染模式，获取目标对象的光照渲染模式。
在一种实施例中，终端设备可以采用表格形式、或者数据库形式或者可扩展标记语言(extensible markup language，XML)形式，存储各法向特征信息和各目标特征信息对应的光照渲染模式，本公开实施例对此不作限制。
S805：采用光照渲染模式对目标对象进行光照渲染。
终端设备在确定目标对象的光照渲染模式，可以基于该光照渲染模式对应的光照渲染参数对目标对象进行光照渲染。
以目标特征信息包括深度特征信息和切线特征信息，且切线特征信息为用户的头发的切线特征信息为例，终端设备可以获取法向特征信息、深度特征信息以及切线特征信息对应的光照渲染模式。
示例性的，终端设备采用该光照渲染模式，可以从用户的侧面，且以光照强度为a对用户进行光照，且终端设备渲染用户的头发，使得用户的头发呈现水波纹形状的光线分布。
S806：输出光照渲染后的图像。
应理解，本公开实施例中的S801、S806可以参照上述实施例中S201、S204中的相关描述。
本公开实施例中，终端设备可以对待处理图像进行预处理，将目标对象的掩膜图像和处理后的图像进行级联后输入至特征模型，以获取更为准确的目标对象的法向特征信息和目标特征信息，进而可以提高光照渲染效果。
图9为本公开实施例提供的图像处理装置的结构框图。该图像处理装置可以为上述实施例中的终端设备，也可以为终端设备中的芯片或者处理器。为了便于说明，仅示出了与本公开实施例相关的部分。参照图9，图像处理装置900包括：处理模块901和输出模块902。
处理模块901，用于获取待处理图像，待处理图像中包括目标对象；采用特征模型，获取目标对象的法向特征信息和目标特征信息，目标特征信息包括：深度特征信息和/或切线特征信息；基于法向特征信息和目标特征信息，对待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像。
输出模块902，用于输出光照渲染后的图像。
在一种可能的实现方式中，特征模型具体用于：提取目标对象与法向特征信息相关的信息，以及目标对象与目标特征信息相关的信息；基于与法向特征信息相关的信息，获取法向特征信息；基于与法向特征信息相关的信息和与目标特征信息相关的信息，获取目标特征信息。
在一种可能的实现方式中，处理模块901，还用于对待处理图像进行预处理，得到处理后的图像，处理后的图像中除目标对象之外的像素点为预设值；将处理后的图像输入特征模型，得到法向特征信息和目标特征信息。
在一种可能的实现方式中，处理模块901，具体用于基于待处理图像，获取目标对象的掩膜图像；基于掩膜图像，将待处理图像中除目标对象之外的像素点调整为预设值；将掩膜图像和处理后的图像进行级联后输入至特征模型。
在一种可能的实现方式中，处理模块901，具体用于根据法向特征信息和目标特征信息，获取光照渲染模式；采用光照渲染模式对目标对象进行光照渲染。
在一种可能的实现方式中，特征模型是以样本图像、样本图像中的样本对象的样本法向特征信息，以及样本对象的样本目标特征信息为样本数据训练得到的，样本目标特征信息包括样本深度特征信息和/或样本切线特征信息。
在一种可能的实现方式中，法向特征信息为法向图，深度特征信息为深度图，切线特征信息为切线图；样本法向特征信息为样本法向图，样本深度特征信息为样本深度图，样本切线特征信息为样本切线图。
在一种可能的实现方式中，训练过程中的特征模型为初始特征模型，所述初始特征模型中与所述初始特征模型输出的法向特征信息相关的模型参数是基于第一损失函数更新的，且所述第一损失函数是基于所述样本法向特征信息和所述初始特征模型输出的法向特征信息得到的。
在一种可能的实现方式中，所述初始特征模型中与所述初始特征模型输出的深度特征信息相关的模型参数是基于第二损失函数更新的；其中，所述第二损失函数是基于所述样本深度特征信息和所述初始特征模型输出的深度特征信息得到的；和/或，所述第二损失函数是基于所述初始特征模型输出的深度特征信息得到的法向特征信息，以及所述样本法向特征信息得到的。
在一种可能的实现方式中，所述初始特征模型中与所述初始特征模型输出的切线特征信息相关的模型参数是基于第三损失函数更新的；其中，所述第三损失函数是基于所述初始特征模型输出的切线特征信息和所述初始特征模型输出的法向特征信息得到的；和/或，所述样本数据中还包括：所述样本对象的目标部分的样本切线特征信息和所述目标部分的掩膜图像，所述目标部分具备各向异性，所述第三损失函数是基于所述目标部分的样本特征信息、所述目标部分的掩膜图像和所述初始特征模型输出的切线特征信息得到的。
在一种可能的实现方式中，特征模型包括：输入层、隐含层和输出层；输入层，用于向隐含层输入待处理图像；隐含层，用于：基于待处理图像，获取法向特征信息和目标特征信息；通过输出层输出法向特征信息和目标特征信息。
在一种可能的实现方式中，隐含层包括：法向特征提取块和目标特征提取块；法向特征提取块，用于：提取待处理图像的目标对象中与法向特征信息相关的信息；基于与法向特征信息相关的信息，获取法向特征信息；通过输出层输出法向特征信息，且向目标特征提取块输出与法向特征信息相关的信息。
目标特征提取块，用于：提取待处理图像的目标对象中与目标特征信息相关的信息；基于与目标特征信息相关的信息和与法向特征信息相关的信息，获取目标特征信息；通过输出层输出目标特征信息。
在一种可能的实现方式中，目标特征提取块包括：深度特征提取块和切线特征提取块。深度特征提取块，用于：提取待处理图像的目标对象中与深度特征信息相关的信息；基于与深度特征信息相关的信息和与法向特征信息相关的信息，获取深度特征信息；通过输出层输出深度特征信息。
切线特征提取块，用于：提取待处理图像的目标对象中与切线特征信息相关的信息；基于与切线特征信息相关的信息和与法向特征信息相关的信息，获取切线特征信息；通过输出层输出切线特征信息。
本公开实施例提供的图像处理装置，可用于执行上述方法实施例中终端上设备的步骤，其实现原理和技术效果类似，本实施例此处不再赘述。
为了实现上述实施例，本公开实施例还提供了一种电子设备。
参考图10，其示出了适于用来实现本公开实施例的电子设备1000的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(Read Only Memory，简称ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(Random Access Memory，简称RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。应理解，处理装置1001可以执行如上图9所示的处理模块901执行的步骤。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008，以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。应理解，输出装置1007可以执行如上图9所示的输出模块902执行的步骤。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种图像处理方法，包括：获取待处理图像，所述待处理图像中包括目标对象；采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；输出所述光照渲染后的图像。
根据本公开的一个或多个实施例，所述特征模型具体用于：提取所述目标对象与所述法向特征信息相关的信息，以及所述目标对象与所述目标特征信息相关的信息；基于所述与所述法向特征信息相关的信息，获取所述法向特征信息；基于所述与所述法向特征信息相关的信息和与所述目标特征信息相关的信息，获取所述目标特征信息。
根据本公开的一个或多个实施例，所述采用特征模型，获取所述目标对象的法向特征信息和目标特征信息之前，还包括：对所述待处理图像进行预处理，得到处理后的图像，所述处理后的图像中除所述目标对象之外的像素点为预设值；所述采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，包括：将所述处理后的图像输入所述特征模型，得到所述法向特征信息和所述目标特征信息。
根据本公开的一个或多个实施例，所述对所述待处理图像进行预处理，得到处理后的图像，包括：基于所述待处理图像，获取所述目标对象的掩膜图像；基于所述掩膜图像，将所述待处理图像中除所述目标对象之外的像素点调整为所述预设值；所述将所述处理后的图像输入所述特征模型，包括：将所述掩膜图像和所述处理后的图像进行级联后输入至所述特征模型。
根据本公开的一个或多个实施例，所述对所述待处理图像中的目标对象进行光照渲染，包括：根据所述法向特征信息和所述目标特征信息，获取光照渲染模式；采用所述光照渲染模式对所述目标对象进行光照渲染。
根据本公开的一个或多个实施例，所述特征模型是以样本图像、所述样本图像中的样本对象的样本法向特征信息，以及所述样本对象的样本目标特征信息为样本数据训练得到的，所述样本目标特征信息包括样本深度特征信息和/或样本切线特征信息。
根据本公开的一个或多个实施例，所述法向特征信息为法向图，所述深度特征信息为深度图，所述切线特征信息为切线图；所述样本法向特征信息为样本法向图，所述样本深度特征信息为样本深度图，所述样本切线特征信息为样本切线图。
根据本公开的一个或多个实施例，训练过程中的特征模型为初始特征模型，所述初始特征模型中与所述初始特征模型输出的法向特征信息相关的模型参数是基于第一损失函数更新的，且所述第一损失函数是基于所述样本法向特征信息和所述初始特征模型输出的法向特征信息得到的。
根据本公开的一个或多个实施例，所述初始特征模型中与所述初始特征模型输出的深度特征信息相关的模型参数是基于第二损失函数更新的；其中，所述第二损失函数是基于所述样本深度特征信息和所述初始特征模型输出的深度特征信息得到的；和/或，所述第二损失函数是基于所述初始特征模型输出的深度特征信息得到的法向特征信息，以及所述样本法向特征信息得到的。
根据本公开的一个或多个实施例，所述初始特征模型中与所述初始特征模型输出的切线特征信息相关的模型参数是基于第三损失函数更新的；其中，所述第三损失函数是基于所述初始特征模型输出的切线特征信息和所述初始特征模型输出的法向特征信息得到的；和/或，所述样本数据中还包括：所述样本对象的目标部分的样本切线特征信息和所述目标部分的掩膜图像，所述目标部分具备各向异性，所述第三损失函数是基于所述目标部分的样本特征信息、所述目标部分的掩膜图像和所述初始特征模型输出的切线特征信息得到的。
根据本公开的一个或多个实施例，特征模型包括：输入层、隐含层和输出层；输入层，用于向隐含层输入待处理图像；隐含层，用于：基于待处理图像，获取法向特征信息和目标特征信息；通过输出层输出法向特征信息和目标特征信息。
根据本公开的一个或多个实施例，隐含层包括：法向特征提取块和目标特征提取块；法向特征提取块，用于：提取待处理图像的目标对象中与法向特征信息相关的信息；基于与法向特征信息相关的信息，获取法向特征信息；通过输出层输出法向特征信息，且向目标特征提取块输出与法向特征信息相关的信息。
目标特征提取块，用于：提取待处理图像的目标对象中与目标特征信息相关的信息；基于与目标特征信息相关的信息和与法向特征信息相关的信息，获取目标特征信息；通过输出层输出目标特征信息。
根据本公开的一个或多个实施例，目标特征提取块包括：深度特征提取块和切线特征提取块。深度特征提取块，用于：提取待处理图像的目标对象中与深度特征信息相关的信息；基于与深度特征信息相关的信息和与法向特征信息相关的信息，获取深度特征信息；通过输出层输出深度特征信息。
切线特征提取块，用于：提取待处理图像的目标对象中与切线特征信息相关的信息；基于与切线特征信息相关的信息和与法向特征信息相关的信息，获取切线特征信息；通过输出层输出切线特征信息。
第二方面，根据本公开的一个或多个实施例，提供了一种图像处理装置，包括：处理模块，用于获取待处理图像，所述待处理图像中包括目标对象；采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像。
输出模块，用于输出所述光照渲染后的图像。
根据本公开的一个或多个实施例，所述特征模型具体用于：提取所述目标对象与所述法向特征信息相关的信息，以及所述目标对象与所述目标特征信息相关的信息；基于所述与所述法向特征信息相关的信息，获取所述法向特征信息；基于所述与所述法向特征信息相关的信息和与所述目标特征信息相关的信息，获取所述目标特征信息。
根据本公开的一个或多个实施例，处理模块，还用于对所述待处理图像进行预处理，得到处理后的图像，所述处理后的图像中除所述目标对象之外的像素点为预设值；将所述处理后的图像输入所述特征模型，得到所述法向特征信息和所述目标特征信息。
根据本公开的一个或多个实施例，处理模块，具体用于基于所述待处理图像，获取所述目标对象的掩膜图像；基于所述掩膜图像，将所述待处理图像中除所述目标对象之外的像素点调整为所述预设值；将所述掩膜图像和所述处理后的图像进行级联后输入至所述特征模型。
根据本公开的一个或多个实施例，处理模块，具体用于根据所述法向特征信息和所述目标特征信息，获取光照渲染模式；采用所述光照渲染模式对所述目标对象进行光照渲染。
根据本公开的一个或多个实施例，所述特征模型是以样本图像、所述样本图像中的样本对象的样本法向特征信息，以及所述样本对象的样本目标特征信息为样本数据训练得到的，所述样本目标特征信息包括样本深度特征信息和/或样本切线特征信息。
根据本公开的一个或多个实施例，所述法向特征信息为法向图，所述深度特征信息为深度图，所述切线特征信息为切线图；所述样本法向特征信息为样本法向图，所述样本深度特征信息为样本深度图，所述样本切线特征信息为样本切线图。
根据本公开的一个或多个实施例，训练过程中的特征模型为初始特征模型，所述初始特征模型中与所述初始特征模型输出的法向特征信息相关的模型参数是基于第一损失函数更新的，且所述第一损失函数是基于所述样本法向特征信息和所述初始特征模型输出的法向特征信息得到的。
根据本公开的一个或多个实施例，所述初始特征模型中与所述初始特征模型输出的深度特征信息相关的模型参数是基于第二损失函数更新的；其中，所述第二损失函数是基于所述样本深度特征信息和所述初始特征模型输出的深度特征信息得到的；和/或，所述第二损失函数是基于所述初始特征模型输出的深度特征信息得到的法向特征信息，以及所述样本法向特征信息得到的。
根据本公开的一个或多个实施例，所述初始特征模型中与所述初始特征模型输出的切线特征信息相关的模型参数是基于第三损失函数更新的；其中，所述第三损失函数是基于所述初始特征模型输出的切线特征信息和所述初始特征模型输出的法向特征信息得到的；和/或，所述样本数据中还包括：所述样本对象的目标部分的样本切线特征信息和所述目标部分的掩膜图像，所述目标部分具备各向异性，所述第三损失函数是基于所述目标部分的样本特征信息、所述目标部分的掩膜图像和所述初始特征模型输出的切线特征信息得到的。
根据本公开的一个或多个实施例，特征模型包括：输入层、隐含层和输出层；输入层，用于向隐含层输入待处理图像；隐含层，用于：基于待处理图像，获取法向特征信息和目标特征信息；通过输出层输出法向特征信息和目标特征信息。
根据本公开的一个或多个实施例，隐含层包括：法向特征提取块和目标特征提取块；法向特征提取块，用于：提取待处理图像的目标对象中与法向特征信息相关的信息；基于与法向特征信息相关的信息，获取法向特征信息；通过输出层输出法向特征信息，且向目标特征提取块输出与法向特征信息相关的信息。
目标特征提取块，用于：提取待处理图像的目标对象中与目标特征信息相关的信息；基于与目标特征信息相关的信息和与法向特征信息相关的信息，获取目标特征信息；通过输出层输出目标特征信息。
根据本公开的一个或多个实施例，目标特征提取块包括：深度特征提取块和切线特征提取块。深度特征提取块，用于：提取待处理图像的目标对象中与深度特征信息相关的信息；基于与深度特征信息相关的信息和与法向特征信息相关的信息，获取深度特征信息；通过输出层输出深度特征信息。
切线特征提取块，用于：提取待处理图像的目标对象中与切线特征信息相关的信息；基于与切线特征信息相关的信息和与法向特征信息相关的信息，获取切线特征信息；通过输出层输出切线特征信息。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：处理器和存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像中包括目标对象；
采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；
基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；
输出所述光照渲染后的图像。
2.根据权利要求1所述的方法，其特征在于，所述特征模型具体用于：
提取所述目标对象与所述法向特征信息相关的信息，以及所述目标对象与所述目标特征信息相关的信息；
基于所述与所述法向特征信息相关的信息，获取所述法向特征信息；
基于所述与所述法向特征信息相关的信息和与所述目标特征信息相关的信息，获取所述目标特征信息。
3.根据权利要求1所述的方法，其特征在于，所述采用特征模型，获取所述目标对象的法向特征信息和目标特征信息之前，还包括：
对所述待处理图像进行预处理，得到处理后的图像，所述处理后的图像中除所述目标对象之外的像素点为预设值；
所述采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，包括：
将所述处理后的图像输入所述特征模型，得到所述法向特征信息和所述目标特征信息。
4.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行预处理，得到处理后的图像，包括：
基于所述待处理图像，获取所述目标对象的掩膜图像；
基于所述掩膜图像，将所述待处理图像中除所述目标对象之外的像素点调整为所述预设值；
所述将所述处理后的图像输入所述特征模型，包括：
将所述掩膜图像和所述处理后的图像进行级联后输入至所述特征模型。
5.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像中的目标对象进行光照渲染，包括：
根据所述法向特征信息和所述目标特征信息，获取光照渲染模式；
采用所述光照渲染模式对所述目标对象进行光照渲染。
6.根据权利要求1-5中任一项所述的方法，其特征在于，
所述特征模型是以样本图像、所述样本图像中的样本对象的样本法向特征信息，以及所述样本对象的样本目标特征信息为样本数据训练得到的，所述样本目标特征信息包括样本深度特征信息和/或样本切线特征信息。
7.根据权利要求6所述的方法，其特征在于，所述法向特征信息包括法向图，所述深度特征信息包括深度图，所述切线特征信息包括切线图；所述样本法向特征信息包括样本法向图，所述样本深度特征信息包括样本深度图，所述样本切线特征信息包括样本切线图。
8.根据权利要求6所述的方法，其特征在于，训练过程中的特征模型为初始特征模型，所述初始特征模型中与所述初始特征模型输出的法向特征信息相关的模型参数是基于第一损失函数更新的，且所述第一损失函数是基于所述样本法向特征信息和所述初始特征模型输出的法向特征信息得到的。
9.根据权利要求8所述的方法，其特征在于，所述初始特征模型中与所述初始特征模型输出的深度特征信息相关的模型参数是基于第二损失函数更新的；
其中，所述第二损失函数是基于所述样本深度特征信息和所述初始特征模型输出的深度特征信息得到的；和/或，
所述第二损失函数是基于所述初始特征模型输出的深度特征信息得到的法向特征信息，以及所述样本法向特征信息得到的。
10.根据权利要求8或9所述的方法，其特征在于，所述初始特征模型中与所述初始特征模型输出的切线特征信息相关的模型参数是基于第三损失函数更新的；
其中，所述第三损失函数是基于所述初始特征模型输出的切线特征信息和所述初始特征模型输出的法向特征信息得到的；和/或，
所述样本数据中还包括：所述样本对象的目标部分的样本切线特征信息和所述目标部分的掩膜图像，所述目标部分具备各向异性，所述第三损失函数是基于所述目标部分的样本特征信息、所述目标部分的掩膜图像和所述初始特征模型输出的切线特征信息得到的。
11.根据权利要求2所述的方法，其特征在于，所述特征模型包括：输入层、隐含层和输出层；
所述输入层，用于向所述隐含层输入所述待处理图像；
所述隐含层，用于：
基于所述待处理图像，获取所述法向特征信息和所述目标特征信息；
通过所述输出层输出所述法向特征信息和所述目标特征信息。
12.根据权利要求11所述的方法，其特征在于，所述隐含层包括：法向特征提取块和目标特征提取块；
所述法向特征提取块，用于：
提取所述待处理图像的所述目标对象中与法向特征信息相关的信息；
基于所述与法向特征信息相关的信息，获取所述法向特征信息；
通过所述输出层输出所述法向特征信息，且向所述目标特征提取块输出所述与法向特征信息相关的信息；
所述目标特征提取块，用于：
提取所述待处理图像的所述目标对象中与目标特征信息相关的信息；
基于所述与目标特征信息相关的信息和所述与法向特征信息相关的信息，获取所述目标特征信息；
通过所述输出层输出所述目标特征信息。
13.根据权利要求12所述的方法，其特征在于，所述目标特征提取块包括：深度特征提取块和切线特征提取块；
所述深度特征提取块，用于：
提取所述待处理图像的所述目标对象中与深度特征信息相关的信息；
基于所述与深度特征信息相关的信息和所述与法向特征信息相关的信息，获取所述深度特征信息；
通过所述输出层输出所述深度特征信息；
所述切线特征提取块，用于：
提取所述待处理图像的所述目标对象中与切线特征信息相关的信息；
基于所述与切线特征信息相关的信息和所述与法向特征信息相关的信息，获取所述切线特征信息；
通过所述输出层输出所述切线特征信息。
14.一种图像处理装置，其特征在于，包括：
处理模块，用于获取待处理图像，所述待处理图像中包括目标对象；采用特征模型，获取所述目标对象的法向特征信息和目标特征信息，所述目标特征信息包括：深度特征信息和/或切线特征信息；基于所述法向特征信息和所述目标特征信息，对所述待处理图像中的目标对象进行光照渲染，得到光照渲染后的图像；
输出模块，用于输出所述光照渲染后的图像。
15.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1-13中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-13中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，实现权利要求1-13中任一项所述的方法。
CN202110468921.0A 2021-04-28 2021-04-28 图像处理方法、装置、电子设备以及可读存储介质 Pending CN115249215A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110468921.0A CN115249215A (zh) 2021-04-28 2021-04-28 图像处理方法、装置、电子设备以及可读存储介质
PCT/CN2022/083822 WO2022227996A1 (zh) 2021-04-28 2022-03-29 图像处理方法、装置、电子设备以及可读存储介质
US18/551,392 US20240177409A1 (en) 2021-04-28 2022-03-29 Image processing method and apparatus, electronic device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110468921.0A CN115249215A (zh) 2021-04-28 2021-04-28 图像处理方法、装置、电子设备以及可读存储介质

Publications (1)

Publication Number Publication Date
CN115249215A true CN115249215A (zh) 2022-10-28

Family

ID=83697414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468921.0A Pending CN115249215A (zh) 2021-04-28 2021-04-28 图像处理方法、装置、电子设备以及可读存储介质

Country Status (3)

Country Link
US (1) US20240177409A1 (zh)
CN (1) CN115249215A (zh)
WO (1) WO2022227996A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439616B (zh) * 2022-11-07 2023-02-14 成都索贝数码科技股份有限公司 基于多对象图像α叠加的异构对象表征方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US9905045B1 (en) * 2014-03-27 2018-02-27 Pixar Statistical hair scattering model
CN111833430B (zh) * 2019-04-10 2023-06-16 上海科技大学 基于神经网络的光照数据预测方法、***、终端及介质
CN110570503B (zh) * 2019-09-03 2021-04-16 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
CN110853128B (zh) * 2019-11-12 2023-03-21 腾讯科技（深圳）有限公司 虚拟物体显示方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20240177409A1 (en) 2024-05-30
WO2022227996A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
CN110062176B (zh) 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN112073748B (zh) 全景视频的处理方法、装置及存储介质
CN112637517B (zh) 视频处理方法、装置、电子设备及存储介质
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
CN113689372B (zh) 图像处理方法、设备、存储介质及程序产品
CN114677386A (zh) 特效图像处理方法、装置、电子设备及存储介质
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
CN115375536A (zh) 图像处理方法及设备
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
CN114881901A (zh) 视频合成方法、装置、设备、介质及产品
CN114782659A (zh) 图像处理方法、装置、设备及存储介质
CN114331823A (zh) 图像处理方法、装置、电子设备及存储介质
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN112906553B (zh) 图像处理方法、装置、设备及介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN115249215A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113963000B (zh) 图像分割方法、装置、电子设备及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination