CN115272574A - 图像处理方法及其装置 - Google Patents

图像处理方法及其装置 Download PDF

Info

Publication number
CN115272574A
CN115272574A CN202210896910.7A CN202210896910A CN115272574A CN 115272574 A CN115272574 A CN 115272574A CN 202210896910 A CN202210896910 A CN 202210896910A CN 115272574 A CN115272574 A CN 115272574A
Authority
CN
China
Prior art keywords
information
image
posture information
posture
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210896910.7A
Other languages
English (en)
Inventor
李泽
姜靖翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210896910.7A priority Critical patent/CN115272574A/zh
Publication of CN115272574A publication Critical patent/CN115272574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像处理方法及其装置，属于通信技术领域。方法包括：获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。

Description

图像处理方法及其装置
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。
背景技术
三维(3 Dimensions，3D)人脸重建技术能够还原二维(2 Dimensions，2D)人脸图像中人脸的三维形状，在动画制作、网络游戏等领域具有较高的应用价值，具有广泛的应用前景。
目前，电子设备在光照正常、无遮挡和无大角度快速运动的正常场景下重建的3D人脸可以做到较高的重建精度，但是在暗光、遮挡、大角度运动等极端场景重建的3D人脸，极易出现重建精度下降、点位不准、飘飞的情况。可见，现有电子设备的三维重建的可靠性较低。
发明内容
本申请实施例的目的是提供一种图像处理方法及其装置，能够解决现有技术中电子设备在三维重建时可靠性较低的问题。
第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，该方法包括：
获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，包括：
第一获取模块，用于获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
第二获取模块，用于获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
第一生成模块，用于根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，获取包括第一对象的第一区域的第一图像之后，可以获取佩戴在第一拍摄对象的第二部位的第一设备采集到的第一拍摄对象的第一部位在第一时刻的姿态信息，并基于该姿态信息对第一部位进行三维重建，得到三维重建后的第一部位的第二图像，其中，第一对象为第一拍摄对象在第一图像中的成像，第一区域为第一部位在第一图像中的成像区域，第一时刻为第一图像的采集时刻。可见，本申请实施例可以凭借佩戴在拍摄对象的第二部位的第一设备所采集的第一部位的第一姿态信息，对拍摄对象的第一部位进行三维重建。由于第一部位的姿态信息由佩戴在拍摄对象上的设备采集，可以不受图像采集场景的限制，保证第一部位的姿态信息的获取准确性，从而可以提高三维重建的可靠性。
附图说明
图1是本申请实施例提供的图像处理方法流程图之一；
图2是本申请实施例提供的姿态信息的示意图；
图3是本申请实施例提供的图像采集场景的示意图；
图4a是本申请实施例提供的图像处理算法的示意图之一；
图4b是本申请实施例提供的图像处理算法的示意图之二；
图5是本申请实施例提供的图像处理方法流程图之二；
图6a是本申请实施例提供的第一图像的示意图；
图6b是本申请实施例提供的第一区域的示意图；
图7是本申请实施例提供的图像处理效果的示意图之一；
图8a是本申请实施例提供的图像处理效果的示意图之二；
图8b是本申请实施例提供的图像处理效果的示意图之三；
图9是本申请实施例提供的图像处理装置的结构图；
图10是本申请实施例提供的电子设备的结构图之一；
图11是本申请实施例提供的电子设备的结构图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
随着增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术的发展，目前的图像处理开始从2D向3D发展，在电子设备，尤其是手机上，三维人脸重建就是这一发展趋势中的一项重要技术。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图1是本申请实施例提供的图像处理方法的流程示意图之一。本申请实施例的图像处理方法可以应用于电子设备，或，由电子设备执行。在实际应用中，电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级被用户握持个人计算机(Ultra-Mobile Personal Computer，UMPC)、被用户握持上网装置(MobileInternet Device，MID)、增强现实(Augmented Reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(VUE)、行人终端(PUE)等。
如图1所示，图像处理方法可以包括以下步骤：
步骤101、获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域。
在本申请实施例中，所述第一图像可以为电子设备的图像采集装置采集得到的包括第一拍摄对象的第一部位的任一图像。一种实现方式中，所述第一图像可以为图像采集装置工作在拍照模式下拍摄得到的图像；另一种实现方式中，所述第一图像可以为图像采集装置工作在录像模式下拍摄得到的图像，此时，第一图像可以为录制的视频中的任一图像帧。
可选地，所述第一图像可以包括至少一个对象，所述第一对象可以为所述第一图像中的任一对象，即对于第一图像中的任一对象，均可以采用本申请实施例的图像处理方法，对其对应的第一部位进行三维重建。在实际应用中，第一对象可以由电子设备随机确定或由用户自主选择确定。
所述第一对象可以包括至少一个区域，如：人脸区域、身体区域(进一步可以划分为手部区域、腿部区域)等。所述第一区域可以为所述第一对象中的任一区域，即对于第一对象中的任一区域，均可以采用本申请实施例的图像处理方法，对其对应的部位进行三维重建。在实际应用中，第一区域可以由电子设备随机确定或由用户自主选择确定。可以理解地是，在第一区域为人脸区域的情况下，第一部位为人脸部位；在第一区域为手部区域的情况下，所述第一部位为手部。
步骤102、获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻。
在本申请实施例中，第一设备佩戴在第一拍摄对象的第二部位，可以采集第一拍摄对象的第一部位的姿态信息(或称为空间信息、空间角度信息)，即第一设备佩戴在第一拍摄对象的第二部位，但其采集到的姿态信息适用于第一部位。具体地，第一设备可以通过自身携带的陀螺仪或其他可采集姿态信息的元件，采集第一部位的姿态信息。
为使得第一设备采集到的姿态信息适用于第一部位，一种实现方式中，第二部位与第一部位可以为同一部位，如：在第一部位为手部(或腿部)的情况下，第一设备可以为佩戴在手部(或腿部)且携带有陀螺仪的可穿戴设备。另一种实现方式中，第二部位的运动姿态与第一部位的运动姿态相同或相近，如：在第一部位为人脸部位的情况下，第一设备可以为佩戴在耳朵且携带有陀螺仪的耳机或眼镜等。
在本申请实施例中，第一设备和电子设备可以进行通信，第一设备为与电子设备有线或无线连接的外设。第一设备在采集到第一部位的姿态信息之后，可以将其传输至电子设备，以使电子设备根据接收到的第一部位的姿态信息，对第一部位进行三维重建。
进一步地，第一设备在传输姿态信息时，可以同时传输各姿态信息对应的时间戳。这样，电子设备可以利用姿态信息对应的时间戳，确定并利用第一部位在图像的采集时刻的真实姿态信息对图像的第一部位进行三维重建，从而可以提高三维重建的准确度。
本申请实施例并不限定姿态信息的具体表现形式，具体可根据实际需求设定。一种实现方式中，如图2所示，姿态信息可以表现为空间旋转角(或称为旋转欧拉角)，具体可以包括：围绕X轴旋转的俯仰角(pitch)，围绕Y轴旋转的偏航角(yaw)，围绕Z轴旋转的翻滚角(roll)。
在一些实施例中，可以直接将第一设备采集到的某时刻的空间角度确定为第一部位在该时刻的空间旋转角。在另一些实施例中，可以将陀螺仪采集到的某时刻的空间角度与参考空间角度的差值，作为第一部位在该时刻的空间旋转角。如：在所述第一姿态信息R’可以表现为第一部位在第一时刻的旋转欧拉角Rt的情况下，可以通过公式(1)计算得到：
Rt＝R′t-R′t-1 (1)
其中，Rt’表示第一部位在第一时刻的空间角度，由第一设备采集得到；Rt-1’表示第一部位的参考空间角度。在第一图像为视频中的图像帧的情况下，参考空间角度可以为第一部位在第一图像的上一个图像帧的采集时刻的空间角度，由第一设备采集得到；在第一图像不为视频中的图像帧的情况下，参考空间角度可以设置为零，即可以将第一部位在第一时刻的空间角度确定为第一部位在第一时刻的空间旋转角度。
步骤103、根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
具体实现时，电子设备可以先基于目标信息重建第一部位的3D形状Swhole，其中，所述目标信息至少包括第一部位的形状信息，进一步地，在第一部位为人脸的情况下，所述目标信息还可以包括人脸的表情信息。一种实现方式中，目标信息可以将第一区域输入至第一模型，回归得到；另一种实现方式中，目标信息可以为预先获取的参考信息，具体可参见下述相关描述，此处不作描述。
之后，可以利用所述第一姿态信息对Swhole进行位置旋转，得到三维重建后的第一部位Sfinal。
上述三维重建与相关技术的三维重建的区别主要在于：进行三维重建的姿态信息不同，本申请实施例使用的是佩戴在拍摄对象的第二部位的第一设备所采集的第一部位的姿态信息，其他实现可参考相关技术，此处不作描述。
本申请实施例的图像处理方法，获取包括第一对象的第一区域的第一图像之后，可以获取佩戴在第一拍摄对象的第二部位的第一设备采集到的第一拍摄对象的第一部位在第一时刻的姿态信息，并基于该姿态信息对第一部位进行三维重建，得到三维重建后的第一部位的第二图像，其中，第一对象为第一拍摄对象在第一图像中的成像，第一区域为第一部位在第一图像中的成像区域，第一时刻为第一图像的采集时刻。可见，本申请实施例可以凭借佩戴在拍摄对象的第二部位的第一设备所采集的第一部位的第一姿态信息，对拍摄对象的第一部位进行三维重建。由于第一部位的姿态信息由佩戴在拍摄对象上的设备采集，可以不受图像采集场景的限制，保证第一部位的姿态信息的获取准确性，从而可以提高三维重建的可靠性。
在实际应用中，电子设备在采集第一图像时，一种场景中，电子设备可能是固定位置摆放，示例性的，如图3所述，电子设备架设在支撑体上，在图3中，电子设备为手机，第一部位为人脸，第一设备为耳机，但并不因此限制电子设备、第一部位和第一设备的表现形式。在此场景中，电子设备可以直接根据所述第一姿态信息对所述第一部位进行三维重建。
另一种场景中，电子设备可能被用户握持，如：被某拍摄对象握持，或，被拍摄者握持。在此场景中，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，可以包括：
在所述电子设备被用户握持的情况下，获取所述电子设备在所述第一时刻采的第二姿态信息；
确定所述第一姿态信息和所述第二姿态信息之间的第一差值信息；
根据所述第一差值信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在此场景中，由于电子设备被用户握持，电子设备的姿态信息在图像采集过程中可能会发生变化，因此，可以通过计算电子设备在所述第一时刻的第二姿态信息和所述第一姿态信息之间的差值信息，来获取第一部位在第一时刻的真实姿态信息，即上述第一差值信息为第一部位在第一时刻的真实姿态信息。之后，可以利用所述第一差值信息重建3D第一部位。这样，可以提高3D第一部位重建的可靠性。
需要说明的是，本申请实施例的图像处理方法可以适用于光照条件正常、第一部位无遮挡和第一部位无大角度快速运动的正常拍摄场景，也可以适用于光照条件异常(如存在暗光或亮光)、第一部位遮挡、第一部位存在大角度运动的极端拍摄场景(以下称为目标拍摄场景)。
在一些实施例中，电子设备可以不关注当前的拍摄场景，直接通过本申请实施例的图像处理方法进行三维重建。
在另一些实施例中，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，可以包括：
在满足第一条件的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像；
其中，满足所述第一条件表征：所述电子设备处于目标拍摄场景。
在本实施例中，电子设备可以关注当前的拍摄场景，并根据不同的拍摄场景采用不同的方式进行三维重建。
在当前的拍摄场景为正常拍摄场景的情况下，可以通过相关技术中的三维重建算法进行三维重建。以人脸三维重建为例，一种方式中，算法预测3D人脸对应每个点的3D空间坐标，为方便理解，请参见图4a，如图4a所示，可以将人脸区域的红绿蓝色彩模式(redgreen blue，rgb)图像输入至神经网络回归器，得到人脸三维坐标(数据量几千到上万)，即此神经网络回归器的输出为人脸三维坐标，之后，基于人脸三维坐标重建得到3D人脸。另一种方式中，算法回归出人脸的基模型系数，如形状系数(也可以称为形状参数)、表情系数(也可以称为表情参数)、位姿系数(也可以称为位姿参数)等，然后通过一个预定义模型计算出最终的3D空间坐标，为方便理解，可参见图4b，如图4b所示，可以将人脸区域的rgb图像输入至神经网络回归器，得到基模型系数(数据量几十到数百)，即此神经网络回归器的输出为基模型系数，之后，结合基模型系数和预定义模型重建得到3D人脸，其中，预定义模型可以理解为基模型数据库，基模型可以包括形状基和表情基。具体实现时，可以将基模型系数与相应地基模型相乘，重建得到3D人脸。
在当前的拍摄场景为目标拍摄场景的情况下，可以采用本申请实施例的图像处理方法进行三维重建。
这样，在正常拍摄场景中，电子设备无需获取第一设备采集的姿态信息，可以与第一设备断开连接，从而可以节约电子设备的耗电量。
在本申请实施例中，可以通过多种方式确定所述电子设备是否处于目标拍摄场景。
在一些实施例中，电子设备可以通过比较连续两帧的信息，来确定电子设备是否处于目标拍摄场景，如：若连续两帧中第一部位的形状变化值超过阈值，说明第一部位存在大角度运动，可以确定电子设备处于目标拍摄场景。或者，电子设备可以通过遮挡检测算法识别第一部位是否存在遮挡，来确定电子设备是否处于目标拍摄场景。或者，电子设备可以识别图像采集环境中的亮度值是否在预设范围内，来确定光照条件是否正常，进而确定电子设备是否处于目标拍摄场景。或者，电子设备可以基于用户自定义的拍摄场景，来确定电子设备是否处于目标拍摄场景。
在另一些实施例中，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像之前，方法还可以包括：
a1、将所述第一区域输入第一模型，回归得到所述第一部位在所述第一时刻的第三姿态信息；
a2、确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息，其中，所述目标姿态信息与所述第一姿态信息相关；
所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：
在所述第二差值信息大于阈值信息的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在本申请实施例中，电子设备在获取到所述第一图像之后，可通过区域检测算法检测到所述第一图像中各对象的第一区域，并将第一区域裁剪出来。
电子设备可以通过将第一区域输入第一模型，利用第一模型回归得到第一部位在第一时刻的姿态信息，即第三姿态信息。第一模型可以为图4b中的神经网络回归器，但不仅限于此。
所述目标姿态信息表示所述第一部位在所述第一时刻的真实姿态信息。所述目标姿态信息与所述第一姿态信息相关，具体可以表现为：所述目标姿态信息为所述第一姿态信息，或，所述目标姿态信息基于所述第一姿态信息确定。
在一种可选实现方式中，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之前，方法还可以包括以下至少一项：
b1、在所述电子设备固定位置摆放的情况下，将所述第一姿态信息确定为所述目标姿态信息；
b2、在所述电子设备被用户握持的情况下，将第一差值信息确定为所述目标姿态信息，其中，所述第一差值信息为所述电子设备在所述第一时刻采的第二姿态信息与所述第一姿态信息之间的差值信息。
即在所述电子设备固定位置摆放的情况下，直接将第一设备在第一时刻采集到的第一姿态信息作为第一部位在第一时刻的真实姿态信息。在所述电子设备被用户握持的情况下，将第一设备在第一时刻采集到的第一姿态信息和电子设备在第一时刻的第二姿态信息之间的差值信息，作为第一部位在第一时刻的真实姿态信息。这样，可以保证第一部位的真实姿态信息的确定可靠性。
电子设备在获取所述第三姿态信息和所述目标姿态信息之后，可以将两者的差值信息，即第二差值信息，与阈值信息进行比较，以确定第一模型的鲁棒性，进而确定电子设备所处拍摄场景。可以理解地是，第一模型的鲁棒性与电子设备所处的拍摄场景相关，具体地，在电子设备处于目标拍摄场景时，第一模型的鲁棒性较差；在电子设备处于正常拍摄场景时，第一模型的鲁棒性较好。
在第二差值信息大于阈值信息的情况下，可以确定第一模型的鲁棒性较差，电子设备处于目标拍摄场景，此情况下，电子设备可以基于所述目标姿态信息进行三维重建。
在第二差值信息小于阈值信息的情况下，可以确定第一模型的鲁棒性较好，电子设备处于正常拍摄场景，此情况下，电子设备可以基于所述第三姿态信息进行三维重建。
可见，在实施例中，可以通过计算第一模型基于第一区域回归得到的第一部位在第一时刻的第三姿态信息，与可以反映第一部位在所述第一时刻的真实姿态信息的目标姿态信息之间的差值信息，将该差值信息与阈值信息进行比较，确定电子设备所处的拍摄场景，可以使得确定的拍摄场景与实际拍摄场景相符，进而可以选择合适的方式进行三维重建，提高三维重建的可靠性。
在一些实施例中，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之后，方法还可以包括：
c1、在所述第二差值信息小于或等于所述阈值信息的情况下，获取所述第一设备的置信度权重；
c2、根据所述置信度权重和所述第一姿态信息，对所述第三姿态信息进行调整，得到第四姿态信息；
c3、根据所述第四姿态信息对所述第一区域进行三维重建，生成包括三维重建后的所述第一区域的第三图像。
在本实施例中，在正常拍摄场景下，可以利用基于第一设备确定的第一部位在第一时刻的真实姿态信息，对第一模型回归得到的第三姿态信息进行微调，进一步提升三维重建的可靠性。
具体实现时，一种可选实现方式中，可以通过公式(2)计算得到第四姿态信息：
R＝(1-w)*R+w*R′ (2)
其中，等式左边的R表示第四姿态信息，等式右边的R表示第三姿态信息，w表示第一电子设备的置信度权重，*表示乘号。即可以加权平均第三姿态信息和第一姿态信息，得到第四姿态信息。
另一种可选实现方式中，可以通过将第三姿态信息加或减所述置信度权重和所述第一姿态信息，得到第四姿态信息。
在本实施例中，可以利用基于第一设备确定的第一部位在第一时刻的真实姿态信息，辅助正常拍摄场景下的三维重建，从而可以进一步提升三维重建的可靠性。
在一些实施例中，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：
获取所述第一部位的参考形状信息；
根据所述第一姿态信息和所述参考形状信息，对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在本实施例中，为提高第一部位的三维形状的还原度，可以基于预先获取的质量较高的图像，获取所述第一部位的参考形状信息。质量较高的图像可以满足：第一部位的光照条件正常、第一部位无遮挡且无大角度运动。具体实现时，质量较高的图像可以为：视频的三维重建过程中选择的高质量图像帧，或用户预先准备的高质量图像。
这样，利用参考形状信息进行三维重建，可以使得三维重建得到的三维第一部位的形状与实际形状匹配，进而可以提高图像处理效果。
在其他实施例中，对第一部位进行重建所使用的形状信息可以基于第一区域确定，如：将第一区域输入第一模型，回归得到第一部位的形状信息，并利用该形状信息，对第一部位进行三维重建。
需要说明的是，本申请实施例中介绍的多种可选的实施例，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本申请实施例不作限定。
以下结合一具体应用例，对本申请实施例提供的信息存储方法进行说明。
为了便于理解上述实施例提供的图像处理方法，以下以一个具体的场景实施例对上述图像处理方法进行说明。图5为本申请实施例提供的图像处理方法的一个场景实施例流程示意图。
本场景实施例的应用场景可以为：利用手机厂商的硬件优势，结合使用者佩戴耳机中的陀螺仪采集到的空间角度信息，设计出针对遮挡、暗光、大角度运动或者上述多种情况共同存在的极端拍摄场景，进行实时、稳定、贴合性好的3D人脸视频重建，进一步地，可以利用该信息来辅助正常拍摄场景下的3D人脸视频重建。
本场景实施例的物理使用场景如图3所示，使用者佩带携带有陀螺仪的耳机，面对手机，手机架设在支撑体上，如果是手持，则需要计算耳机和手机的陀螺仪差值来获取使用者头部的空间信息。
如图5所示，该场景实施例可以具体包括以下步骤：
步骤1、获取参考形状基s’。
步骤2、获取图像帧。
在本场景实施例中，输入数据为视频单帧图像，也就是单张2D图像，如图6a所示。
步骤3、检测出图像帧中的人脸区域。
人脸检测算法检测到人脸位置，将人脸区域裁剪出来，如图6b所示。
步骤4、将人脸区域输入第一模型。
具体实现时，如图4b所示，将人脸区域的rgb图片输入图4b中的神经网络回归器。
步骤5、第一模型输出人脸的3D形状s，表情e和空间旋转角度R。
神经网络回归器可以计算出当前图片帧人脸的形状基s的系数α，表情基e的系数β和空间旋转角度R，其中形状基s代表人脸的形状，对于同一个人的视频流而言，这个形状在物理意义上是几乎不变的，因此，可以在重建过程中选择一帧质量较高的图片或者是用户实现准备的高质量图片来求取s，即图5中第1步获得的s’，作为备用形状基，利用s，e可以重建出人脸的3D形状，重建公式(3)如下：
Swhole＝∑αi*si+∑βi*ei (3)
其中，αi是数据库中第i个人脸的形状基的系数，si是数据库中第i个人脸的形状基，βi是数据库中第i个人脸的表情基的系数，ei是数据库中第i个人脸的表情基，Swhole是所求的3D空间坐标。
然后结合空间旋转参数R和进行位置旋转，可以得到最终的空间姿态Sfinal，计算公式(4)如下：
Sfinal＝R*Swhole (4)
步骤6、耳机陀螺仪输出人脸空间旋转角度R’。
耳机陀螺仪在每一帧会传递有使用者的空间旋转角度R’，可以根据如下公式(5)计算得到：
Rt＝R′t-R′t-1 (5)
其中，R′t是当前帧角度；R′t-1是上一帧角度；Rt是当前帧的旋转欧拉角，对应于图5中的R’。
根据前后帧的差值来计算当前帧的旋转信息，这里如果是手持拍摄，则需要进一步获取手持相机中的陀螺仪参数，然后计算两者的相对值来获取拍摄者的真实信息，如果是脚架拍摄则没有影响。
步骤7、鲁棒性判断：R-R’是否小于f。
通过公式(6)计算神经网络回归器输出的R和陀螺仪提供的R’两者的差值e。
e＝R-R′ (6)
判断差值e与阈值f的大小，在e小于或等于f的情况下，执行步骤8；在e大于f的情况下，执行步骤9。
步骤8、用s，e，R重建人脸。
如果R-R’差值小于阈值f，认为神经网络回归器的鲁棒性较高，用神经网络回归器给出的s，e，R重建，此处的R可以根据陀螺仪给的R’进行小幅度微调，从而辅助提升质量。可以通过公式(7)微调：
R＝(1-w)*R+w*R′ (7)
其中，w是陀螺仪当前的置信度权重。
整体重建公式(8)和(9)如下：
Swhole＝∑αi*si+∑βi*ei (8)
Sfinal＝R*Swhole (9)
其中，αi是形状基的系数，si是形状基，βi是表情基的系数，ei是表情基，Swhole是所求的3D空间坐标，R为姿态参数。
步骤9、用s’，e，R’重建人脸。
如果R-R’差值大于阈值f，认为神经网络回归器的鲁棒性差，当画面中存在遮挡，大角度运动，暗光画质差时极易出现该状况，此时认为神经网络回归器预测的R和形状参数s都出现了偏差，故采用陀螺仪提供的R’和备用的s’进行重建，此时的e则复用上一帧的参数，重建公式(10)和(11)如下：
Swhole＝∑α′is′i+∑βi*ei (10)
Sfinal＝R′*Swhole (11)
其中，α′i是形状基的备用系数，s′i是备用形状基，∑α′isi′即为前述的参考形状信息；βi是表情基的系数，ei是表情基，Swhole是所求的3D空间坐标，R’为姿态参数。
如图7所示，在人脸有遮挡的情况下，采用了外部设备，即第一设备的陀螺仪参数辅助的左图的三维重建效果好于不辅助的右图的三维重建效果。如图8a所示，在极暗情况，即拍摄环境的亮度值低于亮度阈值的情况，其中，亮度阈值为正常拍摄场景下亮度的最低值，采用了第一设备的陀螺仪参数辅助的三维重建，也能保证三维重建的准确性。如图8b所示，在大角度运动时，采用了第一设备的陀螺仪辅助的右图三维重建效果好于不辅助的左图的三维重建效果。
本场景实施例中，结合使用者佩戴耳机中的陀螺仪以及手机陀螺仪的空间角度信息，来获得比只有单帧图片输入的算法场景鲁棒性更好的三维重建效果，可以提高三维重建的可靠性。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
参见图9，图像处理装置900可以包括：
第一获取模块901，用于获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
第二获取模块902，用于获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
第一生成模块903，用于根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在一些实施例中，所述第一生成模块，包括：
第一获取单元，用于在所述电子设备被用户握持的情况下，获取所述电子设备在所述第一时刻采的第二姿态信息；
确定单元，用于确定所述第一姿态信息和所述第二姿态信息之间的第一差值信息；
第一生成单元，用于根据所述第一差值信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在一些实施例中，所述装置还包括：
输入模块，用于将所述第一区域输入第一模型，回归得到所述第一部位在所述第一时刻的第三姿态信息；
第一确定模块，用于确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息，其中，所述目标姿态信息与所述第一姿态信息相关；
所述第一生成模块，具体用于在所述第二差值信息大于阈值信息的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
在一些实施例中，所述装置还包括第二确定模块，用于以下至少一项：
在所述电子设备固定位置摆放的情况下，将所述第一姿态信息确定为所述目标姿态信息；
在所述电子设备被用户握持的情况下，将第一差值信息确定为所述目标姿态信息，其中，所述第一差值信息为所述电子设备在所述第一时刻采的第二姿态信息与所述第一姿态信息之间的差值信息。
在一些实施例中，所述装置还包括：
第三获取模块，用于在所述第二差值信息小于或等于所述阈值信息的情况下，获取所述第一设备的置信度权重；
调整模块，用于根据所述置信度权重和所述第一姿态信息，对所述第三姿态信息进行调整，得到第四姿态信息；
第二生成模块，用于根据所述第四姿态信息对所述第一区域进行三维重建，生成包括三维重建后的所述第一区域的第三图像。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001和存储器1002，存储器1002上存储有可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1110，用于：
获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
本申请实施例提供的电子设备能够实现图1方法实施例实现的各个过程，为避免重复，这里不再赘述。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：
在电子设备被用户握持的情况下，获取所述电子设备在所述第一时刻采的第二姿态信息；
确定所述第一姿态信息和所述第二姿态信息之间的第一差值信息；
根据所述第一差值信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像之前，还包括：
将所述第一区域输入第一模型，回归得到所述第一部位在所述第一时刻的第三姿态信息；
确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息；
所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：
在所述第二差值信息大于阈值信息的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之前，还包括以下至少一项：
在所述电子设备固定位置摆放的情况下，将所述第一姿态信息确定为所述目标姿态信息；
在所述电子设备被用户握持的情况下，将第一差值信息确定为所述目标姿态信息，其中，所述第一差值信息为所述电子设备在所述第一时刻采的第二姿态信息与所述第一姿态信息之间的差值信息。
5.根据权利要求3所述的方法，其特征在于，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之后，还包括：
在所述第二差值信息小于或等于所述阈值信息的情况下，获取所述第一设备的置信度权重；
根据所述置信度权重和所述第一姿态信息，对所述第三姿态信息进行调整，得到第四姿态信息；
根据所述第四姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第三图像。
6.一种图像处理装置，应用于电子设备，其特征在于，包括：
第一获取模块，用于获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
第二获取模块，用于获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
第一生成模块，用于根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
7.根据权利要求6所述的装置，其特征在于，所述第一生成模块，包括：
第一获取单元，用于在所述电子设备被用户握持的情况下，获取所述电子设备在所述第一时刻采的第二姿态信息；
确定单元，用于确定所述第一姿态信息和所述第二姿态信息之间的第一差值信息；
第一生成单元，用于根据所述第一差值信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
8.根据权利要求6所述的装置，其特征在于，还包括：
输入模块，用于将所述第一区域输入第一模型，回归得到所述第一部位在所述第一时刻的第三姿态信息和目标信息，所述目标信息包括形状信息；
第一确定模块，用于确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息，其中，所述目标姿态信息与所述第一姿态信息相关；
所述第一生成模块，具体用于在所述第二差值信息大于阈值信息的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
9.根据权利要求8所述的装置，其特征在于，还包括第二确定模块，用于以下至少一项：
在所述电子设备固定位置摆放的情况下，将所述第一姿态信息确定为所述目标姿态信息；
在所述电子设备被用户握持的情况下，将第一差值信息确定为所述目标姿态信息，其中，所述第一差值信息为所述电子设备在所述第一时刻采的第二姿态信息与所述第一姿态信息之间的差值信息。
10.根据权利要求8所述的装置，其特征在于，还包括：
第三获取模块，用于在所述第二差值信息小于或等于所述阈值信息的情况下，获取所述第一设备的置信度权重；
调整模块，用于根据所述置信度权重和所述第一姿态信息，对所述第三姿态信息进行调整，得到第四姿态信息；
第二生成模块，用于根据所述第四姿态信息对所述第一区域进行三维重建，生成包括三维重建后的所述第一区域的第三图像。
CN202210896910.7A 2022-07-28 2022-07-28 图像处理方法及其装置 Pending CN115272574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210896910.7A CN115272574A (zh) 2022-07-28 2022-07-28 图像处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210896910.7A CN115272574A (zh) 2022-07-28 2022-07-28 图像处理方法及其装置

Publications (1)

Publication Number Publication Date
CN115272574A true CN115272574A (zh) 2022-11-01

Family

ID=83771582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210896910.7A Pending CN115272574A (zh) 2022-07-28 2022-07-28 图像处理方法及其装置

Country Status (1)

Country Link
CN (1) CN115272574A (zh)

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11436779B2 (en) Image processing method, electronic device, and storage medium
CN110310329B (zh) 操作显示设备的方法、信息处理***及非暂时性存储介质
TWI678099B (zh) 視頻處理方法、裝置和儲存介質
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
CN111985268A (zh) 一种人脸驱动动画的方法和装置
JP7101269B2 (ja) ポーズ補正
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN110796083A (zh) 图像显示方法、装置、终端及存储介质
CN112511743B (zh) 视频拍摄方法和装置
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115272574A (zh) 图像处理方法及其装置
CN115065827A (zh) 视频编码方法、装置、电子设备及介质
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路
CN114785957A (zh) 拍摄方法及其装置
WO2022011621A1 (zh) 一种人脸光照图像生成装置及方法
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN114049473A (zh) 图像处理方法及装置
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN112822398A (zh) 拍摄方法、装置和电子设备
CN115242981B (zh) 视频播放方法、视频播放装置和电子设备
CN114422736B (zh) 一种视频处理方法、电子设备及计算机存储介质
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
WO2024082965A1 (zh) 一种图像标注方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination