CN110796083B - 图像显示方法、装置、终端及存储介质 - Google Patents

图像显示方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110796083B
CN110796083B CN201911039786.7A CN201911039786A CN110796083B CN 110796083 B CN110796083 B CN 110796083B CN 201911039786 A CN201911039786 A CN 201911039786A CN 110796083 B CN110796083 B CN 110796083B
Authority
CN
China
Prior art keywords
face
dimensional model
dimensional
image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911039786.7A
Other languages
English (en)
Other versions
CN110796083A (zh
Inventor
曹玮剑
曹煊
赵艳丹
葛彦昊
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911039786.7A priority Critical patent/CN110796083B/zh
Publication of CN110796083A publication Critical patent/CN110796083A/zh
Application granted granted Critical
Publication of CN110796083B publication Critical patent/CN110796083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种图像显示方法、装置、终端及存储介质，属于多媒体技术领域。在本申请实施例提供的方案，通过目标图像对应的第二姿态参数和调整后的脸部三维模型，来确定至少一个第一投影点，并根据该至少一个第一投影点的坐标值，以实现在目标图像中显示三维图像，使得终端在实现三维图像的显示时，可以通过对脸部三维模型的调整，来得到符合目标图像的脸部三维模型，从而实现三维图像的显示。由于脸部三维模型的通用性高，且调整方便灵活，调整的结果较为准确，从而可以广泛的应用于三维图像的显示。

Description

图像显示方法、装置、终端及存储介质
技术领域
本申请涉及多媒体技术领域，特别涉及一种图像显示方法、装置、终端及存储介质。
背景技术
随着人脸配准技术的快速发展，目前已经在人脸识别、人脸美颜中进行了广泛的应用。人脸配准技术也可以称为人脸关键点定位技术，是指在给定一张包含人脸图像时，计算机设备可以自动的定位出人脸图像上具有特定语义的点，例如眼角、嘴角、鼻尖、眉毛、轮廓等。如今在以美颜、3D挂件为代表的一些应用场景，为了将3D挂件等三维图像准确的显示到人脸上，需要对于上述特定语义点以外的一些语义不明确的点进行定位，如脸颊、苹果肌、法令纹、眼袋等。
相关技术中的一种实现方式是采用几何估计的方法，来定位上述语义不明确的点，从而实现三维图像在人脸上的显示。具体的是通过一些统计学的规律，根据已有的特定语义点的坐标来估算出其他点的坐标。如额头点的位置在鼻底点与鼻梁点的连线上，且鼻梁点与额头点的间距是鼻梁点与鼻底点的间距的1.5倍，在已知鼻底点和鼻梁点的坐标的情况下，即可确定额头点的位置。
上述技术方案存在的问题是，对于每个待确定的点，需要针对该待确定的点设定计算规则，且该计算规则不具备通用性，对于不同的人或者同一个人的不同表情、姿态都需要设定对应的计算规则。通过上述分析可知，几何估计的方法局限性过高，导致该方法无法广泛的应用于三维图像的显示。
发明内容
本申请实施例提供了一种图像显示方法、装置、终端及存储介质，用于解决目前几何估计的方法局限性过高，导致该方法无法广泛的应用于三维图像的显示问题。所述技术方案如下：
一方面，提供了一种图像显示方法，包括：
根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
根据所述第二姿态参数，调整所述脸部三维模型；
根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；
根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。
另一方面，提供了一种图像显示装置，包括：
确定模块，被配置为根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
调整模块，被配置为根据所述第二姿态参数，调整所述脸部三维模型；
所述确定模块，还被配置为根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；
显示模块，被配置为根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。
在一种可能的实现方式中，所述调整模块，还被配置为根据所述第二姿态参数，调整所述脸部三维模型的姿态；根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系；基于所述第二对应关系，确定调整后的脸部三维模型。
在一种可能的实现方式中，所述脸部特征包括五官特征和轮廓特征；所述调整模块，还被配置为保持所述脸部三维模型中的三维坐标点与所述五官特征包括的二维坐标点的对应关系不变，按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点；将所述脸部三维模型中的多个三维坐标点按照所述预设的采样顺序与所述轮廓特征包括的二维坐标点进行对应，得到所述脸部特征和调整后的脸部三维模型的第二对应关系。
在一种可能的实现方式中，所述调整模块，还被配置为获取所述脸部三维模型中预设的至少一个平行线段；按照预设的采样顺序，从每个平行线段中选择一个位于所述脸部三维模型边界的坐标点与轮廓特征包括的二维坐标点相对应。
在一种可能的实现方式中，所述调整模块，还被配置为获取在所述目标图像的上一帧图像中确定脸部三维模型的第二特征参数和第二表情参数；
根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征的包括的二维坐标点相对应的三维坐标点的坐标值、所述第二特征参数以及所述第二表情参数，确定调整后的脸部三维模型对应的第一特征参数和第一表情参数。
在一种可能的实现方式中，所述装置还包括：
更新模块，被配置为根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及所述第一姿态参数，更新所述第二姿态参数；
所述调整模块，还被配置为根据跟更新后的第二姿态参数，调整所述脸部三维模型的姿态；
所述更新模块，还被配置为再次更新所述第二姿态参数，直到达到预设的停止更新条件。
在一种可能的实现方式中，所述显示模块，还被配置为获取待显示的三维图像；根据所述至少一个第一投影点的坐标值，将所述三维图像包括的至少一个图像点，依次显示在所述至少一个第一投影点上。
在一种可能的实现方式中，所述装置还包括：
追踪模块，被配置为对所述上一帧图像中包括的脸部特征的坐标点进行脸部跟踪；
所述确定模块，还被配置为根据所述脸部跟踪的结果，确定所述目标图像包括的脸部特征包括的二维坐标点。
在一种可能的实现方式中，所述装置还包括：
生成模块，被配置为根据预设的第三特征参数和第三表情参数，生成所述脸部三维模型；
所述确定模块，还被配置为根据首帧图像中包括的五官特征和所述脸部三维模型与所述五官特征的第三对应关系，确定所述首帧图像对应的第三姿态参数；
所述调整模块，还被配置为根据所述第三姿态参数，调整所述脸部三维模型；
所述确定模块，还被配置为根据所述第三姿态参数和调整后的脸部三维模型，确定所述首帧图像中包括的至少一个第二投影点的坐标值；
所述显示模块，还被配置为根据所述至少一个第二投影点的坐标值，将所述三维图像显示在所述首帧图像中。
在一种可能的实现方式中，所述装置还包括：
检测配准模块，被配置为对所述首帧图像进行脸部检测和脸部配准，确定所述首帧图像中包括的五官特征包括的至少一个二维坐标点。
在一种可能的实现方式中，所述调整模块，还被配置为根据所述第三姿态参数，调整所述脸部三维模型的姿态；获取所述首帧图像包括的轮廓特征，所述轮廓特征和所述五官特征构成所述脸部特征；从调整后的脸部三维模型中选择与所述轮廓特征包括的二维坐标点相对应的三维坐标点，得到所述首帧图像中脸部特征与脸部三维模型的第四对应关系；基于所述第四对应关系，调整所述脸部三维模型。
在一种可能的实现方式中，所述调整模块，还被配置为根据所述五官特征、所述轮廓特征以及所述第四对应关系，更新所述第三姿态参数；根据更新后的第三姿态参数，调整所述脸部三维模型的姿态；根据姿态调整后的脸部三维模型，更新所述第四对应关系；根据更新后的第四对应关系和更新后的第三姿态参数，确定调整后的脸部三维模型。
在上述任一种可能的实现方式中，所述至少一个第一投影点所覆盖的脸部区域与所述目标图像中包括的总脸部区域的比例大于目标比例阈值。
另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行以实现本申请实施例中的图像显示方法中所执行的操作。
另一方面，提供了一种存储介质，所述存储介质中存储有至少一段程序代码程序代码，所述至少一段程序代码用于执行本申请实施例中的图像显示方法。
本申请实施例提供的技术方案带来的有益效果是：
通过在处理目标图像时，根据目标图像中包括的脸部特征，结合上一帧图像中确定的脸部三维模型和脸部特征的对应关系以及上一帧图像对应的第一姿态参数，来确定目标图像对应的第二姿态参数。由于通过该第二姿态参数和根据该第二姿态参数调整后的脸部三维模型，来确定至少一个第一投影点，并根据该至少一个第一投影点的坐标值，来在目标图像中显示三维图像。使得终端在实现三维图像的显示时，可以通过对脸部三维模型的调整，来得到符合目标图像的脸部三维模型，从而实现三维图像的显示。由于脸部三维模型的通用性高，且调整方便灵活，调整的结果较为准确，从而可以广泛的应用于三维图像的显示。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像显示方法的实施环境的示意图；
图2是本申请实施例提供的一种图像显示方法的流程图；
图3是本申请实施例提供的一种五官特征包括的二维坐标点与脸部三维模型上的三维坐标点的示意图；
图4是本申请实施例提供的一种定义有若干组的平行线段的脸部三维模型的示意图；
图5是本申请实施例提供的一种稠密的二维坐标点的示意图；
图6是本申请实施例提供的一种显示三维图像的示意图；
图7是本申请实施例提供的另一种图像显示方法的流程图；
图8是本申请实施例提供的一种图像显示装置的框图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例主要涉及在二维图像上显示三维图像的场景，具体的，涉及的场景为：用户在使用用于图像美化的应用程序对图像进行处理时，可以在待处理的图像上添加一些三维图像，如3D(3Dimensions，三维)头饰、3D脸谱以及美妆等。上述三维图像可以随着待处理的图像中的对象的动作进行相应的调整，例如用户在待处理图像中包括的人脸上添加了一个3D的卡通帽子，当该人脸转动时，该3D的卡通帽子可以随着该人脸一起转动。
下面简单介绍一下本申请实施例提供的图像显示方法的主要流程，首先，获取当前帧图像也即目标图像包括的脸部特征、在处理上一帧图像时确定的脸部三维模型和脸部特征的对应关系以及上一帧图像对应的第一姿态参数，基于上述获取到的信息来确定目标图像对应的第二姿态参数。然后，根据上述第二姿态参数对上述脸部三维模型进行调整，即得到符合该目标图像的脸部三维模型，再然后，根据上述第二姿态参数和调整后的脸部三维模型，来确定目标图像中包括的至少一个投影点的坐标值，该至少一个投影点可以为稠密的投影点。最后，根据上述至少一个投影点的坐标值，对待显示的三维图像进行定位，将三维图像显示在目标图像上。
图1是本申请实施例提供的一种图像显示方法的实施环境的示意图，如图1所示，该实施环境中包括：终端110和服务器120。
终端110可以通过无线网络或有线网络与服务器120相连。终端110可以是智能手机、摄像机、台式计算机、平板电脑、MP4播放器和膝上型便携计算机中的至少一种。终端110安装和运行有用于图像处理功能的应用程序。该应用程序可以是图像处理类应用程序、视频处理类应用程序或者社交类应用程序等。示意性的，终端110可以是用户使用的终端，终端110运行的应用程序内登录有该用户的账号。
服务器120包括一台服务器、多台服务器和云计算平台中的至少一种。服务器120用于提供图像显示的后台服务。可选的服务器120承担主要的图像显示工作，终端110承担次要的图像显示工作；或者服务器120承担次要的图像显示工作，终端110承担主要的图像显示工作；或者，服务器120和终端110分别可以单独承担图像显示工作。
可选的，服务器120包括：接入服务器、图像显示服务器和数据库。接入服务器用于提供终端110的接入服务。图像显示服务器用于根据目标图像确定至少一个投影点。图像显示服务器可以是一台或多台，当图像显示服务器是多台时，存在至少两台图像显示服务器用于提供不同的服务，和/或，存在至少两台图像显示服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务或者以主服务器和镜像服务器的方式提供同一种服务，本申请实施例对此不加以限定。数据库用于存储用户上传的待处理的图像和待显示的三维图像。数据库存储的信息为用户已授权使用的信息。
终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端110可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端。本公开实施例对终端的数量和类型不加以限定。
图2是本申请实施例提供的一种图像显示方法的流程图，如图2所示，该方法包括以下步骤：
201、终端根据预设的第三特征参数和第三表情参数，生成脸部三维模型。
在本申请实施例中，特征参数用于表示特征维度的主成分的权重，表情参数用于表示表情维度的主成分的权重。其中，特征维度的主成分表示脸型的变化，如宽、窄、胖、瘦等。表情维度的主成分表示表情的变化，如张嘴、闭眼等。上述特征维度的主成分和表情维度的主成分均存在通用的数值。终端可以根据预设的第三特征参数和第三表情参数以及通用的特征维度的主成分和表情维度的主成分，对通用的平均人脸模型进行调整，从而生成脸部三维模型。其中，平均脸部三维模型可以通过模型训练得到，也可以直接获取已有的模型，本申请对此不进行具体限制。
在一种可选的实现方式中，终端在处理首帧图像时，或者在处理首帧图像之前，可以获取预设的第三特征参数和第三表情参数，也即特征参数和表情参数的初始值。然后获取平均脸部三维模型、特征维度的主成分以及表情维度的主成分的通用的数值。再然后终端可以基于公式(1)对上述获取到的数据进行计算，生成上述脸部三维模型。
Figure BDA0002252512650000081
其中，S表示脸部三维模型，
Figure BDA0002252512650000082
表示平均脸部三维模型，Aid表示特征维度的主成分，αid表示特征参数，Aexp表示表情维度的主成分，αexp表示表情参数。
在一种可选的实现方式中，终端可以对首帧图像进行脸部检测和脸部配准，通过脸部检测来确定该首帧图像中包括的五官特征包括的至少一个二维坐标点，通过脸部配准来建立该五官特征包括的二维坐标点与脸部三维模型上的三维坐标点的第三对应关系。该五官特征可以包括眼睛、耳朵、鼻子、嘴巴等，每个五官特征可以包括至少一个二维坐标点。
例如参见图3所示，图3是本申请实施例提供的一种五官特征包括的二维坐标点与脸部三维模型上的三维坐标点的示意图。每个二维坐标点在脸部三维模型上都有一个三维坐标点与之对应。
202、终端根据脸部三维模型与五官特征的第三对应关系以及首帧图像中包括的五官特征，确定该首帧图像对应的第三姿态参数。
在本申请实施例中，终端在处理首帧图像时，可以确定首帧图像中包括的五官特征包括的二维坐标点。终端还可以根据脸部三维模型与五官特征的第三对应关系，确定脸部三维模型上与上述五官特征包括的二维坐标点相对应的三维坐标点。终端基于上述五官特征包括的二维坐标点、脸部三维模型上与上述五官特征包括的二维坐标点相对应的三维坐标点以及第三对应关系，来求取第三姿态参数的最小值。由于脸部的姿态变化都是较小的变化，不会产生突变，因此上述第三姿态参数的最小值也是该第三姿态参数的最优解。
在一种可选的实现方式中，终端可以将上述得到的二维坐标点和三维坐标点的坐标值输入下述公式(2)，来求取第三姿态参数的最优解。该第三姿态参数可以包括第三缩放参数、第三旋转参数和第三平移参数。其中，缩放参数用于指示脸部三维模型和首帧图像之间的缩放比例。旋转参数用于对脸部三维模型的姿态进行旋转。平移参数用于指示脸部三维模型上的三维坐标点在平面上的平移分量。
Figure BDA0002252512650000091
其中，K表示具有对应关系的坐标对的数量，s表示缩放参数，R表示旋转参数，
Figure BDA0002252512650000092
表示脸部三维模型上与五官特征包括的二维坐标点相对应的三维坐标点的坐标值，T表示平移参数，Vk表示脸部三维模型上与五官特征包括的二维坐标点相对应的三维坐标点，Ik表示五官特征包括的二维坐标点的坐标值。
203、终端根据第三姿态参数，调整脸部三维模型。
在本申请实施例中，终端根据第三姿态参数，调整脸部三维模型的过程，可以通过子步骤203a至203d来实现。
203a、终端可以根据第三姿态参数，调整上述脸部三维模型的姿态。
终端在确定第三姿态参数后，在调整该脸部三维模型时，可以根据该第三姿态参数中包括的第三旋转参数，将上述脸部三维模型旋转到对应的姿态。其中，该第三旋转参数可以表示为一个旋转矩阵。
203b、终端在调整该脸部三维模型的姿态后，可以获取首帧图像包括的轮廓特征。
终端可以根据预设的采样顺序，对首帧图像包括的脸部区域进行采样，终端可以将采样得到多个坐标点作为轮廓特征包括的坐标点。该预设的采样顺序可以为从脸部区域的左上位置开始，延脸部区域的边界移动，直到脸部区域的右上位置。
需要说明的是，脸部特征包括该轮廓特征和上述五官特征。
203c、终端可以从调整后的脸部三维模型中选择与上述轮廓特征包括的二维坐标点相对应的三维坐标点，从而得到首帧图像中脸部特征与脸部三维模型的第四对应关系。
该第四对应关系即包括首帧图像中轮廓特征包括的二维坐标点与脸部三维模型中三维坐标点的对应关系，也包括首帧图像中五官特征包括的二维坐标点与脸部三维模型中三维坐标点的对应关系。
在一种可选的实现方式中，终端可以在脸部三维模型上按照模型的拓扑结构定义若干组的平行线段，该若干组的平行线段用于在脸部三维模型上确定与上述轮廓特征包括的二维坐标点相对应的三维坐标点。例如，参见图4所示，图4是本申请实施例提供的一种定义有若干组的平行线段的脸部三维模型的示意图。相应的，终端从调整后的脸部三维模型中选择与上述轮廓特征包括的二维坐标点相对应的三维坐标点的步骤可以为：终端可以获取脸部三维模型中预设的至少一个平行线段。终端可以按照预设的采样顺序，即与获取上述轮廓特征包括的二维坐标点相同的采样顺序，从每个平行线段中选择一个位于脸部三维模型边界的三维坐标点与轮廓特征包括的二维坐标点相对应。也即通过相同的采样顺序，将脸部三维模型上的三维坐标点与首帧图像中轮廓特征包括的二维坐标点建立对应关系，从而结合上述第一对应关系，得到第四对应关系。
203d、终端可以基于该第四对应关系，调整上述脸部三维模型。
在本申请实施例中，终端可以根据上述五官特征、轮廓特征以及该第四对应关系，来更新上述第三姿态参数。终端根据更新后的第三姿态参数，调整上述脸部三维模型的姿态。然后终端根据姿态调整后的脸部三维模型，更新上述第四对应关系。最后终端可以根据更新后的第四对应关系和更新后的第三姿态参数，确定调整后的脸部三维模型。其中，终端可以根据上述公式(2)来求取更新后的第三姿态参数，与首次求取第三姿态参数的不同点在于，在更新第三姿态参数时，
Figure BDA0002252512650000101
表示的是脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点的坐标值，Vk表示脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点，Ik表示脸部特征包括的二维坐标点的坐标值。
在一种可选的实现方式中，终端在调整脸部三维模型的姿态后，可以基于上述预设的采样顺序从姿态调整后的脸部三维模型重新采样，来更新上述第四对应关系。相应的，终端根据姿态调整后的脸部三维模型，更新上述第四对应关系的步骤可以为：终端可以保持脸部特征包括的二维坐标点与脸部三维模型中的三维坐标点的第一对应关系不变。终端按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点。终端可以将从该脸部三维模型中确定的多个三维坐标点，按照该预设的采样顺序与脸部特征中包括的二维坐标点进行对应。
在一种可选的实现方式中，终端获取更新后的第四对应关系和更新后的第三姿态参数后，可以根据五官特征包括的二维坐标点、脸部三维模型上与上述五官特征包括的二维坐标点相对应的三维坐标点、第四对应关系以及第三姿态参数，基于通用的平均人脸模型、特征维度的主成分以及表情维度的主成分，来确定相较于第三特征参数和第三表情参数变化最小的第四特征参数和第四表情参数。由于该第四特征参数和第四表情参数相对于第三特征参数和第三表情参数变化最小，因此可以作为该第四特征参数和第四表情参数的最优解。终端可以根据得到的第四特征参数和第四表情参数，来确定调整后的脸部三维模型。
在一种可选的实现方式中，终端可以基于公式(3)求取调整后的脸部三维模型对应的第四特征参数和第四表情参数的最优解。具体的，终端可以将更新后的第三姿态参数输入公式(3)，然后将五官特征包括的二维坐标点的坐标值、脸部三维模型上与上述五官特征包括的二维坐标点相对应的三维坐标点的坐标值，按照更新后的第四对应关系输入公式(3)。
Figure BDA0002252512650000111
其中，K表示具有对应关系的坐标对的数量，s表示缩放参数，R表示旋转参数，
Figure BDA0002252512650000112
表示平均脸部三维模型，Aid表示特征维度的主成分，αid表示特征参数，Aexp表示表情维度的主成分，αexp表示表情参数，T表示平移参数，Vk表示脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点，Ik表示脸部特征包括的二维坐标点的坐标值。
需要说明的是，由于终端基于第四对应关系更新了第三姿态参数，然后根据更新后的第三姿态参数调整了脸部三维模型的姿态，此时脸部三维模型中的与轮廓特征包括的二维坐标点相对应的三维坐标点发生了变化，因此终端从脸部三维模型中重新确定与轮廓特征包括的二维坐标点相对应的三维坐标点，也即更新上述第四对应关系。由于第四对应关系的更新，导致第三姿态参数也需要更新，从而脸部三维模型的姿态也随之调整。即第四对应关系、第三姿态参数以及脸部三维模型的姿态三者之间是互相关联的，任何一个更新，会导致另外的两个也进行更新。终端可以对上述第四对应关系、第三姿态参数以及脸部三维模型的姿态进行迭代更新，直到达到迭代次数或者上述第三姿态参数收敛。
204、终端根据第三姿态参数和调整后的脸部三维模型，确定首帧图像中包括的至少一个第二投影点的坐标值，该至少一个投影点所覆盖的脸部区域与目标图像中包括的总脸部区域的比例大于目标比例阈值。
终端可以根据第三姿态参数中包括的第三缩放参数、第三旋转参数以及第三平移参数，将调整后的脸部三维模型包括的稠密的三维坐标点投影到首帧图像中，从而确定首帧图像中包括的至少一个投影点的坐标值。其中，稠密的三维坐标点是通过大于采样频率阈值的采样频率采样得到的坐标点，该稠密的三维坐标点不仅包括与五官特征相对应的三维坐标点和与轮廓特征相对应的三维坐标点，还包括额头区域、脸颊区域、下巴区域以及脸部其他区域相对应的三维坐标点。因此，上述至少一个第二投影点在二维图像中也是稠密的二维坐标点。相对应的，上述脸部三维模型上与五官特征包括的二维坐标对应的三维坐标点以及与轮廓特征包括的二维坐标相对应的三维坐标点，可以称为稀疏的三维坐标点。由于终端是将稠密的三维坐标点投影到二维图像中，得到稠密的二维坐标点，相较于仅将稀疏的三维坐标点投影到二维图像上，得到稀疏的二维坐标点。稠密的二维坐标点能够更精细的表现二维图像中包括的脸部的细节，使得后续终端显示的三维图像与能够与二维图像中包括的脸部更加的贴合。
例如，参见图5所示，图5是本申请实施例提供的一种稠密的二维坐标点的示意图。图5中示出了被至少一个第二投影点，也即稠密的二维坐标点所覆盖的人脸。该稠密的二维坐标点由终端根据上述步骤确定的第三姿态参数，将脸部三维模型中稠密的三维坐标点投影到二维图像上后得到。
在一种可选的实现方式中，终端可以通过下述公式(4)来确定每个投影点的坐标值。
L＝s*R*S+T (4)；
其中，L表示投影点的坐标值，s表示缩放参数，R表示旋转参数，S表示脸部三维模型上的三维坐标点的坐标值，T表示平移参数。
205、终端根据至少一个第二投影点的坐标值，将三维图像显示在首帧图像中。
终端在目标图像中显示三维图像时，可以先获取待显示的三维图像。终端可以根据至少一个第一投影点的坐标值，将该三维图像包括的至少一个图像点，依次显示在该至少一个第一投影点上。其中，三维图像包括的至少一个图像点的个数可以与至少一个第一投影点的个数相同也可以不同。
例如，参见图6所示，图6是本申请实施例提供的一种显示三维图像的示意图。在图6中，三维图像为3D的卡通头套，首帧图像为包括人脸的图像，终端通过至少一个第二投影点的坐标值，将该3D的卡通头套显示在该人脸上。
在一种可选的实现方式中，当三维图像包括的至少一个图像点的个数大于至少一个第一投影点的个数时，终端可以从三维图像中确定多个基准点，将上述多个基准点和每个基准点周围预设数量的点分别显示在上述至少一个第一投影点上。
在一种可选的实现方式中，当三维图像包括的至少一个图像点的个数等于至少一个第一投影点的个数时，终端可以将三维图像包括的至少一个图像点，依次显示在该至少一个第一投影点上。
在一种可选的实现方式中，当三维图像包括的至少一个图像点的个数小于至少一个第一投影点的个数时，终端可以从三维图像中确定多个基准点，将上述多个基准点和每个基准点周围的点分别显示在部分第一投影点上。
需要说明的是，上述步骤201至步骤205是终端对首帧图像进行处理的过程，步骤206至步骤209是终端对首帧图像之后的每帧图像进行处理的过程。
206、终端根据目标图像包括的脸部特征、基于目标图像的上一帧图像中的脸部三维模型与脸部特征之间的第一对应关系以及上一帧图像对应第一姿态参数，确定目标图像对应的第二姿态参数，该目标图像为非首帧图像。
在本申请实施例中，该目标图像可以为任意的非首帧图像。终端在处理该目标图像之前，可以对该目标图像的上一帧图像中包括的脸部特征包括的二维坐标点进行脸部跟踪。终端在处理该目标图像时，可以根据上述脸部跟踪的结果，来确定该目标图像中包括的脸部特征包括的二维坐标点。终端还可以获取在处理该目标图像的上一帧图像时确定的上一帧图像的脸部三维模型与脸部特征的第一对应关系。终端还可以获取该目标图像的上一帧图像对应的第一姿态参数。从而，终端可以根据上述获取到的脸部特征、脸部三维模型和脸部特征的对应关系以及第一姿态参数，来确定该目标图像对应的第二姿态参数。
在一种可选的实现方式中，由于姿态参数可以包括缩放参数、旋转参数以及平移参数。相应的，终端根据上述获取到的脸部特征、脸部三维模型和脸部特征的对应关系以及第一姿态参数，来确定该目标图像对应的第二姿态参数的步骤可以为：对于目标图像中包括的脸部特征包括的每个二维坐标点，终端可以根据上述脸部三维模型和脸部特征的对应关系，在脸部三维模型上确定与该脸部特征包括的二维坐标点相对应的三维坐标点，基于上述相对应的二维坐标点和三维坐标点的坐标值、第一姿态参数包括的第一缩放参数、第一旋转参数以及第一平移参数，来确定第二姿态参数包括的第二缩放参数、第二旋转参数以及第二平移参数的最小值。由于引入了上一帧图像对应的第一姿态参数，相当于在运算时加入了上一帧图像的时序约束，从而使得第一姿态参数和第二姿态参数之间的变化相对平滑，避免产生跳变，因此第二缩放参数、第二旋转参数以及第二平移参数的最小值，即为第二缩放参数、第二旋转参数以及第二平移参数的最优解。
在一种可选的实现方式中，终端可以通过公式(5)来求取第二姿态参数包括的第二缩放参数、第二旋转参数以及第二平移参数的最优解。
Figure BDA0002252512650000141
其中，K表示具有对应关系的坐标对的数量，st表示第二缩放参数，Rt表示第二旋转参数，
Figure BDA0002252512650000142
表示脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点的坐标值，Tt表示第二平移参数，Vk表示脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点，Ik表示脸部特征包括的二维坐标点的坐标值，λs表示缩放参数的权重系数，st-1表示第一缩放参数，λR表示旋转参数的权重系数，Rt-1表示第一旋转参数，λT表示平移参数的权重系数，Tt-1表示第一平移参数。
207、终端根据第二姿态参数，调整脸部三维模型。
在本申请实施例中，终端根据第二参数，调整脸部三维模型的过程，可以通过子步骤207a至207c来实现。
207a、终端可以根据第二姿态参数，调整上述脸部三维模型的姿态。
终端在确定第二姿态参数后，可以基于该第二姿态参数中包括的第二旋转参数，对上述脸部三维模型的姿态进行调整。其中，该第二旋转参数可以表示为一个旋转矩阵。
207b、终端可以根据姿态调整后的脸部三维模型，确定脸部特征和调整后的脸部三维模型的第二对应关系。
由于上述第一对应关系表示目标图像的上一帧图像中确定的脸部三维模型与脸部特征的对应关系，而脸部三维模型在调整后相对于上一帧图像中的脸部三维模型发生了变化，因此需要确定目标图像中包括的脸部特征和调整后的脸部三维模型的第二对应关系。
在一种可选的实现方式中，上述脸部特征可以包括五官特征和轮廓特征。相应的，终端根据调整后的脸部三维模型，确定脸部特征和调整后的脸部三维模型的第二对应关系的步骤可以为：终端可以保持脸部三维模型中三维坐标点与五官特征包括的二维坐标点的对应关系不变。然后，终端按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点。终端可以将从脸部三维模型中确定的三维坐标点按照该预设的采样顺序与轮廓特征包括的二维坐标点进行对应，得到脸部特征和调整后的脸部三维模型的第二对应关系。由于保持目标图像包括的五官特征包括的二维坐标点和脸部三维模型中的三维坐标点的对应关系不变，然后从脸部三维模型中确定多个三维坐标点，可以在脸部三维模型的姿态发生改变时，更新轮廓特征包括的二维坐标点在脸部三维模型上对应的三维坐标点，从而使得第二对应关系更符合目标图像中包括的脸部特征和姿态调整后的脸部三维模型的对应关系。
在一种可选的实现方式中，终端可以在脸部三维模型上按照模型的拓扑结构定义若干组的平行线段，该若干组的平行线段用于在脸部三维模型上确定与上述轮廓特征包括的二维坐标点相对应的三维坐标点。终端按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点的步骤可以为：终端可以获取脸部三维模型中预设的至少一个平行线段。然后终端可以按照预设的采样顺序，从每个平行线段中选择一个位于脸部三维模型边界的三维坐标点与轮廓特征包括的二维坐标点相对应。
207c、终端基于第二对应关系，确定调整后的脸部三维模型。
在本申请实施例中，终端可以基于第二对应关系，以及上一帧图像中确定的脸部三维模型对应的第二特征参数和第二表情参数，来确定调整后的脸部三维模型。通过引入第二特征参数和第二表情参数，使得确定的脸部三维模型相较于上一帧图像中确定的脸部三维模型变化较为平滑。
在一种可选的实现方式中，终端基于第二对应关系，确定调整后的脸部三维模型的步骤可以为：终端可以获取在目标图像的上一帧图像中确定的第二特征参数和第二表情参数。终端可以根据脸部特征包括的二维坐标点的坐标值、脸部三维模型上与上述脸部特征包括的二维坐标点相对应的三维坐标点的坐标值、第二特征参数以及第二表情参数，将相对于第二特征参数和第二表情参数变化最小的第一特征参数和第一表情参数，确定为调整后的脸部三维模型对应的第一特征参数和第一表情参数的最优解。终端根据得到的第一特征参数和第一表情参数，即可计算得出调整后的脸部三维模型。
在一种可选的实现方式中，终端可以通过以下公式(6)来求取第一特征参数和第一表情参数的最优解：
Figure BDA0002252512650000151
其中，K表示具有对应关系的坐标对的数量，s表示缩放参数，R表示旋转参数，
Figure BDA0002252512650000152
表示平均脸部三维模型，Aid表示特征维度的主成分，αid，t表示第一特征参数，Aexp表示表情维度的主成分，αexp，t表示第一表情参数，Vk表示脸部三维模型上与脸部特征包括的二维坐标点相对应的三维坐标点，T表示平移参数，Ik表示脸部特征包括的二维坐标点的坐标值，λexp表示表情参数的权重系数，αexp，t-1表示第二表情参数，λid表示特征参数的权重系数，αid，t-1表示第二特征参数。
在一种可能的实现方式中，终端可以在确定调整后的脸部三维模型后，根据脸部特征包括的二维坐标点的坐标值、脸部三维模型上与脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及上述第一姿态参数，来更新上述第二姿态参数，如，终端可以通过上述公式(5)来计算得到第二姿态参数。终端在得到更新后的第二姿态参数后，可以根据更新后的第二姿态参数，调整脸部三维模型的姿态，具体的调整方式可以与上述子步骤207a描述的方式相同。终端可以根据调整后的脸部三维模型更新上述第而对应关系，基于该第二对应关系再次更新上述第二姿态参数，重复上述第二姿态参数、第二对应关系和脸部三维模型的姿态的迭代更新的步骤，直到达到预设的停止更新条件。其中，该预设的停止更新条件可以为第二姿态参数收敛或者达到预设的迭代次数，本申请实施例对停止更新条件不做具体限定。
208、终端根据第二姿态参数和调整后的脸部三维模型，确定目标图像中包括的至少一个投影点的坐标值，该至少一个投影点所覆盖的脸部区域与目标图像中包括的总脸部区域的比例大于目标比例阈值。
终端可以根据第二姿态参数中包括的第二缩放参数、第二旋转参数以及平移参数，将调整后的脸部三维模型包括的稠密的三维坐标点投影到目标图像中，从而确定目标图像中包括的至少一个投影点的坐标值。具体过程可以参见步骤204，在此不再赘述。
209、终端根据至少一个投影点的坐标值，将待显示的三维图像显示在目标图像中。
具体方式可以参见步骤205，在此不再赘述。
为了使上述步骤201至步骤209所描述的图像显示过程可以顺序执行，也可以参见图7所示按照待处理图像是否为首帧图像来分别执行。图7是本申请实施例提供的另一种图像显示方法的流程图。终端在处理图像时，可以先判断待处理的图像是否为首帧图像，当待处理的图像为首帧图像时，终端可以执行上述步骤201至步骤205。即终端首先对首帧图像进行脸部检测和脸部配准，然后根据检测到的五官特征包括的坐标点来估算第三姿态参数。之后终端根据该第三姿态参数从脸部三维模型中选择与轮廓特征包括的二维坐标点相对应的三维坐标点。再然后终端根据五官特征和轮廓特征来更新第三姿态参数。再然后，终端根据更新后的第三姿态参数更新第四对应关系，根据更新后的第四对应关系，确定调整后的脸部三维模型。在第三姿态参数未收敛时，可以重复上述更新第三姿态参数和第四对应关系的过程直到第三姿态参数收敛。再然后，确定首帧图像中包括的至少一个第二投影点的坐标值。最后，在首帧图像上显示三维图像。当待处理图像为目标图像，即非首帧图像时，终端可以执行上述步骤206至步骤209。即终端首先对目标图像进行脸部跟踪，然后基于上一帧图像中脸部三维模型和脸部特征的第一对应关系、上一帧图像对应的第一姿态参数，确定目标图像对应的第二姿态参数。之后终端对目标图像的处理过程类似，在此不再赘述。
在本申请实施例中，通过在处理目标图像时，根据目标图像中包括的脸部特征，结合上一帧图像中确定的脸部三维模型和脸部特征的对应关系以及上一帧图像对应的第一姿态参数，来确定目标图像对应的第二姿态参数。由于通过该第二姿态参数和根据该第二姿态参数调整后的脸部三维模型，确定的至少一个第一投影点是稠密的二维坐标点，使得终端在实现三维图像的显示时，可以将符合目标图像的脸部三维模型上包括的稠密的三维坐标点，投影到二维图像上，从而实现三维图像的显示，且显示的三维图像的细节与脸部的细节更贴合。并且，由于脸部三维模型的通用性高，且调整方便灵活，调整的结果较为准确，从而可以广泛的应用于三维图像的显示。
图8是本申请实施例提供的一种图像显示装置的框图，如图8所示，包括：确定模块801，调整模块802和显示模块803。
确定模块801，被配置为根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
调整模块802，被配置为根据第二姿态参数，调整脸部三维模型；
确定模块801，还被配置为根据第二姿态参数和调整后的脸部三维模型，确定目标图像中包括的至少一个投影点的坐标值；
显示模块803，被配置为根据至少一个第一投影点的坐标值，将待显示的三维图像显示在目标图像中。
在一种可能的实现方式中，调整模块802，还被配置为根据第二姿态参数，调整脸部三维模型的姿态；根据调整后的脸部三维模型，确定脸部特征和调整后的脸部三维模型的第二对应关系；基于第二对应关系，确定调整后的脸部三维模型。
在一种可能的实现方式中，脸部特征包括五官特征和轮廓特征；调整模块802，还被配置为保持脸部三维模型中的三维坐标点与五官特征包括的二维坐标点的对应关系不变，按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点；将脸部三维模型中的多个三维坐标点按照预设的采样顺序与轮廓特征包括的二维坐标点进行对应，得到脸部特征和调整后的脸部三维模型的第二对应关系。
在一种可能的实现方式中，调整模块802，还被配置为获取脸部三维模型中预设的至少一个平行线段；按照预设的采样顺序，从每个平行线段中选择一个位于脸部三维模型边界的坐标点与轮廓特征包括的二维坐标点相对应。
在一种可能的实现方式中，调整模块802，还被配置为获取在目标图像的上一帧图像中确定脸部三维模型的第二特征参数和第二表情参数；
根据脸部特征包括的二维坐标点的坐标值、脸部三维模型上与脸部特征的包括的二维坐标点相对应的三维坐标点的坐标值、第二特征参数以及第二表情参数，确定调整后的脸部三维模型对应的第一特征参数和第一表情参数。
在一种可能的实现方式中，装置还包括：
更新模块，被配置为根据脸部特征包括的二维坐标点的坐标值、脸部三维模型上与脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及第一姿态参数，更新第二姿态参数；
调整模块802，还被配置为根据跟更新后的第二姿态参数，调整脸部三维模型的姿态；
更新模块，还被配置为再次更新第二姿态参数，直到达到预设的停止更新条件。
在一种可能的实现方式中，显示模块803，还被配置为获取待显示的三维图像；根据至少一个第一投影点的坐标值，将三维图像包括的至少一个图像点，依次显示在至少一个第一投影点上。
在一种可能的实现方式中，装置还包括：
追踪模块，被配置为对上一帧图像中包括的脸部特征的坐标点进行脸部跟踪；
确定模块801，还被配置为根据脸部跟踪的结果，确定目标图像包括的脸部特征包括的二维坐标点。
在一种可能的实现方式中，装置还包括：
生成模块，被配置为根据预设的第三特征参数和第三表情参数，生成脸部三维模型；
确定模块801，还被配置为根据首帧图像中包括的五官特征和脸部三维模型与五官特征的第三对应关系，确定首帧图像对应的第三姿态参数；
调整模块802，还被配置为根据第三姿态参数，调整脸部三维模型；
确定模块801，还被配置为根据第三姿态参数和调整后的脸部三维模型，确定首帧图像中包括的至少一个第二投影点的坐标值；
显示模块803，还被配置为根据至少一个第二投影点的坐标值，将三维图像显示在首帧图像中。
在一种可能的实现方式中，装置还包括：
检测配准模块，被配置为对首帧图像进行脸部检测和脸部配准，确定首帧图像中包括的五官特征包括的至少一个二维坐标点。
在一种可能的实现方式中，调整模块802，还被配置为根据第三姿态参数，调整脸部三维模型的姿态；获取首帧图像包括的轮廓特征，轮廓特征和五官特征构成脸部特征；从调整后的脸部三维模型中选择与轮廓特征包括的二维坐标点相对应的三维坐标点，得到首帧图像中脸部特征与脸部三维模型的第四对应关系；基于第四对应关系，调整脸部三维模型。
在一种可能的实现方式中，调整模块802，还被配置为根据五官特征、轮廓特征以及第四对应关系，更新第三姿态参数；根据更新后的第三姿态参数，调整脸部三维模型的姿态；根据姿态调整后的脸部三维模型，更新第四对应关系；根据更新后的第四对应关系和更新后的第三姿态参数，确定调整后的脸部三维模型。
在本申请实施例中，通过在处理目标图像时，根据目标图像中包括的脸部特征，结合上一帧图像中确定的脸部三维模型和脸部特征的对应关系以及上一帧图像对应的第一姿态参数，来确定目标图像对应的第二姿态参数。由于通过该第二姿态参数和根据该第二姿态参数调整后的脸部三维模型，来确定至少一个第一投影点，并根据该至少一个第一投影点的坐标值，来在目标图像中显示三维图像。使得终端在实现三维图像的显示时，可以通过对脸部三维模型的调整，来得到符合目标图像的脸部三维模型，从而实现三维图像的显示。由于脸部三维模型的通用性高，且调整方便灵活，调整的结果较为准确，从而可以广泛的应用于三维图像的显示。
图9是本发明实施例提供的一种终端900的结构示意图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本发明中方法实施例提供的游戏资源文件的展示方法。
在一些实施例中，终端900还可选包括有：***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地，***设备包括：射频电路904、显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
***设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本发明对此不加以限定。
显示屏905用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种存储介质，该存储介质应用于终端，该存储介质中存储有至少一条程序代码，该至少一条程序代码用于执行本申请实施例中的图像显示方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像显示方法，其特征在于，所述方法包括：
根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
根据所述第二姿态参数，调整所述脸部三维模型；
根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；
根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二姿态参数，调整所述脸部三维模型，包括：
根据所述第二姿态参数，调整所述脸部三维模型的姿态；
根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系；
基于所述第二对应关系，确定调整后的脸部三维模型。
3.根据权利要求2所述的方法，其特征在于，所述脸部特征包括五官特征和轮廓特征；
所述根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系，包括：
保持所述脸部三维模型中的三维坐标点与所述五官特征包括的二维坐标点的对应关系不变，
按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点；
将所述脸部三维模型中的多个三维坐标点按照所述预设的采样顺序与所述轮廓特征包括的二维坐标点进行对应，得到所述脸部特征和调整后的脸部三维模型的第二对应关系。
4.根据权利要求3所述的方法，其特征在于，所述按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点，包括：
获取所述脸部三维模型中预设的至少一个平行线段；
按照预设的采样顺序，从每个平行线段中选择一个位于所述脸部三维模型边界的坐标点与轮廓特征包括的二维坐标点相对应。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二对应关系，确定调整后的脸部三维模型，包括：
获取在所述目标图像的上一帧图像中确定脸部三维模型的第二特征参数和第二表情参数；
根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征的包括的二维坐标点相对应的三维坐标点的坐标值、所述第二特征参数以及所述第二表情参数，确定调整后的脸部三维模型对应的第一特征参数和第一表情参数。
6.根据权利要求5所述的方法，其特征在于，所述确定调整后的脸部三维模型对应的第一特征参数和第一表情参数之后，所述方法还包括：
根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及所述第一姿态参数，更新所述第二姿态参数；
根据跟更新后的第二姿态参数，调整所述脸部三维模型的姿态；
再次更新所述第二姿态参数，直到达到预设的停止更新条件。
7.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中，包括:
获取待显示的三维图像；
根据所述至少一个第一投影点的坐标值，将所述三维图像包括的至少一个图像点，依次显示在所述至少一个第一投影点上。
8.根据权利要求1所述的方法，其特征在于，所述根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数之前，所述方法还包括：
对所述上一帧图像中包括的脸部特征的坐标点进行脸部跟踪；
根据所述脸部跟踪的结果，确定所述目标图像包括的脸部特征包括的二维坐标点。
9.根据权利要求1所述的方法，其特征在于，所述根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数之前，所述方法还包括：
根据预设的第三特征参数和第三表情参数，生成所述脸部三维模型；
根据首帧图像中包括的五官特征和所述脸部三维模型与所述五官特征的第三对应关系，确定所述首帧图像对应的第三姿态参数；
根据所述第三姿态参数，调整所述脸部三维模型；
根据所述第三姿态参数和调整后的脸部三维模型，确定所述首帧图像中包括的至少一个第二投影点的坐标值；
根据所述至少一个第二投影点的坐标值，将所述三维图像显示在所述首帧图像中。
10.根据权利要求9所述的方法，其特征在于，所述根据首帧图像中包括的五官特征和所述脸部三维模型与所述五官特征的第三对应关系，确定所述首帧图像对应的第三姿态参数之前，所述方法还包括：
对所述首帧图像进行脸部检测和脸部配准，确定所述首帧图像中包括的五官特征包括的至少一个二维坐标点。
11.根据权利要求9所述的方法，其特征在于，所述根据所述第三姿态参数，调整所述脸部三维模型，包括：
根据所述第三姿态参数，调整所述脸部三维模型的姿态；
获取所述首帧图像包括的轮廓特征，所述轮廓特征和所述五官特征构成所述脸部特征；
从调整后的脸部三维模型中选择与所述轮廓特征包括的二维坐标点相对应的三维坐标点，得到所述首帧图像中脸部特征与脸部三维模型的第四对应关系；
基于所述第四对应关系，调整所述脸部三维模型。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第四对应关系，调整所述脸部三维模型，包括：
根据所述五官特征、所述轮廓特征以及所述第四对应关系，更新所述第三姿态参数；
根据更新后的第三姿态参数，调整所述脸部三维模型的姿态；
根据姿态调整后的脸部三维模型，更新所述第四对应关系；
根据更新后的第四对应关系和更新后的第三姿态参数，确定调整后的脸部三维模型。
13.一种图像显示装置，其特征在于，所述装置包括：
确定模块，被配置为根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
调整模块，被配置为根据所述第二姿态参数，调整所述脸部三维模型；
所述确定模块，还被配置为根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；
显示模块，被配置为根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。
14.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行权利要求1至8任一权利要求所述的图像显示方法。
15.一种存储介质，其特征在于，所述存储介质用于存储至少一段程序代码，所述至少一段程序代码用于被处理器加载并执行权利要求1至8任一权利要求所述的图像显示方法。
CN201911039786.7A 2019-10-29 2019-10-29 图像显示方法、装置、终端及存储介质 Active CN110796083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911039786.7A CN110796083B (zh) 2019-10-29 2019-10-29 图像显示方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039786.7A CN110796083B (zh) 2019-10-29 2019-10-29 图像显示方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110796083A CN110796083A (zh) 2020-02-14
CN110796083B true CN110796083B (zh) 2023-07-04

Family

ID=69442045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039786.7A Active CN110796083B (zh) 2019-10-29 2019-10-29 图像显示方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110796083B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233142A (zh) * 2020-09-29 2021-01-15 深圳宏芯宇电子股份有限公司 目标跟踪方法、设备及计算机可读存储介质
CN113223188B (zh) * 2021-05-18 2022-05-27 浙江大学 一种视频人脸胖瘦编辑方法
CN116527993A (zh) * 2022-01-24 2023-08-01 脸萌有限公司 视频的处理方法、装置、电子设备、存储介质和程序产品
CN117714894A (zh) * 2023-08-03 2024-03-15 荣耀终端有限公司 一种目标识别方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101672A (zh) * 2007-07-13 2008-01-09 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법
CN103530900A (zh) * 2012-07-05 2014-01-22 北京三星通信技术研究有限公司 三维人脸模型的建模方法、人脸跟踪方法以及设备
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
GB201613959D0 (en) * 2015-08-14 2016-09-28 Metail Ltd Methods of generating personalized 3d head models or 3d body models
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
KR20190079503A (ko) * 2017-12-27 2019-07-05 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009465A1 (en) * 2012-07-05 2014-01-09 Samsung Electronics Co., Ltd. Method and apparatus for modeling three-dimensional (3d) face, and method and apparatus for tracking face
US10540817B2 (en) * 2017-03-03 2020-01-21 Augray Pvt. Ltd. System and method for creating a full head 3D morphable model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법
CN101101672A (zh) * 2007-07-13 2008-01-09 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
CN103530900A (zh) * 2012-07-05 2014-01-22 北京三星通信技术研究有限公司 三维人脸模型的建模方法、人脸跟踪方法以及设备
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
WO2016188318A1 (zh) * 2015-05-22 2016-12-01 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
GB201613959D0 (en) * 2015-08-14 2016-09-28 Metail Ltd Methods of generating personalized 3d head models or 3d body models
KR20190079503A (ko) * 2017-12-27 2019-07-05 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
二维及三维多模人脸数据库构建;傅泽华;龚勋;李天瑞;;数据采集与处理(第03期);全文 *

Also Published As

Publication number Publication date
CN110796083A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
US11678734B2 (en) Method for processing images and electronic device
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11288807B2 (en) Method, electronic device and storage medium for segmenting image
CN109978989B (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
US11517099B2 (en) Method for processing images, electronic device, and storage medium
US11436779B2 (en) Image processing method, electronic device, and storage medium
CN109308727B (zh) 虚拟形象模型生成方法、装置及存储介质
CN110796083B (zh) 图像显示方法、装置、终端及存储介质
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN110263617B (zh) 三维人脸模型获取方法及装置
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113763228B (zh) 图像处理方法、装置、电子设备及存储介质
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
WO2020233403A1 (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113160031B (zh) 图像处理方法、装置、电子设备及存储介质
CN109767482B (zh) 图像处理方法、装置、电子设备及存储介质
CN109345636B (zh) 获取虚拟人脸图的方法和装置
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN109685881B (zh) 一种体绘制方法、装置及智能设备
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022086

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant