CN109711335A - 通过人体特征对目标图片进行驱动的方法及装置 - Google Patents
通过人体特征对目标图片进行驱动的方法及装置 Download PDFInfo
- Publication number
- CN109711335A CN109711335A CN201811598714.1A CN201811598714A CN109711335A CN 109711335 A CN109711335 A CN 109711335A CN 201811598714 A CN201811598714 A CN 201811598714A CN 109711335 A CN109711335 A CN 109711335A
- Authority
- CN
- China
- Prior art keywords
- model
- main body
- target photo
- human body
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请提出一种通过人体特征对目标图片进行驱动的方法及装置，其中，方法包括：获取目标图片，并获取所述目标图片中的主体以及所述主体的多个关键点；根据所述主体的多个关键点生成所述主体的主体模型；获取用户的人体特征，并根据所述人体特征对所述主体模型进行驱动。通过本方法，能够达到利用人体特征驱动照片中人物和/或动物的目的，而不仅限于驱动人物，从而提高活照片模式的适用性和可推广性，解决现有技术仅能对人物进行表情驱动，无法对照片中的人物和/或动物建立模型，且无法驱动动物，推广性差的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种通过人体特征对目标图片进行驱动的方法及装置。
背景技术
表情驱动是指通过获取用户当前的表情，利用获取的人物表情使静态照片中的人物动起来的技术，是当下一种非常流行的应用。
目前，相关表情驱动技术，仅能利用用户的表情驱动照片中的人物动作，而无法对照片中的人物和/或动物建立模型，进而进行表情驱动，推广性差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种通过人体特征对目标图片进行驱动的方法及装置，以实现对照片中主体的驱动，通过建立人物和/或动物的模型，不仅可以驱动人物，还可以驱动动物，解决现有技术仅能对人物进行表情驱动，无法对照片中的人物和/或动物建立模型，且无法驱动动物，推广性差的技术问题。
为达上述目的，本申请第一方面实施例提出了一种通过人体特征对目标图片进行驱动的方法，包括：
获取目标图片，并获取所述目标图片中的主体以及所述主体的多个关键点；
根据所述主体的多个关键点生成所述主体的主体模型；以及
获取用户的人体特征，并根据所述人体特征对所述主体模型进行驱动。
本申请实施例的通过人体特征对目标图片进行驱动的方法，通过获取目标图片，并获取目标图片中的主体以及主体的多个关键点，根据主体的多个关键点生成主体的主体模型，获取用户的人体特征，根据人体特征对主体模型进行驱动。由此，通过获取图片中主体的关键点来生成主体模型，不仅可以生成人物模型还可以生成动物模型，再根据人体特征对主体模型进行驱动，达到了利用人体特征驱动照片中人物和/或动物的目的，而不仅限于驱动人物，从而提高了活照片模式的适用性和可推广性，增强了趣味性，提升了用户体验。
为达上述目的，本申请第二方面实施例提出了一种通过人体特征对目标图片进行驱动的装置，包括：
第一获取模块，用于获取目标图片，并获取所述目标图片中的主体以及所述主体的多个关键点；
生成模块，用于根据所述主体的多个关键点生成所述主体的主体模型；以及
驱动模块，用于获取用户的人体特征，并根据所述人体特征对所述主体模型进行驱动。
本申请实施例的通过人体特征对目标图片进行驱动的装置，通过获取目标图片，并获取目标图片中的主体以及主体的多个关键点，根据主体的多个关键点生成主体的主体模型，获取用户的人体特征，根据人体特征对主体模型进行驱动。由此，通过获取图片中主体的关键点来生成主体模型，不仅可以生成人物模型还可以生成动物模型，再根据人体特征对主体模型进行驱动，达到了利用人体特征驱动照片中人物和/或动物的目的，而不仅限于驱动人物，从而提高了活照片模式的适用性和可推广性，增强了趣味性，提升了用户体验。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的通过人体特征对目标图片进行驱动的方法。
为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的通过人体特征对目标图片进行驱动的方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面实施例所述的通过人体特征对目标图片进行驱动的方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图；
图2为本申请另一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图；
图3为本申请又一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图；
图4为本申请实施例一所提供的通过人体特征对目标图片进行驱动的装置的结构示意图；
图5为本申请实施例另一所提供的通过人体特征对目标图片进行驱动的装置的结构示意图；
图6为本申请实施例又一所提供的通过人体特征对目标图片进行驱动的装置的结构示意图；以及
图7为本申请实施例所提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的通过人体特征对目标图片进行驱动的方法及装置。
图1为本申请一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图，本方法可以应用于具有照片编辑功能的APP(以下简称照片APP)中，所述照片APP可以安装于智能手机、平板电脑、笔记本电脑等终端中。
如图1所示，该通过人体特征对目标图片进行驱动的方法可以包括以下步骤：
步骤101，获取目标图片，并获取目标图片中的主体以及主体的多个关键点。
其中，目标图片可以是用户从终端的本地相册中选择并上传的图片，也可以是用户当前利用终端的摄像头拍摄的图片，目标图片中包含的主体可以是人物和/或动物。
本实施例中，获取了用户上传或拍摄的目标图片之后，可以从目标图片中获取目标图片中的主体，以及获取目标图片中主体的多个关键点。
作为一种示例，在获取目标图片中包含的主体时，可以采用已有的人体识别、人脸识别、动物识别等技术，来获取目标图片中包含的人物和/或动物。之后，再获取识别到的主体的多个关键点。其中，主体的多个关键点包括但不限于面部五官特征点和肢体特征点中的至少一种，五官特征点比如可以包括五官轮廓、五官的颧骨最高点、嘴巴轮廓、嘴角、瞳孔等。
在获取主体的多个关键点时，可以通过机器学习算法来识别主体的关键点，比如，可以收集大量的包含不同主体的图片，并对图片中主体的关键点进行标注，利用标注后的图片作为训练样本训练得到关键点识别模型，进而利用关键点识别模型来获取目标图片中主体的多个关键点。或者，也可以在照片APP中提供关键点标记功能，由用户利用该功能主动标记出目标图片中主体的多个关键点。
步骤102，根据主体的多个关键点生成主体的主体模型。
本实施例中，获取了目标图片中主体的多个关键点之后，即可根据获取的多个关键点构建主体的主体模型。其中，主体模型可以是二维模型，也可以是三维模型。
作为一种示例，可以针对不同的主体，预先设置并存储主体与关键点连接方式之间的对应关系，在获取到目标图片中的主体后，根据识别到的主体，从预先存储的对应关系中获取与该主体对应的关键点连接方式。进而，利用获取的关键点连接方式连接主体的多个关键点，得到主体模型。具体地，当主体模型为二维模型时，直接利用获取的关键点连接方式连接多个关键点，即可得到主体模型。当主体模型为三维模型时，可以根据相机投影矩阵对获取的多个关键点的坐标值进行调整，再利用获取的关键点连接方式对调整后的多个关键点进行连接，得到三维的主体模型。
步骤103，获取用户的人体特征，并根据人体特征对主体模型进行驱动。
其中，人体特征可以是用户的表情或者肢体动作。
照片APP可以启动摄像头实时采集用户的图片，并从采集的图片中获取用户的人体特征。比如，可以通过预先训练好的特征识别模型来获取图片中用户的人体特征。
本实施例中，获取了用户的人体特征后，即可根据人体特征对生成的主体模型进行驱动。
作为一种示例，人体特征是肢体动作。本示例中，可以预先存储不同的肢体动作与驱动动作的对应关系，当获取了用户的肢体动作之后，根据肢体动作获取对应的目标驱动动作，进而驱动主体模型完成目标驱动动作。其中，驱动动作可以是表情或者肢体动作。比如，当用户抬起手臂时，驱动主体模型做出点头的动作。
作为一种示例，人体特征是表情。本示例中，可以预先存储不同的表情与驱动动作的对应关系，当获取了用户的表情之后，通过查询对应关系获取与表情对应的目标驱动动作，进而驱动主体模型完成目标驱动动作。其中，驱动动作可以是表情或者肢体动作。比如，当用户做出微笑的表情时，驱动主体模型做出挠头的动作。
本实施例的通过人体特征对目标图片进行驱动的方法，通过获取目标图片，并获取目标图片中的主体以及主体的多个关键点，根据主体的多个关键点生成主体的主体模型，获取用户的人体特征，根据人体特征对主体模型进行驱动。由此，通过获取图片中主体的关键点来生成主体模型，不仅可以生成人物模型还可以生成动物模型，再根据人体特征对主体模型进行驱动，达到了利用人体特征驱动照片中人物和/或动物的目的，而不仅限于驱动人物，从而提高了活照片模式的适用性和可推广性，增强了趣味性，提升了用户体验。
图2为本申请另一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图。本实施例中，主体模型为3D模型，人体特征为人脸表情。如图2所示，该通过人体特征对目标图片进行驱动的方法，可以包括以下步骤：
步骤200，获取目标图片，并获取目标图片中的主体以及主体的多个关键点。
本实施例中对步骤200的描述可以参见前述实施例中对步骤101的描述，此处不再赘述。
步骤201，识别主体的类别，并根据主体的类别获取对应的网格模型。
其中，主体的类别包括人物、猫、狗、猪、兔子等。
本实施例中，获取了目标图片中包括的主体之后，可以根据识别到的主体确定主体的类别。比如，获取的主体为猫，则确定主体的类别为猫。进而，根据识别到的主体的类别，获取对应的网格模型。
作为一种示例，可以针对每种主体类别，根据该类别主体的特征，预先构建不同类别对应的网格模型，其中，网格模型表明了主体的关键点之间的连接方式。进而，识别到主体的类别之后，根据获取的类别，通过查询类别与网格模型之间的对应关系，获取与类别对应的网格模型。
步骤202，根据主体的多个关键点和网格模型生成主体的网格数据，其中，网格数据中的多个网格点分别与多个关键点对应，多个关键点之间的连接方式为网格模型中限定的连接方式。
本实施例中，获取了主体类别对应的网格模型后，可以利用获取的网格模型，根据主体的多个关键点生成主体的网格数据。
具体地，生成网格数据时，根据网格模型中限定的关键点的连接方式，对多个关键点进行连接，生成主体的网格数据，网格数据中的网格点与表示相同特征的关键点对应。比如，网格数据中表示鼻头的网格点，与关键点中表示鼻头的关键点对应。
步骤203，根据网格数据生成3D模型。
本实施例中，生成了主体的网格数据之后，即可根据网格数据生成主体的3D模型。
具体地，可以先获取网格数据中的多个网格点，再通过相机投影矩阵对多个网格点进行投影以生成3D模型。
本实施例中，由于目标图片是二维图片，从目标图片中获取的多个关键点的坐标也是二维坐标，因此根据关键点和网格模型生成的网格数据可以二维的平面数据，当获取主体的3D模型时，可以利用相机投影矩阵对多个网格点进行投影，得到主体的网格数据。
接着，可以根据目标图片对生成的3D模型进行贴图，以使得到的3D模型与目标图片中主体的形象相符。
具体地，在对3D模型进行贴图时，可以获取目标图片中的多个关键点，并根据多个关键点将目标图片划分为多个第一区域，并获取3D模型中的多个网格点，并根据多个网格点将3D模型划分为多个第二区域，其中，多个第一区域分别与多个第二区域对应。进而将多个第一区域的贴图数据复制至多个第二区域，并对3D模型进行渲染，得到与主体的形象匹配的3D模型。
作为一种示例，进程贴图时，可以采用UV贴图技术进行贴图，将获取的多个关键点转换为UV贴图数据，其中，UV贴图数据表征了每个关键点的位置信息，再将获取的UV贴图数据与3D模型中的多个网格点进行一一对齐，得到3D模型中三角网格对应的图片内容，最后进行渲染完成贴图过程，得到主体的3D模型。
步骤204，根据3D模型生成默认表情模型。
步骤205，生成基于默认表情模型的多个动作表情参数，其中，多个动作表情参数与多个预设动作对应。
本实施例中，可以将获取的3D模型当前呈现的动作和表情作为3D模型的默认动作表情，3D模型可以作为默认表情模型。
进一步地，基于默认表情模型，可以生成多个动作表情参数，其中，多个动作表情参数与多个预设动作对应。也就是说，将3D模型的不同动作用不同的动作表情参数来表达。例如，假设默认表情模型包括30个动作表情参数，当3D模型做出不同的预设动作时，这30个动作表情参数对应不同的坐标值，用于控制3D模型呈现不同的动作或表情。其中，预设动作可以预先设置，具体地，可以针对不同的主体设置不同的预设动作，比如，为狗设置预设动作为吐舌头、摇头、摆尾巴，为猫设置预设动作为直立、抓脸、微笑。
步骤206，获取人脸表情，并通过面部行为编码***获取人脸表情对应的系数。
其中，人脸表情可以利用表情识别方式，从采集的人脸图像中获取用户的人脸表情。
步骤207，根据系数获取系数对应的动作表情参数。
本实施例中，获取了人脸表情之后，可以通过面部行为编码***(Facial ActionCoding System，FACS)获取人脸表情对应的系数。进而根据获取的人脸表情对应的系数，可以获取系数对应的动作表情参数。
作为一种示例，可以预先存储不同的人脸表情的系数与动作表情参数之间的对应关系，在利用FACS获取了人脸表情的系数之后，通过查询对应关系，可以获取对应的动作表情参数。
步骤208，将对应的动作表情参数添加至默认表情模型。
本实施例中，获取了人脸表情的系数对应的动作表情参数之后，将获取的动作表情参数添加至默认表情模型中。
进一步地，动作表情参数添加至默认表情模型中之后，默认表情模型根据新添加的动作表情参数，获取对应的默认表情模型的动作表情参数，使得默认表情模型调整至获取的动作表情参数，实现用户表情驱动3D模型。
本实施例的通过人体特征对目标图片进行驱动的方法，通过获取目标图片，并获取目标图片中的主体以及主体的多个关键点，识别主体的类别并根据主体的类别获取对应的网格模型，根据主体的多个关键点和网格模型生成主体的网格数据，根据网格数据生成3D模型，根据3D模型生成默认表情模型，生成基于默认表情模型的多个动作表情参数，其中，多个动作表情参数与多个预设动作对应，进而获取人脸表情，并通过面部行为编码***获取人脸表情对应的系数，根据系数获取系数对应的动作表情参数，将对应的动作表情参数添加至默认表情模型，实现了利用人脸表情驱动主体的3D模型，提高了趣味性。
为了使生成的主体模型更加生动形象和逼真，还可以对主体模型进行五官对准。下面结合图3详细描述五官对准的具体实现过程。图3为本申请又一实施例提出的通过人体特征对目标图片进行驱动的方法的流程示意图。
如图3所示，在前述实施例的基础上，该通过人体特征对目标图片进行驱动的方法，还可以包括以下步骤：
步骤301，生成主体的五官模型，其中，五官模型具有多个第一骨骼控制点。
作为一种示例，可以根据每个主体的外形特征，预先制作并存储不同主体的五官模型，在获取了目标图像中的主体后，根据识别到的主体获取对应的五官模型。
步骤302，获取主体模型中五官的位置，并获取五官的多个第二骨骼控制点。
作为一种示例，获取主体模型中五官的位置时，可以采用面部识别技术来获取主体模型中五官的位置。获取五官的骨骼控制点时，可以采用骨骼关键点检测技术，获取主体中五官的多个第二骨骼控制点。
步骤303，将五官模型添加至主体模型之中，使得多个第一骨骼控制点与多个第二骨骼控制点对应。
本实施例中，获取了主体五官的多个第二骨骼控制点之后，可以将五官模型添加至主体模型中，使得多个第一骨骼控制点与多个第二骨骼控制点对应。
以口腔对准为例，在进行口腔对准时，可以先获取预先制作的主体的口腔模型，该口腔模型包括8个骨骼控制点，并给该口腔模型做骨骼蒙皮。从主体模型中获取主体的嘴部轮廓点的位置，将口腔模型的8个骨骼控制点映射到主体模型中嘴部轮廓点的位置，在映射时，根据蒙皮权重和影响矩阵修改整个口腔模型，继而达到口腔对准的效果。
本实施例的通过人体特征对目标图片进行驱动的方法，通过生成主体的五官模型，其中，五官模型具有多个第一骨骼控制点，获取主体模型中五官的位置，并获取五官的多个第二骨骼控制点，将五官模型添加至主体模型之中，使得多个第一骨骼控制点与多个第二骨骼控制点对应，实现了五官模型与主体模型的五官对准，增加了主模型的逼真程度，提高了真实性。
为了实现上述实施例，本申请还提出一种通过人体特征对目标图片进行驱动的装置。
图4为本申请实施例一所提供的通过人体特征对目标图片进行驱动的装置的结构示意图。
如图4所示，该通过人体特征对目标图片进行驱动的装置50包括：第一获取模块510、生成模块520，以及驱动模块530。其中，
第一获取模块510，用于获取目标图片，并获取目标图片中的主体以及主体的多个关键点。
生成模块520，用于根据主体的多个关键点生成主体的主体模型。
驱动模块530，用于获取用户的人体特征，并根据人体特征对主体模型进行驱动。
在本申请实施例一种可能的实现方式中，主体模型为3D模型，人体特征为人脸表情。如图5所示，在如图4所示实施例的基础上，生成模块520包括：
识别单元521，用于识别主体的类别，并根据主体的类别获取对应的网格模型。
数据生成单元522，用于根据主体的多个关键点和网格模型生成主体的网格数据，其中，网格数据中的多个网格点分别与多个关键点对应，多个关键点之间的连接方式为网格模型中限定的连接方式。
3D模型生成单元523，用于根据网格数据生成3D模型。
在本申请实施例一种可能的实现方式中，3D模型生成单元523具体用于获取网格数据中的多个网格点；通过相机投影矩阵对多个网格点进行投影以生成3D模型；根据目标图片对3D模型进行贴图。
3D模型生成单元523还用于获取目标图片中多个关键点，并根据多个关键点将目标图片划分为多个第一区域；获取3D模型中的多个网格点，并根据多个网格点将3D模型划分为多个第二区域，其中，多个第一区域分别与多个第二区域对应；将多个第一区域的贴图数据复制至多个第二区域，并对3D模型进行渲染。
表情模型生成单元524，用于根据3D模型生成默认表情模型。
参数生成单元525，用于生成基于默认表情模型的多个动作表情参数，其中，多个动作表情参数与多个预设动作对应。
驱动模型530包括：
第一获取单元531，用于获取人脸表情，并通过面部行为编码***获取人脸表情对应的系数。
第二获取单元532，用于根据系数获取系数对应的动作表情参数。
添加单元533，用于将对应的动作表情参数添加至默认表情模型。
在本申请实施例一种可能的实现方式中，如图6所示，在如图4所示实施例的基础上，该通过人体特征对目标图片进行驱动的装置50还包括：
五官模型生成模块540，用于生成主体的五官模型，其中，五官模型具有多个第一骨骼控制点。
第二获取模块550，用于获取主体模型中五官的位置，并获取五官的多个第二骨骼控制点。
添加模块560，用于将五官模型添加至主体模型之中，使得多个第一骨骼控制点与多个第二骨骼控制点对应。
通过生成主体的五官模型，其中，五官模型具有多个第一骨骼控制点，获取主体模型中五官的位置，并获取五官的多个第二骨骼控制点，将五官模型添加至主体模型之中，使得多个第一骨骼控制点与多个第二骨骼控制点对应，实现了五官模型与主体模型的五官对准，增加了主模型的逼真程度，提高了真实性。
需要说明的是，前述对通过人体特征对目标图片进行驱动的方法实施例的解释说明也适用于该实施例的通过人体特征对目标图片进行驱动的装置，其实现原理类似，此处不再赘述。
本申请实施例的通过人体特征对目标图片进行驱动的装置，通过获取目标图片，并获取目标图片中的主体以及主体的多个关键点，根据主体的多个关键点生成主体的主体模型，获取用户的人体特征，根据人体特征对主体模型进行驱动。由此，通过获取图片中主体的关键点来生成主体模型，不仅可以生成人物模型还可以生成动物模型，再根据人体特征对主体模型进行驱动，达到了利用人体特征驱动照片中人物和/或动物的目的，而不仅限于驱动人物，从而提高了活照片模式的适用性和可推广性，增强了趣味性，提升了用户体验。
为了实现上述实施例，本申请还提出一种计算机设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的通过人体特征对目标图片进行驱动的方法。
图7为本申请实施例所提供的计算机设备的结构示意图，示出了适于用来实现本申请实施方式的示例性计算机设备90的框图。图7显示的计算机设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备90以通用计算机设备的形式表现。计算机设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元906，***存储器910，连接不同***组件(包括***存储器910和处理单元906)的总线908。
总线908表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及***组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备90典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器910可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)911和/或高速缓存存储器912。计算机设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***913可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线908相连。***存储器910可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
具有一组(至少一个)程序模块9140的程序/实用工具914，可以存储在例如***存储器910中，这样的程序模块9140包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9140通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备90也可以与一个或多个外部设备10(例如键盘、指向设备、显示器100等)通信，还可与一个或者多个使得用户能与该终端设备90交互的设备通信，和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口902进行。并且，计算机设备90还可以通过网络适配器900与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器900通过总线908与计算机设备90的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元906通过运行存储在***存储器910中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的通过人体特征对目标图片进行驱动的方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的通过人体特征对目标图片进行驱动的方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的通过人体特征对目标图片进行驱动的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (16)
1.一种通过人体特征对目标图片进行驱动的方法，其特征在于，包括：
获取目标图片，并获取所述目标图片中的主体以及所述主体的多个关键点；
根据所述主体的多个关键点生成所述主体的主体模型；以及
获取用户的人体特征，并根据所述人体特征对所述主体模型进行驱动。
2.如权利要求1所述的通过人体特征对目标图片进行驱动的方法，其特征在于，所述主体模型为3D模型，所述根据所述主体的多个关键点生成所述主体的主体模型，包括：
识别所述主体的类别，并根据所述主体的类别获取对应的网格模型；
根据所述主体的多个关键点和所述网格模型生成所述主体的网格数据，其中，所述网格数据中的多个网格点分别与所述多个关键点对应，所述多个关键点之间的连接方式为所述网格模型中限定的连接方式；以及
根据所述网格数据生成所述3D模型。
3.如权利要求2所述的通过人体特征对目标图片进行驱动的方法，其特征在于，所述根据所述网格数据生成所述3D模型，包括：
获取所述网格数据中的所述多个网格点；
通过相机投影矩阵对所述多个网格点进行投影以生成所述3D模型；以及
根据所述目标图片对所述3D模型进行贴图。
4.如权利要求3所述的通过人体特征对目标图片进行驱动的方法，其特征在于，所述根据所述目标图片对所述3D模型进行贴图，包括：
获取所述目标图片中多个关键点，并根据所述多个关键点将所述目标图片划分为多个第一区域；
获取所述3D模型中的多个网格点，并根据所述多个网格点将所述3D模型划分为多个第二区域，其中，所述多个第一区域分别与所述多个第二区域对应；以及
将所述多个第一区域的贴图数据复制至所述多个第二区域，并对所述3D模型进行渲染。
5.如权利要求2所述的通过人体特征对目标图片进行驱动的方法，其特征在于，在所述根据所述网格数据生成所述3D模型之后，还包括：
根据所述3D模型生成默认表情模型；以及
生成基于所述默认表情模型的多个动作表情参数，其中，所述多个动作表情参数与多个预设动作对应。
6.如权利要求5所述的通过人体特征对目标图片进行驱动的方法，其特征在于，所述人体特征为人脸表情，所述根据所述人体特征对所述主体模型进行驱动，包括：
获取人脸表情，并通过面部行为编码***获取所述人脸表情对应的系数；
根据所述系数获取所述系数对应的动作表情参数；以及
将所述对应的动作表情参数添加至所述默认表情模型。
7.如权利要求1-6任一项所述的通过人体特征对目标图片进行驱动的方法，其特征在于，还包括：
生成所述主体的五官模型，其中，所述五官模型具有多个第一骨骼控制点；
获取所述主体模型中五官的位置，并获取所述五官的多个第二骨骼控制点；
将所述五官模型添加至所述主体模型之中，使得所述多个第一骨骼控制点与所述多个第二骨骼控制点对应。
8.一种通过人体特征对目标图片进行驱动的装置，其特征在于，包括：
第一获取模块，用于获取目标图片，并获取所述目标图片中的主体以及所述主体的多个关键点；
生成模块，用于根据所述主体的多个关键点生成所述主体的主体模型；以及
驱动模块，用于获取用户的人体特征，并根据所述人体特征对所述主体模型进行驱动。
9.如权利要求8所述的通过人体特征对目标图片进行驱动的装置，其特征在于，所述主体模型为3D模型，所述生成模块，包括：
识别单元，用于识别所述主体的类别，并根据所述主体的类别获取对应的网格模型；
数据生成单元，用于根据所述主体的多个关键点和所述网格模型生成所述主体的网格数据，其中，所述网格数据中的多个网格点分别与所述多个关键点对应，所述多个关键点之间的连接方式为所述网格模型中限定的连接方式；以及
3D模型生成单元，用于根据所述网格数据生成所述3D模型。
10.如权利要求9所述的通过人体特征对目标图片进行驱动的装置，其特征在于，所述3D模型生成单元，具体用于：
获取所述网格数据中的所述多个网格点；
通过相机投影矩阵对所述多个网格点进行投影以生成所述3D模型；以及
根据所述目标图片对所述3D模型进行贴图。
11.如权利要求10所述的通过人体特征对目标图片进行驱动的装置，其特征在于，所述3D模型生成单元，还用于：
获取所述目标图片中多个关键点，并根据所述多个关键点将所述目标图片划分为多个第一区域；
获取所述3D模型中的多个网格点，并根据所述多个网格点将所述3D模型划分为多个第二区域，其中，所述多个第一区域分别与所述多个第二区域对应；以及
将所述多个第一区域的贴图数据复制至所述多个第二区域，并对所述3D模型进行渲染。
12.如权利要求9所述的通过人体特征对目标图片进行驱动的装置，其特征在于，所述生成模块，还包括：
表情模型生成单元，用于根据所述3D模型生成默认表情模型；以及
参数生成单元，用于生成基于所述默认表情模型的多个动作表情参数，其中，所述多个动作表情参数与多个预设动作对应。
13.如权利要求12所述的通过人体特征对目标图片进行驱动的装置，其特征在于，所述人体特征为人脸表情，所述驱动模块，包括：
第一获取单元，用于获取人脸表情，并通过面部行为编码***获取所述人脸表情对应的系数；
第二获取单元，用于根据所述系数获取所述系数对应的动作表情参数；以及
添加单元，用于将所述对应的动作表情参数添加至所述默认表情模型。
14.如权利要求8-13任一项所述的通过人体特征对目标图片进行驱动的装置，其特征在于，还包括：
五官模型生成模块，用于生成所述主体的五官模型，其中，所述五官模型具有多个第一骨骼控制点；
第二获取模块，用于获取所述主体模型中五官的位置，并获取所述五官的多个第二骨骼控制点；
添加模块，用于将所述五官模型添加至所述主体模型之中，使得所述多个第一骨骼控制点与所述多个第二骨骼控制点对应。
15.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的通过人体特征对目标图片进行驱动的方法。
16.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的通过人体特征对目标图片进行驱动的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811598714.1A CN109711335A (zh) | 2018-12-26 | 2018-12-26 | 通过人体特征对目标图片进行驱动的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811598714.1A CN109711335A (zh) | 2018-12-26 | 2018-12-26 | 通过人体特征对目标图片进行驱动的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711335A true CN109711335A (zh) | 2019-05-03 |
Family
ID=66257652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811598714.1A Pending CN109711335A (zh) | 2018-12-26 | 2018-12-26 | 通过人体特征对目标图片进行驱动的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711335A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
| CN112184921A (zh) * | 2020-10-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| CN102479388A (zh) * | 2010-11-22 | 2012-05-30 | 北京盛开互动科技有限公司 | 基于人脸跟踪和分析的表情互动方法 |
| CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射***及方法 |
| CN108875633A (zh) * | 2018-06-19 | 2018-11-23 | 北京旷视科技有限公司 | 表情检测与表情驱动方法、装置和***及存储介质 |
-
2018
- 2018-12-26 CN CN201811598714.1A patent/CN109711335A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| CN102479388A (zh) * | 2010-11-22 | 2012-05-30 | 北京盛开互动科技有限公司 | 基于人脸跟踪和分析的表情互动方法 |
| CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射***及方法 |
| CN108875633A (zh) * | 2018-06-19 | 2018-11-23 | 北京旷视科技有限公司 | 表情检测与表情驱动方法、装置和***及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
| US11100709B2 (en) | 2019-05-15 | 2021-08-24 | Zhejiang Sensetime Technology Development Co., Ltd | Method, apparatus and device for processing deformation of virtual object, and storage medium |
| CN112184921A (zh) * | 2020-10-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
| CN112184921B (zh) * | 2020-10-30 | 2024-02-06 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928592B2 (en) | Visual sign language translation training device and method | |
| US10489959B2 (en) | Generating a layered animatable puppet using a content stream | |
| Ichim et al. | Dynamic 3D avatar creation from hand-held video input | |
| US8988436B2 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
| US11995703B2 (en) | Image-to-image translation using unpaired data for supervised learning | |
| CN115205949B (zh) | 图像生成方法以及相关设备 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN111028330A (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| CN108537867A (zh) | 根据用户肢体运动的视频渲染方法和装置 | |
| CN109996107A (zh) | 视频生成方法、装置和*** | |
| CN111222486B (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN109068053A (zh) | 图像特效展示方法、装置和电子设备 | |
| CN109087379A (zh) | 人脸表情的迁移方法和人脸表情的迁移装置 | |
| CN108734769A (zh) | 三维模型分析方法、电子装置及非暂态电脑可读取媒体 | |
| CN108629821A (zh) | 动画生成方法和装置 | |
| CN109191552A (zh) | 三维模型处理方法、装置、电子设备和存储介质 | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN109272579A (zh) | 基于三维模型的美妆方法、装置、电子设备和存储介质 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN108479070A (zh) | 虚拟模型生成方法和装置 | |
| CN107656611A (zh) | 体感游戏实现方法及装置、终端设备 | |
| CN109711335A (zh) | 通过人体特征对目标图片进行驱动的方法及装置 | |
| CN108805970A (zh) | 光照估计方法及装置 | |
| Kennedy | Acting and its double: A practice-led investigation of the nature of acting within performance capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
| RJ01 | Rejection of invention patent application after publication |