CN111435546A - 模型动作方法、装置、带屏音箱、电子设备及存储介质 - Google Patents

模型动作方法、装置、带屏音箱、电子设备及存储介质 Download PDF

Info

Publication number
CN111435546A
CN111435546A CN201910037303.3A CN201910037303A CN111435546A CN 111435546 A CN111435546 A CN 111435546A CN 201910037303 A CN201910037303 A CN 201910037303A CN 111435546 A CN111435546 A CN 111435546A
Authority
CN
China
Prior art keywords
face
human face
action
image
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910037303.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910037303.3A priority Critical patent/CN111435546A/zh
Priority to PCT/CN2020/070375 priority patent/WO2020147598A1/zh
Publication of CN111435546A publication Critical patent/CN111435546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开公开了一种模型动作方法、装置、带屏音箱、电子设备及存储介质。其中方法包括：获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。本公开实施例解决当前二维空间中的模型动作方法无法模拟真实人物形象，模型动作效果差的问题，实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。

Description

模型动作方法、装置、带屏音箱、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术，尤其涉及一种模型动作方法、装置、带屏音箱、电子设备及存储介质。
背景技术
随着电子产品的发展，与电子产品进行良好的交互可以满足用户的使用需求，提高用户使用电子产品的体验感。
当前，人与机器的交互方法停留在二维空间中，如采用语音进行交互；或在屏幕互动中，通过检测肢体在平面移动的移动距离、移动速度和移动方向实现互动。二维空间中的交互无法模拟真实人物形象，交互效果差。
发明内容
本公开提供一种模型动作方法、装置、带屏音箱、电子设备及存储介质，以解决当前二维空间中的模型动作方法无法模拟真实人物形象，模型动作效果差的问题。
第一方面，本公开实施例提供了一种模型动作方法，包括：
获取连续的两张或两张以上的人脸图像；
根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；
根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
上述方案中，可选的是，在根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作之前，还包括：
获取至少一个预设角度的人脸图像，提取所述人脸图像的人脸特征数据；
根据所述人脸特征数据，构建所述人脸图像对应的人脸3D模型；
将所述人脸3D模型应用于预设3D形象，获得具有所述人脸特征数据的预设3D形象。
其中，所述人脸动作特征参数至少包括如下参数之一：移动速度、移动方向和移动距离。
上述方案中，可选的是，所述根据人脸图像中的人脸变化，确定对应的人脸动作特征参数，包括：
根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。
上述方案中，可选的是，所述根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作，包括：
根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。
其中，所述预设3D形象为：卡通3D形象、职业3D形象或性别3D形象。
第二方面，本公开实施例还提供了一种模型动作装置，该模型动作装置包括：
人脸图像获取模块，用于获取连续的两张或两张以上的人脸图像；
人脸动作特征参数确定模块，用于根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；
预设3D形象动作执行模块，用于根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
上述方案中，可选的是，该装置还包括：预设3D形象获取模块，用于在根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作之前，获取至少一个预设角度的人脸图像，提取所述人脸图像的人脸特征数据；根据所述人脸特征数据，构建所述人脸图像对应的人脸3D模型；将所述人脸3D模型应用于预设3D形象，获得具有所述人脸特征数据的预设3D形象。
其中，所述人脸动作特征参数至少包括如下参数之一：移动速度、移动方向和移动距离。
上述方案中，可选的是，所述人脸动作特征参数确定模块，具体用于：
根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。
上述方案中，可选的是，所述预设3D形象动作执行模块，具体用于：
根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。
其中，所述预设3D形象为：卡通3D形象、职业3D形象或性别3D形象。
第三方面，本公开实施例还提供了一种带屏音箱，包括主体、位于主体内的控制器和位于主体上的至少两个摄像头；所述至少两个摄像头之间的距离大于距离阈值设置，所述控制器内设置如本公开任意实施例提供的所述的模型动作装置。
第四方面，本公开实施例还提供了一种电子设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例中任一所述的模型动作方法。
第五方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例中任一所述的模型动作方法。
本公开实施例提供的模型动作方法，通过获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作，可以实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。
附图说明
图1是本公开实施例一提供的一种模型动作方法的流程图；
图2是本公开实施例二提供的一种模型动作方法的流程图；
图3是本公开实施例三提供的一种模型动作方法的流程图；
图4是本公开实施例四提供的一种模型动作装置的结构示意图；
图5是本公开实施例五提供的一种带屏音箱的结构示意图；
图6为本公开实施例五提供的带屏音箱模型动作界面控件结构示意图；
图7是本公开实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
实施例一
图1为本公开实施例一提供的一种模型动作方法的流程图，本实施例可适用于人脸动作交互的情况，该方法可以由模型动作装置来执行，该装置可由硬件和/或软件组成，并一般可集成在手机、平板以及计算机等电子设备中。具体包括如下步骤：
S110、获取连续的两张或两张以上的人脸图像。
通过至少一个摄像头获取连续的两张或两张以上的人脸图像，每张图像之间的时间间隔预先设定。可选地，可以通过摄像头每隔预设时间间隔获取一张人脸图像，还可以通过摄像头录制人脸视频数据，按照预设时间间隔在人脸视频数据中截取人脸图像。
S120、根据人脸图像中的人脸变化，确定对应的人脸动作特征参数。
通过两张或两张以上的人脸图像，可以检测出人脸图像中的人脸变化，具体地，在检测人脸图像中人脸变化时，通过比对两张人脸图像中对应位置处的像素变化，确定人脸变化，示例性地，以人脸中某一固定部位的人脸变化确定人脸变化，某一固定部位例如可以是眼睛或下巴，以眼睛为例，以人脸中眼睛在两张图中的变化，确定人脸的变化，眼睛在两张图像中的变化可以有位置变化，根据两张图像的间隔时间可以确认眼睛的移动速度，通过多张图像中眼睛的位置变化，可以得到眼睛的移动轨迹，结合移动的时间信息可以得到移动的速度信息，由此可以确定人脸动作特征参数。
可选地，所述人脸动作特征参数至少包括如下参数之一：移动速度、移动方向和移动距离。人脸动作可以是上下晃动，左右晃动或转圈晃动等。对应人脸动作的人脸动作特征参数为移动速度、移动方向和移动距离中的至少一项，可选地，人脸动作特征参数包括移动速度、移动方向和移动距离。通过人脸动作特征参数可以还原人脸动作，达到与用户进行互动的效果。
S130、根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
其中，所述预设3D形象为：卡通3D形象、职业3D形象或性别3D形象。卡通3D形象例如可以是小猫、小狗或猴子等动物形象，也可以是小猪佩奇或樱桃丸子等动画形象。职业3D形象例如可以是医生、教师、消防员或警察等形象。性别3D形象例如可以是男人或女人，在性别3D形象中还可以结合年龄信息，具体设置男孩，女孩，成年男人，成年女人，老年男人或老年女人等形象。
在上述方案中，可选的是，所述根据人脸图像中的人脸变化，确定对应的人脸动作特征参数，包括：根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。其中，预设部位例如可以是眼睛或下巴，也可以是双颊，具体部位在此不做具体限定。
在上述方案中，可选的是，所述根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作，包括：根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。模型动作指令包括人脸的移动速度、移动方向和移动距离，预设3D形象根据模型动作指令模拟人脸动作，通过预设3D形象实现与用户的人脸动作交互。模型动作指令中包括预设3D形象的脸部移动速度、移动方向和移动距离，预设3D形象的脸部移动速度、移动方向和移动距离可以与用户的人脸的移动速度、移动方向和移动距离相同，也可以是按照预设规则进行设置，预设规则例如可以是，用户的人脸的移动速度是v，预设3D形象的脸部移动速度为2v；用户的人脸的移动方向为左右，预设3D形象的脸部移动方向为左右；用户的人脸的移动距离为d，预设3D形象的脸部移动距离为2d。预设规则例如还可以是，用户的人脸的移动速度是v，预设3D形象的脸部移动速度为v/2；用户的人脸的移动方向为左右，预设3D形象的脸部移动方向为右左；用户的人脸的移动距离为d，预设3D形象的脸部移动距离为d/2。预设规则可以任意设定，提高交互趣味性。
本公开实施例提供的模型动作方法，通过获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作，可以实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。
实施例二
图2为本公开实施例二提供的一种模型动作方法的流程示意图。本实施例以上述实施例中各个可选方案为基础进行具体化。具体包括如下：
S210、获取连续的两张或两张以上的人脸图像。
S220、根据人脸图像中的人脸变化，确定对应的人脸动作特征参数。
S230、获取至少一个预设角度的人脸图像，提取所述人脸图像的人脸特征数据。
通过至少两个摄像头获取至少一个预设角度的人脸图像，至少两个摄像头的距离大于距离阈值设置，可以方便多角度多方位拍摄人脸图像，丰富人脸图像获取的角度信息，进而丰富人脸图像的人脸特征数据，以达到提高人脸3D模型构建的精度的效果。通过人脸特征提取算法，提取人脸图像的人脸特征数据。人脸特征数据主要表征眼睛、眉毛、鼻子、嘴巴、耳朵和人脸轮廓的数据，通过人脸特征数据可以唯一表示人脸。
S240、根据所述人脸特征数据，构建所述人脸图像对应的人脸3D模型。
根据获取到的人脸特征数据，构建人脸图像对应的人脸3D模型，在构建人脸3D模型时，采用的3D模型可以为通用人脸模型或三维变形模型。
S250、将所述人脸3D模型应用于预设3D形象，获得具有所述人脸特征数据的预设3D形象。
将构建得到的人脸3D模型应用于预设3D形象，预设3D形象便具有与用户相同的人脸特征数据，达到模拟用户长相的目的，并且通过预设3D形象可以实现用户的角色扮演，如预设3D形象为医生，则在将用户的人脸3D模型应用于预设3D形象后，可以形成具有用户人脸数据的医生，即可以获得与用户长相一样的医生，实现用户扮演医生，提高娱乐性。
S260、根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
预设3D形象为具有用户人脸特征数据的3D形象，预设3D形象根据人脸动作特征参数生成模型动作指令，按照模型动作指令执行对应的人脸动作，可以实现用户与具有与自己相同人脸特征数据的预设3D形象进行人脸动作交互，提高趣味性，增强交互体验。
本实施例的技术方案通过获取至少一个预设角度的人脸图像，提取人脸图像的人脸特征数据；根据人脸特征数据，构建人脸图像对应的人脸3D模型；将人脸3D模型应用于预设3D形象，获得具有人脸特征数据的预设3D形象，可以实现与具有用户人脸特征的虚拟形象进行人脸动作交互，提高娱乐性，增强交互体验。
需要说明的是，本实施例中不限定步骤S210、S220和步骤S230、S240、S250的执行顺序，可以是依据本实施例的顺序执行，还可以是先执行步骤S230，S240、S250，再执行步骤S210和S220，还可以是步骤S210和S220，与步骤S230，S240和S250同步执行。
实施例三
图3为本公开实施例三提供的一种模型动作方法的流程示意图。本实施例以上述实施例中各个可选方案为基础进行具体化。具体包括如下：
S310、获取连续的两张或两张以上的人脸图像。
S320、根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。
人脸图像中预设部位至少包括：眼睛、嘴巴、鼻子、眉毛、下巴，额头和双颊。在本实施例中，以人脸图像中的预设部位为嘴巴为例，检测人脸图像中嘴巴的位置变化。在获取的多张人脸图像中，通过检测嘴巴在人脸图像中的位置，可以确定嘴巴的移动方向和移动距离，通过人脸图像具有的时间信息，可以确定嘴巴位置移动对应的时间段，进而可以确定嘴巴的移动速度。嘴巴的移动速度、移动方向和移动距离即人脸的移动速度、移动方向和移动距离。
S330、根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。
根据用户的人脸移动速度、移动方向和移动距离，生成模型动作指令，模型动作指令中包含预设3D形象的脸部移动速度、移动方向和移动距离，预设3D形象的脸部移动速度、移动方向和移动距离可以与用户的人脸移动速度、移动方向和移动距离相同，也可以不同，可以按照预设规则进行设置，预设规则可以参照上述公开实施例。
本实施例的技术方案获取连续的两张或两张以上的人脸图像，根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离，提高人脸的移动速度、移动方向和移动距离确定的准确度；根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作，实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。
实施例四
图4为本公开实施例四提供的一种模型动作装置的结构示意图。参考图4，模型动作装置包括：人脸图像获取模块410、人脸动作特征参数确定模块420和预设3D形象动作执行模块430，下面对各模块进行具体说明。
人脸图像获取模块410，用于获取连续的两张或两张以上的人脸图像；
人脸动作特征参数确定模块420，用于根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；
预设3D形象动作执行模块430，用于根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
本实施例提供的模型动作装置，可以实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。
上述方案中，可选的是，该装置还包括：预设3D形象获取模块，用于在根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作之前，获取至少一个预设角度的人脸图像，提取所述人脸图像的人脸特征数据；根据所述人脸特征数据，构建所述人脸图像对应的人脸3D模型；将所述人脸3D模型应用于预设3D形象，获得具有所述人脸特征数据的预设3D形象。
其中，所述人脸动作特征参数至少包括如下参数之一：移动速度、移动方向和移动距离。
上述方案中，可选的是，所述人脸动作特征参数确定模块，具体用于：
根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。
上述方案中，可选的是，所述预设3D形象动作执行模块，具体用于：
根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。
其中，所述预设3D形象为：卡通3D形象、职业3D形象或性别3D形象。
本公开提供的模型动作装置可执行本公开任意实施例所提供的模型动作方法，具备执行模型动作方法相应的功能模块和有益效果。
实施例五
图5为本公开实施例五提供的一种带屏音箱的结构示意图。参考图5，带屏音箱包括：包括主体51、位于主体51内的控制器52和位于主体51上的至少两个摄像头53；所述至少两个摄像头53之间的距离大于距离阈值设置，所述控制器52内设置如本公开实施例提供的任一模型动作装置。
至少两个摄像头之间的距离大于距离阈值设置，以两个摄像头为例，一个摄像头可以放置在带屏音箱主体的上部位置，另一个摄像头可以防止在带屏音箱主体的下部位置，距离大于距离阈值设置，可以方便多角度多方位拍摄人脸图像，丰富人脸图像获取的角度信息，进而丰富人脸图像的人脸特征数据，以达到提高人脸3D模型构建的精度的效果。
图6为本公开实施例提供的带屏音箱模型动作界面控件结构示意图，用户启动模型动作界面后，通过设置菜单控件1选择预设3D形象的形象种类，预设3D形象的脸部移动速度、移动方向和移动距离与用户人脸的移动速度、移动方向和移动距离的规则。在预设3D形象种类设置中，可以通过控件2进行快速设置。首先多次点击控件3，摄像头获取到用户的人脸图像数据，提取人脸特征数据，构建人脸3D模型，将人脸3D模型应用于预设3D形象，使得预设3D形象具有用户的人脸特征数据，然后长按控件3，摄像头捕捉用户的人脸动作，预设3D形象根据用户的人脸移动速度、移动方向和移动距离，按照用户的设定规则执行脸部动作，实现与用户通过脸部动作进行交互。
示例性地，带屏音箱可以应用于点读场景，通过带屏音箱的摄像头获取点读材料的图像数据，点读材料以书籍为例，点读材料例如可以放置在桌面上。通过对点读材料的图像数据进行分析，获取图像文字内容，将文字内容转化成语音数据，通过音箱喇叭实现点读。带屏音箱中的屏幕可以展示预设3D形象，通过预设3D形象进行点读，实现点读的趣味性，例如预设3D形象是教师，通过教师进行点读，实现对真实教学的模拟，提高学习乐趣，进而提高学习效率。
用户还可以通过带屏音箱中显示的预设3D形象，采用上述公开实施例中模型动作方法实现与预设3D形象的人脸动作互动，提高交互体验。
本实施例提供的带屏音箱，可以实现通过预设3D形象模拟人脸动作，提高人脸动作模拟的效果，增强人脸动作模拟的真实性，提高交互体验。
实施例六
下面参考图7，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，预设3D形象动作执行模块还可以被描述为“动作执行模块”。
实施例七
本公开实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被模型动作装置执行时实现如本公开实施例一提供的模型动作方法，该方法包括：获取连续的两张或两张以上的人脸图像；根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
当然，本公开实施例所提供的一种计算机可读存储介质，其上存储的计算机程序被执行时不限于实现如上所述的方法操作，还可以实现本公开任意实施例所提供的模型动作方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
值得注意的是，上述模型动作装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。

Claims (10)

1.一种模型动作方法，其特征在于，包括：
获取连续的两张或两张以上的人脸图像；
根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；
根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
2.根据权利要求1所述的方法，其特征在于，在根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作之前，还包括：
获取至少一个预设角度的人脸图像，提取所述人脸图像的人脸特征数据；
根据所述人脸特征数据，构建所述人脸图像对应的人脸3D模型；
将所述人脸3D模型应用于预设3D形象，获得具有所述人脸特征数据的预设3D形象。
3.根据权利要求1所述的方法，其特征在于，所述人脸动作特征参数至少包括如下参数之一：移动速度、移动方向和移动距离。
4.根据权利要求3所述的方法，其特征在于，所述根据人脸图像中的人脸变化，确定对应的人脸动作特征参数，包括：
根据人脸图像中的预设部位的位置变化，确定人脸的移动速度、移动方向和移动距离。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作，包括：
根据人脸的移动速度、移动方向和移动距离生成模型动作指令，使预设3D形象根据所述人脸的移动速度、移动方向和移动距离执行人脸动作。
6.根据权利要求1所述的方法，其特征在于，所述预设3D形象为：卡通3D形象、职业3D形象或性别3D形象。
7.一种模型动作装置，其特征在于，包括：
人脸图像获取模块，用于获取连续的两张或两张以上的人脸图像；
人脸动作特征参数确定模块，用于根据人脸图像中的人脸变化，确定对应的人脸动作特征参数；
预设3D形象动作执行模块，用于根据所述人脸动作特征参数生成模型动作指令，使预设3D形象根据所述人脸动作特征参数执行对应的人脸动作。
8.一种带屏音箱，其特征在于，包括主体、位于主体内的控制器和位于主体上的至少两个摄像头；所述至少两个摄像头之间的距离大于距离阈值设置，所述控制器内设置如权利要求7所述的装置。
9.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的模型动作方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的模型动作方法。
CN201910037303.3A 2019-01-15 2019-01-15 模型动作方法、装置、带屏音箱、电子设备及存储介质 Pending CN111435546A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910037303.3A CN111435546A (zh) 2019-01-15 2019-01-15 模型动作方法、装置、带屏音箱、电子设备及存储介质
PCT/CN2020/070375 WO2020147598A1 (zh) 2019-01-15 2020-01-06 模型动作方法、装置、带屏音箱、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910037303.3A CN111435546A (zh) 2019-01-15 2019-01-15 模型动作方法、装置、带屏音箱、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111435546A true CN111435546A (zh) 2020-07-21

Family

ID=71580067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910037303.3A Pending CN111435546A (zh) 2019-01-15 2019-01-15 模型动作方法、装置、带屏音箱、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111435546A (zh)
WO (1) WO2020147598A1 (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991817A (zh) * 2005-12-29 2007-07-04 罗兆鑫 电子邮件辅助暨文字转语音***
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师***
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN103413468A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 一种基于虚拟人物的亲子教育方法
CN103414782A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 一种基于虚拟人物的亲子***及方法
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关***装置与方法
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习***及方法
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技（上海）有限公司 一种在虚拟场景中进行视频通信的方法及装置
CN107705355A (zh) * 2017-09-08 2018-02-16 郭睿 一种基于多张图片的3d人体建模方法及装置
CN107831902A (zh) * 2017-11-23 2018-03-23 腾讯科技（上海）有限公司 一种运动控制方法及其设备、存储介质、终端
CN108090463A (zh) * 2017-12-29 2018-05-29 腾讯科技（深圳）有限公司 对象控制方法、装置、存储介质和计算机设备
CN108229239A (zh) * 2016-12-09 2018-06-29 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN108615256A (zh) * 2018-03-29 2018-10-02 西南民族大学 一种人脸三维重建方法及装置
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质
CN109118562A (zh) * 2018-08-31 2019-01-01 百度在线网络技术（北京）有限公司 虚拟形象的讲解视频制作方法、装置以及终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105924B (zh) * 2011-11-15 2015-09-09 中国科学院深圳先进技术研究院 人机交互方法和装置
WO2013174671A1 (en) * 2012-05-22 2013-11-28 Telefonica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
CN104616347A (zh) * 2015-01-05 2015-05-13 掌赢信息科技（上海）有限公司 一种表情迁移方法、电子设备及***
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置
CN107479693A (zh) * 2017-07-07 2017-12-15 大圣科技股份有限公司 基于rgb信息的实时手部识别方法、存储介质、电子设备
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和***及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991817A (zh) * 2005-12-29 2007-07-04 罗兆鑫 电子邮件辅助暨文字转语音***
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师***
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN103413468A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 一种基于虚拟人物的亲子教育方法
CN103414782A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 一种基于虚拟人物的亲子***及方法
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关***装置与方法
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技（上海）有限公司 一种在虚拟场景中进行视频通信的方法及装置
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习***及方法
CN108229239A (zh) * 2016-12-09 2018-06-29 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN107705355A (zh) * 2017-09-08 2018-02-16 郭睿 一种基于多张图片的3d人体建模方法及装置
CN107831902A (zh) * 2017-11-23 2018-03-23 腾讯科技（上海）有限公司 一种运动控制方法及其设备、存储介质、终端
CN108090463A (zh) * 2017-12-29 2018-05-29 腾讯科技（深圳）有限公司 对象控制方法、装置、存储介质和计算机设备
CN108615256A (zh) * 2018-03-29 2018-10-02 西南民族大学 一种人脸三维重建方法及装置
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质
CN109118562A (zh) * 2018-08-31 2019-01-01 百度在线网络技术（北京）有限公司 虚拟形象的讲解视频制作方法、装置以及终端

Also Published As

Publication number Publication date
WO2020147598A1 (zh) 2020-07-23

Similar Documents

Publication Publication Date Title
CN109462776B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
US20210029305A1 (en) Method and apparatus for adding a video special effect, terminal device and storage medium
US11463611B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
CN109474850B (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN113946211A (zh) 基于元宇宙的多个对象的交互方法及相关设备
KR20120123330A (ko) 프리젠테이션을 위한 카메라 탐색
WO2022170958A1 (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
EP4243398A1 (en) Video processing method and apparatus, electronic device, and storage medium
KR20220093342A (ko) 분할 미러 효과의 구현 방법, 장치 및 관련 제품
CN109348277B (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
US20230182028A1 (en) Game live broadcast interaction method and apparatus
CN110047119B (zh) 包含动态背景的动画生成方法、装置及电子设备
CN111638791B (zh) 虚拟角色的生成方法、装置、电子设备及存储介质
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
WO2023116653A1 (zh) 元素展示方法、装置、电子设备及存储介质
CN110035271B (zh) 保真图像生成方法、装置及电子设备
KR20220148915A (ko) 오디오 처리 방법, 장치, 판독 가능 매체 및 전자기기
KR20210110852A (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
CN113806306B (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
JP2022500795A (ja) アバターアニメーション
CN109271929B (zh) 检测方法和装置
US20230267664A1 (en) Animation processing method and apparatus, electronic device and storage medium
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination