CN108513089A - 群组视频会话的方法及装置 - Google Patents
群组视频会话的方法及装置 Download PDFInfo
- Publication number
- CN108513089A CN108513089A CN201710104442.4A CN201710104442A CN108513089A CN 108513089 A CN108513089 A CN 108513089A CN 201710104442 A CN201710104442 A CN 201710104442A CN 108513089 A CN108513089 A CN 108513089A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- head
- model
- virtual portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种群组视频会话的方法及装置,属于VR(Virtual Reality,虚拟现实)技术领域。该方法包括:获取群组视频会话中第一用户的虚拟人物,第一用户的虚拟人物至少根据第一用户的头部特征数据和第一用户对应的肢体模型得到;在群组视频会话的过程中,基于第一用户的虚拟人物和第一用户的行为特征数据,获取第一用户的视频数据,视频数据中第一用户的虚拟人物的动作与第一用户的实际动作匹配;向参与群组视频会话的第二用户所在终端发送第一用户的视频数据,以实现群组视频会话。本发明能够更加灵动地表达第一用户的实际形象,增强群组视频会话时的视觉效果。
Description
技术领域
本发明涉及VR(Virtual Reality,虚拟现实)技术领域,特别涉及一种群组视频会话的方法及装置。
背景技术
VR技术是一种可以创建和体验虚拟世界的技术,能够模拟出的逼真环境并智能地感知用户的行为,使得用户感觉身临其境。因此,VR技术在社交方面的应用受到了广泛关注,基于VR技术进行群组视频会话的方法应运而生。
在群组视频会话时,VR设备上可以提供多个虚拟人物,使得使用VR设备的虚拟用户可以自行选择一个虚拟人物,进而,虚拟用户可以通过该虚拟人物表达自己的形象,从而与群组视频会话中的其他虚拟用户进行交流。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
每个虚拟用户的实际形象都有各自的特征,而VR设备上提供的虚拟人物有限,很可能与虚拟用户的真实形象大相径庭,导致虚拟人物表达虚拟用户的效果差,群组视频会话时的视觉效果差。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种群组视频会话的方法及装置。所述技术方案如下:
一方面,提供了一种群组视频会话的方法,所述方法包括:
获取群组视频会话中第一用户的虚拟人物,所述第一用户的虚拟人物至少根据所述第一用户的头部特征数据和所述第一用户对应的肢体模型得到;
在所述群组视频会话的过程中,基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据,所述视频数据中所述第一用户的虚拟人物的动作与所述第一用户的实际动作匹配;
向参与所述群组视频会话的第二用户所在终端发送所述第一用户的视频数据,以实现所述群组视频会话。
另一方面,提供了一种群组视频会话的装置,所述装置包括:
虚拟人物获取模块,用于获取群组视频会话中第一用户的虚拟人物,所述第一用户的虚拟人物至少根据所述第一用户的头部特征数据和所述第一用户对应的肢体模型得到;
视频数据获取模块,用于在所述群组视频会话的过程中,基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据,所述视频数据中所述第一用户的虚拟人物的动作与所述第一用户的实际动作匹配;
发送模块,用于向参与所述群组视频会话的第二用户所在终端发送所述第一用户的视频数据,以实现所述群组视频会话。
本发明实施例通过在群组视频会话中第一用户的虚拟人物,且该虚拟人物根据第一用户的头部特征数据和对应的肢体模型得到,使得该虚拟人物能够匹配与第一用户的实际形象,而且,基于该虚拟人物和行为特征数据得到了该第一用户的视频数据,使得第一用户的虚拟人物的动作也能匹配第一用户的实际动作,从而更加灵动地表达第一用户的实际形象,增强了群组视频会话时的视觉效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种群组视频会话的实施环境示意图;
图2是本发明实施例提供的一种群组视频会话的方法流程图;
图3是本发明实施例提供的一种获取虚拟人物的流程图;
图4是本发明实施例提供的一种获取头部方位数据的流程图;
图5是本发明实施例提供的一种获取视频数据的流程图;
图6是本发明实施例提供的一种群组视频会话的流程图;
图7是本发明实施例提供的一种显示视频数据的流程图;
图8是本发明实施例提供的一种群组视频会话的装置框图;
图9是本发明实施例提供的一种群组视频会话的装置900的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种群组视频会话的实施环境示意图。参见图1,该实施环境中包括:
至少一个传统终端101(如,移动终端和台式电脑)、至少一个VR设备102和至少一个服务器103。其中,服务器103用于获取使用传统终端101或VR设备102的用户的虚拟人物、基于该用户的虚拟人物和行为特征数据得到视频数据、将视频数据发送至传统终端101或VR设备102,使得不同类型的用户之间能够进行群组视频会话。传统终端101用于接收并显示服务器103发送的视频数据。VR设备102也可以用于获取VR设备102的用户的虚拟人物、基于该用户的虚拟人物和行为特征数据得到视频数据、将视频数据发送至另一VR设备102,或者,还可以用于接收并显示服务器103所发送的视频数据。
另外,该服务器103还可以配置至少一个数据库,如五官模型数据库、肢体模型数据、虚拟人物数据库、用户资料数据库和用户关系链数据库等等。该五官模型数据库用于存储卡通化的五官模型;肢体模型数据库用于存储卡通化的肢体模型,该肢体模型数据库还可以存储有着装;虚拟人物数据库用于对应存储用户的用户标识和虚拟人物;用户资料数据库至少用于存储用户的年龄数据、性别数据和职业数据等用户属性;用户关系链数据库用于存储用户具有的用户关系链数据,如,用户关系链数据至少用于指示与该用户为好友关系或群组关系的用户。
需要说明的是,当VR设备102用于获取虚拟人物时,可以从服务器103配置的至少一个数据库中获取五官模型、肢体模型或虚拟人物。而且,本发明实施例中涉及的虚拟人物(包括头部模型和肢体模型)均为三维形式。
图2是本发明实施例提供的一种群组视频会话的方法流程图。参见图2,该方法可以应用于服务器或者VR设备,以服务器作为执行主体为例,该方法具体包括:
201、获取群组视频会话中第一用户的虚拟人物。
群组视频会话是指多个(两个或两个以上)用户基于服务器进行的视频会话。其中,多个用户可以是该服务器对应的社交平台上的多个用户,该多个用户之间可能是群组关系或好友关系。需要说明的是,该群组视频会话中的用户可以是使用VR设备的虚拟用户,也可以是使用传统终端(如,台式电脑、移动电话)的传统用户。
第一用户可以是该群组视频会话中的任一用户。第一用户的虚拟人物至少根据第一用户的头部特征数据和第一用户对应的肢体模型得到。本发明实施例对获取虚拟人物的时机不做限定。例如,当服务器为多个用户创建群组视频会话时,获取该多个用户中每个用户的虚拟人物。又例如,在群组视频会话的过程中,该第一用户接受该群组视频会话中某一用户的邀请,使得服务器确定该第一用户加入群组视频会话时,获取该第一用户的虚拟人物。
本发明实施例中,服务器可以根据第一用户的头部特征数据和对应的肢体模型,实时地为第一用户创建虚拟人物,从而获取到该虚拟人物。或者,服务器配置的虚拟人物数据库中也可能预先存储了第一用户的虚拟人物,因此服务器也可以根据第一用户的用户标识,在虚拟人物数据库中查询是否存在与用户标识对应的虚拟人物,如果是,则可以直接获取到该第一用户的虚拟人物,如果否,则可以实时地为该第一用户创建虚拟人物。事实上,虚拟人物数据库中预先存储的虚拟人物也是由服务器创建的,也即是,获取虚拟人物的过程包括创建过程。其中,基于创建过程获取到虚拟人物的过程可以采用以下步骤201A-201D进行获取:
201A、获取第一用户的头部特征数据。
该头部特征数据用于描述该第一用户的实际头部形象,可以用于指示该第一用户的头发区域、头发色调、脸部区域、脸部色调、五官位置和五官形态中的至少一项。其中,五官形态至少包括五官色调和五官轮廓。
本发明实施例对获取头部特征数据的方式不做限定。例如:
服务器获取第一用户的头部图像数据,对头部图像数据的色调分布进行分析,得到头部特征数据。该头部图像数据的来源可以有多种,如,第一用户的云相册中的头部图像数据(大头照),或者第一用户的摄像头当前拍摄的头部图像数据。当然,服务器也可以获取多张第一用户的头部图像,从而更全面地分析头部图像数据。事实上,服务器也可以提供拍摄提示,该拍摄提示用于提示用户以不同的拍摄角度进行拍摄,使得服务器能够获取到不同拍摄角度的头部图像数据,从而使得后续得到的头部模型与第一用户的实际形象更为匹配。
由于用户的头发、脸部和五官的色调各具特征(如,黄种人发色一般为黑色,脸部一般偏黄,眼部为黑白,嘴部为红色),且色调明暗(如,嘴部、鼻梁和脑门等相对突出的部分一般较亮,鼻翼和眼窝一般较暗)也各有不同,因此,服务器可以基于上述特征得到头部特征数据:
在确定脸部色调和脸部区域时,服务器可以将头部图像数据中的像素点的颜色值与已配置的多种肤色进行比较,如果超过第一比例的连续像素点的颜色值均与某一种肤色匹配,则可以将该肤色确定为脸部色调,并将匹配的连续像素点所构成的图像区域确定为脸部区域。
在确定头发色调和头发区域时,服务器可以将与脸部区域相邻的连续像素点确定为头发区域,并提取该连续像素点的颜色值作为头发色调。
在确定五官位置时,由于嘴部、眼睛和眉毛的色调与脸部色调不同,服务器可以将确定的脸部区域内的空心区域分别确定为嘴部、眼睛和眉毛位置。其中,眉毛的位置位于最上面,其次是眼睛,嘴部位于最下面。而且,由于耳部相对脸部向外侧突出,服务器可以确定脸部区域的两侧的边缘像素点,分析该边缘像素点的切线斜率,如果从像素点A到像素点B的切线斜率的变化率均满足预设变化率,则可以将像素点A至像素点B所在的区域确定为耳部位置。另外,由于鼻子相对脸部较为立体,一般在鼻子两侧和下面会形成阴影,且鼻梁亮度较高,因此服务器可以分析出脸部区域中明暗度高于第一明暗度的连续像素点,且位于该连续像素点两侧的连续像素点、下方的连续像素点的明暗度低于第二明暗度,将这三部分连续像素点所在的区域确定为鼻子位置。根据上述确定的五官位置,服务器可以根据五官位置所在的边缘像素点所构成的形状确定为五官轮廓,将五官位置所在的像素点的颜色确定为五官色调,从而得到五官形态。当然,为了表征鼻子的立体程度,服务器可以记录鼻子位置中高于第一明暗度的像素点与低于第二明暗度的像素点的明暗度比例,该明暗度比例越高,表明第一用户的鼻子越立体。
事实上,以上获取头部特征数据的方式仅是示例性的,本发明实施例也可以采用任一种方式获取头部特征数据,例如,基于人脸模板的识别算法或利用神经网络进行识别的算法。
当然,服务器还可以继续对确定的头部特征数据进行修正,例如,根据该头部特征数据中的五官位置,确定五官比例,将该五官比例与已配置的正常五官比例进行比较,如果不符合正常五官比例,服务器可以适应性修正五官中某一部分的位置,使得五官比例符合正常五官比例。事实上,该正常五官比例用于指示正常的五官比例所处的范围,因此在比较过程中,该五官比例符合正常的五官比例所处的范围即可。
需要说明的是,为了节省服务器的运算资源,服务器也可以分析必要头部特征数据,必要头部特征数据用于简要地描述该第一用户的实际头部形象,如,必要头部特征数据可以用于指示脸部色调、五官位置和五官形态。
201B、根据头部特征数据,生成与头部特征数据匹配的头部模型。
基于步骤201A获取到的头部特征数据,为了更细致地表达虚拟人物的头部模型,使其头部模型与第一用户的实际长相更为匹配,该步骤可以具体为:根据脸部区域和头发区域,确定头部轮廓模型,头部轮廓模型包括脸部轮廓模型和头发轮廓模型;根据脸部色调和头发色调,填充脸部轮廓模型和头发轮廓模型;获取与五官形态匹配的五官模型;按照五官位置,将五官模型合成至脸部轮廓模型,生成与头部特征数据匹配的头部模型。
例如,服务器确定脸部色调为乳白色、头发色调为棕色,则服务器可以根据脸部区域(头发区域)的边缘像素点构成的形状确定为脸部轮廓(头发轮廓),从而生成脸部轮廓模型(头发轮廓模型),从而确定头部轮廓模型,进而,服务器可以用乳白色填充脸部轮廓模型,得到脸部模型,用棕色填充头发轮廓模型,得到头发模型。进一步地,服务器可以将鼻子形态、嘴部形态等五官形态与五官模型数据库中卡通化的五官模型进行比较,获取与五官色调、五官轮廓相似度最高的五官模型,并按照五官位置,将获取的五官模型分别合成至已填充的脸部轮廓模型上,按照脸部轮廓模型与头发轮廓模型的弧度,构建三维的头部模型,使得生成的头部模型与第一用户的实际头部形象匹配。
事实上,服务器也可以根据五官形态生成卡通化的五官模型,例如,用嘴部形态中的嘴部色调填充嘴部轮廓,并加深嘴部轮廓的两端连线上的像素点,生成嘴部模型,且嘴部模型呈“两瓣”效果。例如,眼部形态中的眼部色调至少包括两种,即眼球色调和眼白色调,眼白色调一般为偏白色调,因此,服务器是可以用眼部色调中的偏白色调填充眼部轮廓,用眼部色调中的另一色调填充眼部轮廓中的球型轮廓,该球型轮廓与眼部轮廓相切。
需要说明的是,为了更加细致地表达第一用户的头部形象,服务器还可以进一步处理该头部模型。例如,服务器为头发模型添加纹理,并获取该第一用户的年龄数据,在脸部模型上添加与该第一用户的年龄匹配的纹理。又例如,服务器获取该第一用户的性别数据,如果该第一用户为女性,则可以延长眼部模型上的睫毛长度,加强嘴部模型的亮度。又例如,服务器获取第一用户的职业数据,如果该第一用户为学生,则可以在脸部模型上添加眼镜模型。
201C、根据第一用户的用户属性,确定第一用户对应的肢体模型。
其中,用户属性不限于用户的性别、年龄和职业。一般地,用户会在社交平台上注册账号时填写用户属性,使得服务器能够得到用户属性,并将用户属性与用户标识对应存储。
由于用户的实际形象往往与性别、年龄、职业、身高、体重等用户属性密切相关,因此,为使虚拟人物更加符合第一用户的实际形象,服务器可以根据第一用户的用户标识,获取该用户标识对应的用户属性,进而,根据用户属性,从肢体模型数据库中选择与用户属性匹配的肢体模型。而且,服务器也会提供着装模型。
其中,本发明实施例对提供着装的方式不做限定。例如,该肢体模型中可以包括着装,或者,服务器也可以单独提供着装模型,该着装模型可以存储于肢体模型数据库,也可以存储于服务器配置的着装模型数据库。如果服务器单独提供着装模型,则可以将着装模型和对应的着装选项提供给第一用户,使得第一用户可以通过着装选项选择对应的着装模型。或者,服务器也可以获取第一用户的图像数据,确定图像数据中该第一用户所穿的服装,匹配出与第一用户所穿的服装对应的着装模型,将该着装模型提供给第一用户。在匹配着装模型时,不限于根据服装颜色或形状进行匹配。或者,服务器可以根据用户属性确定该第一用户的着装模型,具体过程与下述确定肢体模型的过程类似。
另外,如果肢体模型中包括着装模型,服务器也可以采用以下至少三种用户属性确定肢体模型:
(1)、根据第一用户的性别数据,确定与第一用户的性别数据匹配的肢体模型。
一般地,男性身材较为强壮,女性身材较为弱小,因此,肢体模型数据库中可以针对男性和女性身材的特点,提供多种男性或女性专用的肢体模型,每个肢体模型对应一个性别标签,使得服务器可以根据性别标签,确定一个与该第一用户的性别数据匹配的肢体模型,而且,男性标签的肢体模型的着装可以为裤装,女性标签的肢体模型的着装可以为裙装。
(2)、根据第一用户的年龄数据,确定与第一用户的年龄数据匹配的肢体模型。
一般地,如果用户年龄越大,该用户的服装风格会更加成熟。因此,肢体模型数据库中可以针对用户所属的年龄段,提供多种服装风格的肢体模型,每个肢体模型对应一个年龄段标签,例如,着装上有漫画人物的肢体模型对应的年龄段标签为18岁以下,使得服务器可以根据年龄段标签,确定与该第一用户的年龄数据符合的肢体模型。
(3)、根据第一用户的职业数据,确定与第一用户的职业数据匹配的肢体模型。
在实际生活中,不同职业的用户的职业装也有所不同,因此,在肢体模型数据库中也可以提供多种身着职业装的肢体模型,每个肢体模型对应一个职业标签,例如,西装肢体模型对应的职业标签为白领,校服肢体模型对应的职业标签为学生,使得服务器可以根据职业标签,确定与该第一用户的职业数据符合的肢体模型。
需要说明的是,本发明实施例对每个肢体模型对应的标签的形式不做限定。例如,每个肢体模型可以同时对应上述至少两种标签,或者,每个肢体模型对应的一个标签同时具有两层含义,如,该标签为女教师标签。一旦肢体模型对应至少两种标签或对应的标签具有两层以上的含义,均可以使服务器可以根据至少两种用户属性,确定第一用户对应的肢体模型。例如,服务器根据第一用户的性别数据和职业数据,确定该第一用户为女医生,则可以从肢体模型数据库中查找性别标签为女性、且职业标签为医生的肢体模型,或查找标签为女医生的肢体模型,均可以将查找到的肢体模型确定为该第一用户对应的肢体模型。
需要说明的是,在确定肢体模型时,除了根据用户属性,还可以参考群组视频会话对应的群组类型、群组视频会话中的虚拟环境以及当前的实际温度。该群组类型是指该群组视频会话中多个用户所属群组的群组类型。以下将分别说明参考上述三种数据确定肢体模型的具体方式:
确定方式1、服务器确定群组视频会话中多个用户所属群组的群组类型,将与群组类型匹配的肢体模型确定为与第一用户的肢体模型。例如,每个肢体模型对应一个群组类型标签,西装肢体模型可以对应公司群组标签,因此,当该群组类型为公司群组时,服务器可以查找到公司群组标签对应的西装肢体模型,将西装肢体模型确定为第一用户的肢体模型。
确定方式2、服务器确定群组视频会话对应的虚拟环境类型,将与虚拟环境类型匹配的肢体模型确定为第一用户的肢体模型。例如,该虚拟环境的类型为沙滩,则服务器可以将沙滩服肢体模型确定为该第一用户对应的肢体模型。
确定方式3、服务器获取当前的实际温度,将与当前的实际温度匹配的肢体模型确定为第一用户的肢体模型。例如,当前的实际温度为35度,则服务器可以将夏装肢体模型确定为该第一用户对应的肢体模型。
事实上,服务器确定第一用户的肢体模型时,也可以为第一用户提供调整选项。本发明实施例对调整选项和提供调整选项的方式不做具体限定。例如,服务器确定第一用户的初始肢体模型后,将初始肢体模型和调整选项提供给第一用户,该调整选项包括身高调整选项、体型调整选项和着装调整选项,第一用户可以通过触发身高调整选项调整身高的高低、触发体型调整选项调整体型的胖瘦、触发着装调整选项更换着装。
需要说明的是,该步骤201C为本发明实施例的可选步骤,事实上,由于头部模型足以表征该第一用户的实际形象,为了实现过程简单,减少服务器的运算资源,也可以根据第一用户的性别数据随机从肢体模型数据库中选择一个与性别数据匹配的肢体模型即可。
另外,需要说明的是,本发明实施例对上述步骤201A和201C的时序不做限定。事实上,服务器也可以先确定肢体模型,或者,服务器同时确定头部模型和肢体模型。
201D、对头部模型和肢体模型进行合成,得到第一用户的虚拟人物。
通过步骤201,服务器获取了用户的头部图像数据,进行了人脸和头发技术处理,获得了人脸和五官定位,依据五官模型数据和肢体模型数据库等生成头部模型,并确定肢体模型,将头部模型在肢体模型的上部进行合成,从而得到一个完整的虚拟人物。参见图3,本发明实施例提供了一种获取虚拟人物的流程图。
需要说明的是,为使得到的虚拟人物的视觉效果更好,服务器在合成时也可以结合头部模型与肢体模型的比例。例如,服务器按照第一用户的身高数据和已配置的正常人的头身比例数据,确定头部模型和肢体模型的合成尺寸,并将头部模型和肢体模型调整至确定的合成尺寸,再进行合成虚拟人物的过程,使得所得到的虚拟人物更加符合第一用户的实际形象。事实上,为使虚拟人物更具吸引力,服务器也可以合成“Q版”的虚拟人物,“Q版”的虚拟人物是指头身比例不符合正常人的头身比例的虚拟人物。一般地,为使“Q版”的虚拟人物更为可爱,其头身比例数据可以较为夸张,如,头身比例数据为1:1。服务器可以按照已配置的“Q版”的头身比例数据,确定头部模型和肢体模型的合成尺寸,并将头部模型和肢体模型调整至确定的合成尺寸,再进行合成,从而得到“Q版”的虚拟人物。
202、在群组视频会话的过程中,基于第一用户的虚拟人物和第一用户的行为特征数据,获取第一用户的视频数据。
其中,行为特征数据用于指示该第一用户的实际动作,至少包括表情特征数据、嘴型特征数据、头部方位特征数据和眼神方向特征数据中任一种。通过以上步骤201,服务器获取到静态的虚拟人物,本发明实施例中,为使该虚拟人物动态化,服务器获取第一用户的视频数据,且该视频数据中第一用户的虚拟人物的动作与第一用户的实际动作匹配。本发明实施例对获取该视频数据的方式不做限定。例如,基于上述至少四种行为特征数据,本发明实施例提供了以下至少四种获取视频数据的方式:
获取方式1、行为特征数据包括表情特征数据时,当服务器检测到第一用户的表情特征数据为指定表情特征数据时,获取与指定表情特征数据对应的肢体特征数据;将指定表情特征数据实时映射至第一用户的虚拟人物的头部模型,并将肢体特征数据实时映射至第一用户的虚拟人物的肢体模型,得到第一用户的视频数据。
为使虚拟人物更符合第一用户当前的实际形象,形象地表达第一用户的形态,服务器可以将指定表情特征数据和肢体特征数据联合映射至虚拟人物。该获取方式中,服务器可以实时获取第一用户的摄像头拍摄到的图像数据,标记并追踪图像数据中脸部区域和五官位置的像素点,或脸部区域和五官位置的关键像素点,从而捕获到该第一用户的表情特征数据,关键像素点用于基础性地描述五官位置和五官形态。进而,服务器可以比较该表情特征数据的像素点分布、与指定表情特征数据的像素点分布,该指定表情特征数据是指服务器已配置的表情特征数据,每个指定表情特征数据对应配置一个肢体特征数据,如果二者的相似度达到预设阈值,则检测到该表情特征数据为指定表情特征数据。
以指定表情特征数据为嘴部大张特征数据为例,若服务器捕获到的图像数据中的嘴部位置的像素点分布与嘴部大张特征数据的像素点分布匹配,可以获取与嘴部大张特征数据对应的手部捂嘴特征数据,因此,服务器可以为嘴部模型建立三维坐标,在三维坐标上根据嘴部大张特征数据指示的像素点分布调整嘴部模型的像素点分布,从而将嘴部大张特征数据映射至头部模型中的嘴部模型;同理,服务器也可以根据手部捂嘴特征数据指示的像素点分布调整手臂模型的像素点分布,从而将手部捂嘴特征数据映射至肢体模型中的手臂模型,使得虚拟人物动态化,进而得到第一用户的视频数据。
以指定表情特征数据为哭泣表情特征数据为例,若服务器捕获到的图像数据中的眼部位置的像素点分布与哭泣表情特征数据的像素点分布匹配,也可以获取与哭泣表情特征数据对应的手部揉眼特征数据,将哭泣表情特征数据映射至头部模型中的眼部模型,并根据手部揉眼特征数据指示的像素点分布调整手臂模型的像素点分布,从而将手部揉眼特征数据映射至肢体模型中的手臂模型。
需要说明的是,为使视频数据中的影像合理过渡,服务器也可以在连续多帧视频数据中渐次调整嘴部模型和手臂模型对应的像素点分布,从而得到能够反映虚拟人物动作变化的多帧视频数据。
该获取方式通过在检测到用户的实际人物形象的表情特征数据与已配置的指定表情特征数据匹配时,获取与指定表情特征数据匹配的肢体特征数据,并为该用户的虚拟人物赋予指定表情特征和肢体特征,从而得到视频数据,由于用户自身佩戴VR设备时不容易直接通过肢体动作表达自身情绪,该获取过程不仅使得虚拟人物能够模拟用户的实际表情,更可以通过表情特征预测该用户的情绪,并以肢体特征突出表达用户的情绪,从而同时以表情和肢体动作联合的方式模拟用户的人物形象,使得虚拟人物的表现力和真实性更强。
获取方式2、行为特征数据包括嘴型特征数据时,服务器将第一用户的嘴型特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
为使第一用户的视频数据同步第一用户发言时的嘴部动作,当服务器接收到第一用户的音频数据时,获取已配置的嘴型特征数据,该嘴型特征数据用于指示嘴部持续处于开合状态,进而,服务器可以将该嘴型特征数据实时映射至头部模型中的嘴部模型,并将音频数据与映射后的虚拟人物进行合成,从而得到第一用户的视频数据,直到接收音频数据的过程结束,服务器取消映射嘴部模型的过程,并将嘴部模型恢复至默认状态,该默认状态是指嘴部模型保持闭合的状态。
获取方式3、行为特征数据包括头部方位特征数据时,服务器获取第一用户的传感器采集到的第一用户的头部方位数据;将第一用户的头部方位特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
为了使虚拟人物更加生动地表达第一用户的实际形象,服务器可以实时获取第一用户的传感器(如,VR设备上的九轴传感器)采集到的头部方位数据,该头部方位数据至少用于指示第一用户的俯仰角或左右旋转角,进而,服务器可以根据头部方位数据所指示的俯仰角或左右旋转角,相对该虚拟人物的肢体模型旋转该头部模型,从而将头部方位特征该数据实时映射至头部模型。
当然,为使获取的头部方位数据更加准确,服务器还可以结合第一用户的摄像头拍摄到的图像数据,参照图4,本发明实施例提供了一种获取头部方位数据的流程图。服务器可以获取摄像头捕获到的图像数据,根据图像数据中脸部区域的像素点变化,当脸部区域的像素点集中地向一侧偏移时,确定头部处于偏转状态,并将偏移方向的反方向确定为头部偏转方向(对于自拍的情况),并根据像素点的偏移量确定偏转角度,从而得到头部方位特征数据。在结合上述两种获取头部方位特征数据的方式时,服务器可以确定两项头部方位特征数据之间的数据误差,如果数据误差大于容错误差,可以重新进行获取头部方位特征数据的过程,如果数据误差小于容错误差,可以采用数据融合的方式得到头部特征数据,如,取头部特征数据的平均值作为正确的头部特征数据。
获取方式4、行为特征数据包括眼神方向特征数据,服务器获取第一用户的摄像头拍摄到的第一用户的眼部图像数据;根据第一用户的眼部图像数据,获取第一用户的眼神方向特征数据;将第一用户的眼神方向特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
为增强群组视频会话中各个用户之间的交互,服务器还可以获取眼神方向特征数据,该眼神方向特征数据用于指示第一用户的眼球相对眼部的位置,进而可以用于指示第一用户的眼神凝视方向。
由于眼球和眼白的色调不同,服务器可以锁定眼部图像数据中的眼球区域,并实时追踪眼球区域相对眼部的位置,从而获取到眼神方向特征数据。进一步地,服务器可以根据该眼神方向特征数据,调整眼部模型中的眼球位置,并生成得到视频数据,从而将眼神方向特征数据映射至头部模型中的眼部模型。
该获取方式通过拍摄到的眼部图像数据,获取用户的眼神方向特征数据,从而将用户的眼神方向特征数据实时映射至第一用户的虚拟人物的头部模型。不仅使得虚拟人物更加细致地表现用户的真实人物形象,使得虚拟人物与用户的真实人物形象更为匹配,而且能够在表现各个用户的眼神细节的基础上,增强各个用户在群组视频会话中的眼神交流,提高群组视频会话的效率。
事实上,步骤202所得到的视频数据可作为第一用户的初始视频数据,为了给群组视频会话中的第二用户提供与其视角匹配的视频数据,服务器还可以进一步对初始视频数据进行处理,例如,参照图5,本发明实施例提供了一种获取视频数据的流程图,服务器获取第二用户的视角数据;按照第二用户的视角数据所指示的视角,对初始视频数据进行处理,得到与该视角匹配的第一用户的视频数据。
其中,本发明实施例对获取视角数据的方式不做限定。例如,服务器可以根据第二用户的传感器采集到的头部方位特征数据,得到第二用户的头部方位特征数据对应的视角数据。该举例中,服务器根据头部方位数据,可以确定旋转后的头部模型的朝向为第二用户的视角,从而获取到第二用户的视角数据。
又例如,服务器根据第二用户的摄像头拍摄到的眼部图像数据,获取第二用户的眼神方向特征数据,根据第二用户的眼神方向特征数据得到第二用户的视角数据。该举例中,服务器可以根据眼神方向特征数据所指示的眼球位置,以头部模型的中心指向眼球位置的方向确定为第二用户的视角,从而获取到该视角数据。
进而,服务器可以基于第二用户的视角数据,确定该视角数据所指示的视角在初始视频数据中的视野范围,从而提取出该视野范围内的视频数据作为第一用户的视频数据。参照图6,本发明实施例提供了一种群组视频会话的流程图,该群组视频会话中,服务器可以通过获取虚拟人物,并实时跟踪第一用户的人脸和五官,从而获取到实时的视频数据,并实时地将该视频数据发送至第二用户所在终端。
203、向参与群组视频会话的第二用户所在终端发送第一用户的视频数据,以实现群组视频会话。
本发明实施例中,对于群组视频会话中的任一用户,服务器均可以按照步骤201和202得到该用户的视频数据,因此,为了同步显示各个用户的虚拟人物,服务器可以合成群组视频会话中每个用户的视频数据,将合成后的视频数据发送至第二用户所在终端。当第二用户所在终端接收到视频数据时,可以实时显示视频数据,且该视频数据与第二用户的视角匹配,从而实现群组视频会话。参照图7,本发明实施例提供了一种显示视频数据的流程图,服务器通过获取初始视频数据,按照第二用户的视角数据处理初始视频数据,将处理得到的视频数据发送至第二用户所在终端,使得第二用户所在终端能够按照第二用户的视角实时显示视频数据。需要说明的是,当第一用户所在VR设备作为本发明实施例的执行主体时,可以将该视频数据发送至服务器,通过服务器将该视频数据发送至第二用户所在终端。
本发明实施例通过在群组视频会话中第一用户的虚拟人物,且该虚拟人物根据第一用户的头部特征数据和对应的肢体模型得到,使得该虚拟人物能够匹配与第一用户的实际形象,而且,基于该虚拟人物和行为特征数据得到了该第一用户的视频数据,使得第一用户的虚拟人物的动作能够实时模拟第一用户的实际动作,从而更加灵动地表达第一用户的实际形象,增强了群组视频会话时的视觉效果。
另外,提供了获取虚拟人物的具体方式,根据头部特征数据,生成与头部特征数据匹配的头部模型,且根据第一用户的用户属性,确定与第一用户对应的肢体模型,通过合成头部模型和肢体模型得到虚拟人物,细化了虚拟人物各部分的获取过程,使得虚拟人物具有更加细致的特征,从而更加细致地表达第一用户的实际形象。而且,该肢体模型根据用户属性得到,使虚拟人物更加贴近用户的实际形象。
另外,提供了获取头部特征数据的具体方式,通过分析第一用户的头部图像的色调分布,确定第一用户的头部特征数据,且该头部特征数据可用于指示第一用户的头发区域、头发色调、脸部区域、脸部色调、五官位置和五官形态,从而得到了第一用户的实际头部形象的多项特征,可以更加细致、全面地描述第一用户的实际头部形象。
另外,提供了生成与头部特征数据匹配的头部模型的具体过程,根据脸部区域和头发区域确定脸部轮廓模型和头发轮廓模型,根据脸部色调和头发色调进行填充,并按照五官位置,将与五官形态匹配的五官模型合成至脸部轮廓模型,细化了生成头部模型的过程,且头部模型中每个部分的生成过程均与第一用户的实际头部形象相匹配,从而提高了虚拟人物与第一用户实际形象的匹配程度。
另外,提供了至少三种确定第一用户的肢体模型的方式,根据第一用户的性别、年龄或职业等用户属性,确定与第一用户的用户属性匹配的肢体模型,而且,这三种确定方式也可以相结合,不仅使肢体模型更加符合第一用户的实际形象,而且使确定肢体模型的方式更加多样化。
另外,具体说明了当行为特征数据包括表情特征数据时,获取第一用户的视频数据的具体方式,当检测到表情特征数据为指定表情特征数据时,可以获取与该指定表情特征数据对应的肢体特征数据,从而将指定表情特征数据映射至脸部,将肢体特征数据映射至肢体模型,使得第一用户的虚拟人物的表达形式更加生动。
另外,具体说明了当行为特征数据包括嘴型特征数据、头部方位特征数据以及眼神方向特征数据时,获取第一用户的视频数据的具体方式,不仅使虚拟人物能更加生动地表达第一用户的实际形象,而且使得获取第一视频数据的方式更加多样化。
另外,提供了按照第二用户的视角数据所指示的视角,处理初始视频数据的方式,从而得到与第二用户的视角匹配的第一用户的视频数据,使得为第二用户展示第一用户的虚拟人物的视角更符合实际的视觉效果。
另外,提供了至少两种获取第二用户的视角数据的方式,根据第二用户的传感器采集到的头部方位特征数据,或者根据第二用户的摄像头拍摄到的眼部图像数据,得到视角数据,不仅能够实时地获取第二用户的视角,而且使得获取视角数据的方式多样化。
图8是本发明实施例提供的一种群组视频会话的装置框图。参见图8,该装置具体包括:
虚拟人物获取模块801,用于获取群组视频会话中第一用户的虚拟人物,第一用户的虚拟人物至少根据第一用户的头部特征数据和第一用户对应的肢体模型得到;
视频数据获取模块802,用于在群组视频会话的过程中,基于第一用户的虚拟人物和第一用户的行为特征数据,获取第一用户的视频数据,视频数据中第一用户的虚拟人物的动作与第一用户的实际动作匹配;
发送模块803,用于向参与群组视频会话的第二用户所在终端发送第一用户的视频数据,以实现群组视频会话。
本发明实施例通过在群组视频会话中第一用户的虚拟人物,且该虚拟人物根据第一用户的头部特征数据和对应的肢体模型得到,使得该虚拟人物能够匹配与第一用户的实际形象,而且,基于该虚拟人物和行为特征数据得到了该第一用户的视频数据,使得第一用户的虚拟人物的动作能够实时模拟第一用户的实际动作,从而更加灵动地表达第一用户的实际形象,增强了群组视频会话时的视觉效果。
可选地,虚拟人物获取模块801用于:获取第一用户的头部特征数据;根据头部特征数据,生成与头部特征数据匹配的头部模型;根据第一用户的用户属性,确定第一用户对应的肢体模型;对头部模型和肢体模型进行合成,得到第一用户的虚拟人物。
可选地,虚拟人物获取模块801用于:获取第一用户的头部图像数据;对头部图像数据的色调分布进行分析,得到头部特征数据,头部特征数据用于指示第一用户的头发区域、头发色调、脸部区域、脸部色调、五官位置和五官形态。
可选地,虚拟人物获取模块801用于:根据脸部区域和头发区域,确定头部轮廓模型,头部轮廓模型包括脸部轮廓模型和头发轮廓模型;根据脸部色调和头发色调,填充脸部轮廓模型和头发轮廓模型;获取与五官形态匹配的五官模型;按照五官位置,将五官模型合成至脸部轮廓模型,生成与头部特征数据匹配的头部模型。
可选地,虚拟人物获取模块801用于:根据第一用户的性别数据,确定与第一用户的性别数据匹配的肢体模型;和/或,虚拟人物获取模块801用于:根据第一用户的年龄数据,确定与第一用户的年龄数据匹配的肢体模型;和/或,虚拟人物获取模块801用于:根据第一用户的职业数据,确定与第一用户的职业数据匹配的肢体模型。
可选地,行为特征数据包括表情特征数据,视频数据获取模块802用于:当检测到第一用户的表情特征数据为指定表情特征数据时,获取与指定表情特征数据对应的肢体特征数据;将指定表情特征数据实时映射至第一用户的虚拟人物的头部模型,并将肢体特征数据实时映射至第一用户的虚拟人物的肢体模型,得到第一用户的视频数据。
可选地,行为特征数据包括嘴型特征数据,视频数据获取模块802用于:将第一用户的嘴型特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
可选地,行为特征数据包括头部方位特征数据,视频数据获取模块802用于:获取第一用户的传感器采集到的第一用户的头部方位数据;将第一用户的头部方位特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
可选地,行为特征数据包括眼神方向特征数据,视频数据获取模块802用于:获取第一用户的摄像头拍摄到的第一用户的眼部图像数据;根据第一用户的眼部图像数据,获取第一用户的眼神方向特征数据;将第一用户的眼神方向特征数据实时映射至第一用户的虚拟人物的头部模型,得到第一用户的视频数据。
可选地,视频数据获取模块802用于:基于第一用户的虚拟人物和第一用户的行为特征数据,获取第一用户的初始视频数据;获取第二用户的视角数据;按照第二用户的视角数据所指示的视角,对初始视频数据进行处理,得到与视角匹配的第一用户的视频数据。
可选地,视频数据获取模块802用于:根据第二用户的传感器采集到的头部方位特征数据,得到第二用户的头部方位特征数据对应的视角数据;或,视频数据获取模块802用于:根据第二用户的摄像头拍摄到的眼部图像数据,获取第二用户的眼神方向特征数据,根据第二用户的眼神方向特征数据得到第二用户的视角数据。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的群组视频会话的装置在群组视频会话时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的群组视频会话的装置与群组视频会话的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是本发明实施例提供的一种群组视频会话的装置900的框图。例如,装置900可以被提供为一服务器。参照图9,装置900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理部件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行图2实施例中群组视频会话的方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理,一个有线或无线网络接口950被配置为将装置900连接到网络,和一个输入输出(I/O)接口958。装置900可以操作基于存储在存储器932的操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (22)
1.一种群组视频会话的方法,其特征在于,所述方法包括:
获取群组视频会话中第一用户的虚拟人物,所述第一用户的虚拟人物至少根据所述第一用户的头部特征数据和所述第一用户对应的肢体模型得到;
在所述群组视频会话的过程中,基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据,所述视频数据中所述第一用户的虚拟人物的动作与所述第一用户的实际动作匹配;
向参与所述群组视频会话的第二用户所在终端发送所述第一用户的视频数据,以实现所述群组视频会话。
2.根据权利要求1所述的方法,其特征在于,所述获取群组视频会话中第一用户的虚拟人物包括:
获取所述第一用户的头部特征数据;
根据所述头部特征数据,生成与所述头部特征数据匹配的头部模型;
根据所述第一用户的用户属性,确定所述第一用户对应的肢体模型;
对所述头部模型和所述肢体模型进行合成,得到所述第一用户的虚拟人物。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第一用户的头部特征数据包括:
获取所述第一用户的头部图像数据;
对所述头部图像数据的色调分布进行分析,得到所述头部特征数据,所述头部特征数据用于指示所述第一用户的头发区域、头发色调、脸部区域、脸部色调、五官位置和五官形态。
4.根据权利要求2所述的方法,其特征在于,所述生成与所述头部特征数据匹配的头部模型包括:
根据所述脸部区域和所述头发区域,确定头部轮廓模型,所述头部轮廓模型包括脸部轮廓模型和头发轮廓模型;
根据所述脸部色调和所述头发色调,填充所述脸部轮廓模型和所述头发轮廓模型;
获取与所述五官形态匹配的五官模型;
按照所述五官位置,将所述五官模型合成至所述脸部轮廓模型,生成与所述头部特征数据匹配的头部模型。
5.根据权利要求2所述的方法,其特征在于,所述根据所述第一用户的用户属性,确定所述第一用户对应的肢体模型包括:
根据所述第一用户的性别数据,确定与所述第一用户的性别数据匹配的肢体模型;和/或,
根据所述第一用户的年龄数据,确定与所述第一用户的年龄数据匹配的肢体模型;和/或,
根据所述第一用户的职业数据,确定与所述第一用户的职业数据匹配的肢体模型。
6.根据权利要求1所述的方法,其特征在于,所述行为特征数据包括表情特征数据,所述基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据包括:
当检测到所述第一用户的表情特征数据为指定表情特征数据时,获取与所述指定表情特征数据对应的肢体特征数据;
将所述指定表情特征数据实时映射至所述第一用户的虚拟人物的头部模型,并将所述肢体特征数据实时映射至所述第一用户的虚拟人物的肢体模型,得到所述第一用户的视频数据。
7.根据权利要求1所述的方法,其特征在于,所述行为特征数据包括嘴型特征数据,所述基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据包括:
将所述第一用户的嘴型特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
8.根据权利要求1所述的方法,其特征在于,所述行为特征数据包括头部方位特征数据,所述基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据包括:
获取所述第一用户的传感器采集到的所述第一用户的头部方位数据;
将所述第一用户的头部方位特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
9.根据权利要求1所述的方法,其特征在于,所述行为特征数据包括眼神方向特征数据,所述基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据包括:
获取所述第一用户的摄像头拍摄到的所述第一用户的眼部图像数据;
根据所述第一用户的眼部图像数据,获取所述第一用户的眼神方向特征数据;
将所述第一用户的眼神方向特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
10.根据权利要求1所述的方法,其特征在于,所述基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据包括:
基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的初始视频数据;
获取所述第二用户的视角数据;
按照所述第二用户的视角数据所指示的视角,对所述初始视频数据进行处理,得到与所述视角匹配的所述第一用户的视频数据。
11.根据权利要求10所述的方法,其特征在于,所述获取所述第二用户的视角数据包括:
根据所述第二用户的传感器采集到的头部方位特征数据,得到所述第二用户的头部方位特征数据对应的视角数据;或,
根据所述第二用户的摄像头拍摄到的眼部图像数据,获取所述第二用户的眼神方向特征数据,根据所述第二用户的眼神方向特征数据得到所述第二用户的视角数据。
12.一种群组视频会话的装置,其特征在于,所述装置包括:
虚拟人物获取模块,用于获取群组视频会话中第一用户的虚拟人物,所述第一用户的虚拟人物至少根据所述第一用户的头部特征数据和所述第一用户对应的肢体模型得到;
视频数据获取模块,用于在所述群组视频会话的过程中,基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的视频数据,所述视频数据中所述第一用户的虚拟人物的动作与所述第一用户的实际动作匹配;
发送模块,用于向参与所述群组视频会话的第二用户所在终端发送所述第一用户的视频数据,以实现所述群组视频会话。
13.根据权利要求12所述的装置,其特征在于,所述虚拟人物获取模块用于:
获取所述第一用户的头部特征数据;
根据所述头部特征数据,生成与所述头部特征数据匹配的头部模型;
根据所述第一用户的用户属性,确定所述第一用户对应的肢体模型;
对所述头部模型和所述肢体模型进行合成,得到所述第一用户的虚拟人物。
14.根据权利要求13所述的装置,其特征在于,所述虚拟人物获取模块用于:
获取所述第一用户的头部图像数据;
对所述头部图像数据的色调分布进行分析,得到所述头部特征数据,所述头部特征数据用于指示所述第一用户的头发区域、头发色调、脸部区域、脸部色调、五官位置和五官形态。
15.根据权利要求13所述的装置,其特征在于,所述虚拟人物获取模块用于:
根据所述脸部区域和所述头发区域,确定头部轮廓模型,所述头部轮廓模型包括脸部轮廓模型和头发轮廓模型;
根据所述脸部色调和所述头发色调,填充所述脸部轮廓模型和所述头发轮廓模型;
获取与所述五官形态匹配的五官模型;
按照所述五官位置,将所述五官模型合成至所述脸部轮廓模型,生成与所述头部特征数据匹配的头部模型。
16.根据权利要求13所述的装置,其特征在于,
所述虚拟人物获取模块用于:根据所述第一用户的性别数据,确定与所述第一用户的性别数据匹配的肢体模型;和/或,
所述虚拟人物获取模块用于:根据所述第一用户的年龄数据,确定与所述第一用户的年龄数据匹配的肢体模型;和/或,
所述虚拟人物获取模块用于:根据所述第一用户的职业数据,确定与所述第一用户的职业数据匹配的肢体模型。
17.根据权利要求12所述的装置,其特征在于,所述行为特征数据包括表情特征数据,所述视频数据获取模块用于:
当检测到所述第一用户的表情特征数据为指定表情特征数据时,获取与所述指定表情特征数据对应的肢体特征数据;
将所述指定表情特征数据实时映射至所述第一用户的虚拟人物的头部模型,并将所述肢体特征数据实时映射至所述第一用户的虚拟人物的肢体模型,得到所述第一用户的视频数据。
18.根据权利要求12所述的装置,其特征在于,所述行为特征数据包括嘴型特征数据,所述视频数据获取模块用于:
将所述第一用户的嘴型特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
19.根据权利要求12所述的装置,其特征在于,所述行为特征数据包括头部方位特征数据,所述视频数据获取模块用于:
获取所述第一用户的传感器采集到的所述第一用户的头部方位数据;
将所述第一用户的头部方位特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
20.根据权利要求12所述的装置,其特征在于,所述行为特征数据包括眼神方向特征数据,所述视频数据获取模块用于:
获取所述第一用户的摄像头拍摄到的所述第一用户的眼部图像数据;
根据所述第一用户的眼部图像数据,获取所述第一用户的眼神方向特征数据;
将所述第一用户的眼神方向特征数据实时映射至所述第一用户的虚拟人物的头部模型,得到所述第一用户的视频数据。
21.根据权利要求12所述的装置,其特征在于,所述视频数据获取模块用于:
基于所述第一用户的虚拟人物和所述第一用户的行为特征数据,获取所述第一用户的初始视频数据;
获取所述第二用户的视角数据;
按照所述第二用户的视角数据所指示的视角,对所述初始视频数据进行处理,得到与所述视角匹配的所述第一用户的视频数据。
22.根据权利要求21所述的装置,其特征在于,
所述视频数据获取模块用于:根据所述第二用户的传感器采集到的头部方位特征数据,得到所述第二用户的头部方位特征数据对应的视角数据;或,
所述视频数据获取模块用于:根据所述第二用户的摄像头拍摄到的眼部图像数据,获取所述第二用户的眼神方向特征数据,根据所述第二用户的眼神方向特征数据得到所述第二用户的视角数据。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710104442.4A CN108513089B (zh) | 2017-02-24 | 2017-02-24 | 群组视频会话的方法及装置 |
PCT/CN2018/075749 WO2018153267A1 (zh) | 2017-02-24 | 2018-02-08 | 群组视频会话的方法及网络设备 |
TW107106428A TWI650675B (zh) | 2017-02-24 | 2018-02-26 | 群組視頻會話的方法及系統、終端、虛擬現實設備及網路設備 |
US16/435,733 US10609334B2 (en) | 2017-02-24 | 2019-06-10 | Group video communication method and network device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710104442.4A CN108513089B (zh) | 2017-02-24 | 2017-02-24 | 群组视频会话的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108513089A true CN108513089A (zh) | 2018-09-07 |
CN108513089B CN108513089B (zh) | 2021-02-12 |
Family
ID=63373821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710104442.4A Active CN108513089B (zh) | 2017-02-24 | 2017-02-24 | 群组视频会话的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108513089B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN109857249A (zh) * | 2019-01-09 | 2019-06-07 | 重庆爱奇艺智能科技有限公司 | 一种用于生成虚拟化身形象的方法与装置 |
CN109886144A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110944142A (zh) * | 2018-09-21 | 2020-03-31 | 雅马哈株式会社 | 图像处理装置、照相机装置及图像处理方法 |
CN111953922A (zh) * | 2019-05-16 | 2020-11-17 | 南宁富桂精密工业有限公司 | 视频会议的人脸辨识方法、服务器及计算机可读存储介质 |
CN112435326A (zh) * | 2020-11-20 | 2021-03-02 | 深圳市慧鲤科技有限公司 | 可打印模型文件生成方法和相关产品 |
CN112686965A (zh) * | 2020-12-25 | 2021-04-20 | 百果园技术(新加坡)有限公司 | 一种肤色检测方法、装置、移动终端和存储介质 |
CN113538455A (zh) * | 2021-06-15 | 2021-10-22 | 聚好看科技股份有限公司 | 三维发型匹配方法及电子设备 |
CN117727303A (zh) * | 2024-02-08 | 2024-03-19 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102164265A (zh) * | 2011-05-23 | 2011-08-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种三维视频通话的方法及*** |
CN103238317A (zh) * | 2010-05-12 | 2013-08-07 | 布鲁珍视网络有限公司 | 实时多媒体通讯中可伸缩分布式全球基础设施的***和方法 |
US20140085406A1 (en) * | 2012-09-27 | 2014-03-27 | Avaya Inc. | Integrated conference floor control |
CN105721821A (zh) * | 2016-04-01 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 视频通话方法及装置 |
-
2017
- 2017-02-24 CN CN201710104442.4A patent/CN108513089B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103238317A (zh) * | 2010-05-12 | 2013-08-07 | 布鲁珍视网络有限公司 | 实时多媒体通讯中可伸缩分布式全球基础设施的***和方法 |
CN102164265A (zh) * | 2011-05-23 | 2011-08-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种三维视频通话的方法及*** |
US20140085406A1 (en) * | 2012-09-27 | 2014-03-27 | Avaya Inc. | Integrated conference floor control |
CN105721821A (zh) * | 2016-04-01 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 视频通话方法及装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944142A (zh) * | 2018-09-21 | 2020-03-31 | 雅马哈株式会社 | 图像处理装置、照相机装置及图像处理方法 |
CN109857249A (zh) * | 2019-01-09 | 2019-06-07 | 重庆爱奇艺智能科技有限公司 | 一种用于生成虚拟化身形象的方法与装置 |
CN109886144B (zh) * | 2019-01-29 | 2021-08-13 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
CN109886144A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN111953922A (zh) * | 2019-05-16 | 2020-11-17 | 南宁富桂精密工业有限公司 | 视频会议的人脸辨识方法、服务器及计算机可读存储介质 |
CN111953922B (zh) * | 2019-05-16 | 2022-05-27 | 南宁富联富桂精密工业有限公司 | 视频会议的人脸辨识方法、服务器及计算机可读存储介质 |
CN112435326A (zh) * | 2020-11-20 | 2021-03-02 | 深圳市慧鲤科技有限公司 | 可打印模型文件生成方法和相关产品 |
CN112686965A (zh) * | 2020-12-25 | 2021-04-20 | 百果园技术(新加坡)有限公司 | 一种肤色检测方法、装置、移动终端和存储介质 |
CN113538455A (zh) * | 2021-06-15 | 2021-10-22 | 聚好看科技股份有限公司 | 三维发型匹配方法及电子设备 |
CN113538455B (zh) * | 2021-06-15 | 2023-12-12 | 聚好看科技股份有限公司 | 三维发型匹配方法及电子设备 |
CN117727303A (zh) * | 2024-02-08 | 2024-03-19 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108513089B (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108513089A (zh) | 群组视频会话的方法及装置 | |
US10169905B2 (en) | Systems and methods for animating models from audio data | |
US10559111B2 (en) | Systems and methods for generating computer ready animation models of a human head from captured data images | |
CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
CN104217454B (zh) | 一种视频驱动的人脸动画生成方法 | |
CN107180446B (zh) | 人物面部模型的表情动画生成方法及装置 | |
US9959453B2 (en) | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature | |
CN101779218B (zh) | 化妆模拟***及其化妆模拟方法 | |
CN107274466A (zh) | 一种实时全身动作捕捉的方法、装置和*** | |
JPWO2008102440A1 (ja) | 化粧顔画像生成装置及び方法 | |
CN109035373A (zh) | 三维特效程序文件包的生成及三维特效生成方法与装置 | |
CN104331564B (zh) | 基于终端设备的妆饰指导方法和终端设备 | |
CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
JPWO2018079255A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2024506170A (ja) | 個人化された3d頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
Maraffi | Maya character creation: modeling and animation controls | |
CN106446207B (zh) | 美妆库建库方法、个性化美妆辅助方法及其装置 | |
CN103258065A (zh) | 自然人数字化人体仿真的***和方法 | |
EP4160545A1 (en) | Three-dimensional avatar generation device, three-dimensional avatar generation method, and three-dimensional avatar generation program | |
AU2019364148A1 (en) | Digital character blending and generation system and method | |
CN109242982A (zh) | 一种网络三维ar动态模板场景技术 | |
Scheepers | Anatomy-based surface generation for articulated models of human figures | |
CN115826835A (zh) | 一种数据处理方法、设备以及可读存储介质 | |
CN114581288A (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
KR20200134623A (ko) | 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |