发明内容
鉴于上述问题,本申请提出了一种社交方法、装置、电子设备及存储介质,可实现可视化社交,有效提升用户体验感。
第一方面,本申请实施例提供了一种社交方法,应用于社交***的第一终端,社交***还包括与第一终端通信的第二终端,该方法包括:
获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
根据交互需求信息确定目标人脸模型。
根据聊天信息获取目标人脸模型的表情参数。
基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
可选地,在获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息之前,还包括:
确定第二终端对应的用户为被标记的联系人。
可选地,根据交互需求信息确定目标人脸模型,包括:
确定第二终端对应的用户的类型,类型包括亲人、朋友以及同事中的至少一种。
根据类型和交互需求信息确定目标人脸模型。
可选地,社交信息包括通讯录以及通讯记录,根据交互需求信息确定目标人脸模型,包括:
从通讯录中提取多个第一人物信息,并根据通讯记录确定每个第一人物信息分别与第一终端对应的用户之间的亲密度。
根据亲密度在多个第一人物信息中确定第一交互人物信息。
获取与第一交互人物信息对应的第一人物影像。
根据第一人物影像确定目标人脸模型。
可选地,根据亲密度在多个第一人物信息中确定第一交互人物信息,包括:
分别判断每个第一人物信息与第一终端对应的用户之间的亲密度是否大于或等于预设亲密度。
将任意一个亲密度大于或等于预设亲密度的第一人物信息确定为第一交互人物信息。
可选地,网上行为特征包括第一终端对应的用户的关注记录、点赞记录、浏览记录以及评论记录,根据交互需求信息确定目标人脸模型,包括:
根据关注记录获取多个第二人物信息,并根据点赞记录、评论记录以及浏览记录确定第一终端对应的用户分别对每个第二人物信息的关注度。
根据关注度在多个第二人物信息中确定第二交互人物信息。
获取与第二交互人物信息对应的第二人物影像。
根据第二人物影像确定目标人脸模型。
可选地,根据交互需求信息确定目标人脸模型,包括:
获取第一终端对应的用户上传的自定义人物信息。
将自定义人物信息确定为第三交互人物信息。
获取与第三交互人物信息对应的第三人物影像。
根据第三人物影像确定目标人脸模型。
可选地,根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频,包括:
获取与目标人脸模型对应的声纹信息。
基于声纹信息和聊天信息生成聊天音频。
根据聊天音频和目标人脸图像生成聊天视频,并输出聊天视频。
第二方面,本申请实施例提供了一种社交方法,应用于社交***的第二终端,社交***还包括与第二终端通信的第一终端,该方法包括:
获取第一终端对应的用户的交互需求信息以及第二终端对应的用户输入的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
根据交互需求信息确定目标人脸模型。
根据聊天信息获取目标人脸模型的表情参数。
基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
第三方面,本申请实施例提供了一种社交方法,应用于社交***的服务器,***还包括分别与服务器通信的第一终端和第二终端,该方法包括:
获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
根据交互需求信息确定目标人脸模型。
根据聊天信息获取目标人脸模型的表情参数。
基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
第四方面,本申请实施例提供了一种社交装置,应用于社交***的第一终端,社交***包括与第一终端通信的第二终端,该装置包括:第一信息获取模块、第一目标人脸模型确定模块、第一表情参数获取模块、第一目标人脸图像获取模块以及视频输出模块。
第一信息获取模块用于获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第一目标人脸模型确定模块用于根据交互需求信息确定目标人脸模型。
第一表情参数获取模块用于根据聊天信息获取目标人脸模型的表情参数。
第一目标人脸图像获取模块用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
视频输出模块根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
第五方面,本申请实施例提供了一种社交装置,应用于社交***的第二终端,社交***还包括与第二终端通信的第一终端,该装置包括:
第二信息获取模块,用于获取第一终端对应的用户的交互需求信息以及第二终端对应的用户输入的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第二目标人脸模型确定模块,用于根据交互需求信息确定目标人脸模型。
第二表情参数获取模块,用于根据聊天信息获取目标人脸模型的表情参数。
第二目标人脸图像获取模块,用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
第一视频发送模块,用于根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
第六方面,本申请实施例提供了一种社交装置,应用于社交***的服务器,***还包括分别与服务器通信的第一终端和第二终端,该装置包括:
第三信息获取模块,用于获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第三目标人脸模型确定模块,用于根据交互需求信息确定目标人脸模型。
第三表情参数获取模块,用于根据聊天信息获取目标人脸模型的表情参数。
第三目标人脸图像获取模块,用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
第二视频发送模块,用于根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
第七方面,本申请实施例提供了一种电子设备,其包括:存储器;一个或多个处理器,与存储器耦接;一个或多个程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行如上述第一方面、第二方面、或者第三方面所述的方法。
第八方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,该程序代码可被处理器调用执行如上述第一方面、第二方面或者第三方面所述的方法。
本申请实施例提供的社交方法、装置、电子设备及存储介质,通过在第一终端对应的用户和第二终端对应的用户进行社交时,获取第一终端对应用户的交互需求信息,并根据交互需求信息确定目标人脸模型。获取第二终端对应用户的聊天信息,并根据聊天信息确定该目标人脸模型的表情参数。再通过表情参数驱动目标人脸模型可以得到虚拟的目标人脸图像,以生成满足用户交互需求的目标人脸图像,最后根据聊天信息和目标人脸图像生成聊天视频后在第一终端进行播放。使得第一终端对应的用户能够面对显示着满足自己需求的人脸图像的视频来与第二终端对应的用户进行沟通交流,保证了较好的沟通体验感。而且,即使第二终端对应的用户没有在镜头面前也能实现可视化社交,很好地满足了用户的视觉感官,进而提升了用户体验感。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,手机等移动电子设备的普及率越来越高,智能手机已成为人们出行的必备随身物品。随着移动互联网发展迅速,移动终端上出现了各种各样的社交应用程序,这其中许多社交应用程序可以通过文字和语音进行聊天和沟通。
然而,随着科技发展,人们对各种智能电子产品使用过程中人性化体验的需求也在逐渐增加,在与他人进行沟通时,用户也希望可以不仅仅只是通过文字或语音这类单一的方式来进行沟通,而是可以在沟通的过程中也能够得知对方的表情、样貌等可视化的信息。
虽然现在一些社交应用程序可以实现两个或两个以上的用户进行在线视频聊天,从而使用户能够看到与其沟通的人的样貌和表情。但是,在实际的研究过程中,发明人发现,此类社交应用软件的在线视频聊天必须要求进行聊天的用户必须都处在各自手机的镜头面前,用户一直对着镜头进行沟通也比较累,且容易受到光线条件的限制,在光线较暗的情况下可视化沟通的效果较差。因此会给用户带来聊天时的不便,从而影响用户的社交体验。
为了解决上述问题,发明人提出了本申请实施例中的社交方法、装置、电子设备及存储介质,可实现用户根据自己喜好选取可视化的人物形象来与他人进行视频聊天,即使对方不在镜头面前也能够实现可视化沟通,从而提升了用户社交体验感。
为便于更好的理解本申请实施例提供的社交方法、装置、电子设备及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的社交方法可以应用于如图1所示的社交***100。该社交***可以包括第一终端101、第二终端102以及服务器103,服务器103分别与第一终端101和第二终端102通信,其中,服务器103可以是传统服务器,也可以是云端服务器,在此不作具体限定。
其中,第一终端101和第二终端102可以是具有显示屏且支持数据输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的,数据输入可以是基于第一终端101或第二终端102上具有的语音模块输入语音、字符输入模块输入字符、图像输入模块输入图像等,以实现在第一终端101或第二终端102输入聊天信息。
其中,第一终端101或第二终端102上可以安装有客户端应用程序,用户可以基于客户端应用程序(例如APP、微信小程序等)与服务器103进行通信,具体的,服务器103上安装有对应的服务端应用程序,用户可以基于客户端应用程序在服务器103注册一个用户帐号,并基于该用户帐号与服务器103进行通信,例如用户在客户端应用程序登录用户帐号,并基于该用户帐号通过客户端应用程序进行输入,可以输入文字信息、语音信息或图像信息等,客户端应用程序接收到用户输入的信息后,可以将该信息发送至服务器103,使得服务器103可以接收该信息并进行处理及存储,服务器103还可以接收该信息并根据该信息返回一个对应的输出信息至第一终端101或第二终端102。
其中,服务器103中设置有用于对用户输入的信息进行处理的装置,该装置还可以将用户输入的聊天信息和人脸模型进行融合以得到可视化的聊天视频。
在一些实施方式中,对用户输入的信息进行处理的装置也可以设置于第一终端101或第二终端102上,使得电子设第一终端101或第二终端102无需依赖与服务器103建立通信即可实现与用户的社交、沟通,此时社交可以只包括第一终端101和第二终端102,且第一终端101与第二终端102通信。
上述的应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的社交方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,图2示出了本申请一个实施例提供的社交方法的流程示意图。该方法可以应用于社交***的第一终端,社交***还包括与第一终端通信的第二终端,该方法可以包括:
步骤S110,获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
在一些实施方式中,交互需求信息可以中第一终端或第一终端的相关应用中获取。具体地,交互需求信息可以是从网上获取的用于追踪与该第一终端对应用户有紧密关系的人物信息。其中,人物信息可以包括该人物的照片、视频等可以显示该人物容貌的信息。可选地,交互需求信息可以包括从社交平台或用户的移动终端上获取的用户的社交信息,社交信息可以包括用户的手机通讯录、用户手机中安装的社交平台(如QQ、微信)中的好友列表等等,通过该社交信息可以追踪到该用户的亲人、朋友、同事等与用户有日常联系的人物信息。
在一些实施方式中,交互需求信息还可以包括用户的网上行为特征,其中,网上行为特征可以是用户在社交平台、直播平台、论坛平台等上做出的关注、评论以及点赞等动作,通过网上行为特征可以找到用户比较关注的人物信息,例如像用户在社交平台(如微博)上关注的明星,又例如用户经常浏览、评论、点赞的文章的博主,再例如用户经常听的歌曲的歌手。其中,上述人物可以包括但不限于现实中真实的人物,也可以是虚拟人物,例如动画、漫画中的角色等等。
在另一些实施方式中,用户的交互需求信息可以是用户自定义上传的人物信息,该人物信息可能在网络上查找不到,而用户可以自己通过终端设备上传该人物信息,例如该人物的照片、视频等等。
其中,聊天信息包括但不限于语音信息、文本信息、图像信息、动作信息等各种类型的信息。其中,语音信息可以包括语言类的音频信息(例如汉语、英语音频等)以及非语言类的音频信息(例如音乐音频等);文本信息可以包括文字类的文本信息(例如中文、英文等)以及非文字类的文本信息(例如特殊符号、字符表情等);图像信息可以包括静态图像信息(例如静态图片、照片等)以及动态图像信息(例如动态图片、视频图像等);动作信息可以包括用户动作信息(例如用户手势、身体动作、表情动作等)以及终端动作信息(例如终端设备的位置、姿态和摇动、旋转等运动状态等)。
可以理解的是,对应于不同种类的聊天信息,可以通过终端设备上不同类型的信息输入模块进行信息采集。例如,可通过麦克风等音频输入设备采集用户的语音信息,通过触摸屏或物理按键采集用户输入的文本信息,通过摄像头采集图像信息,通过光学传感器、重力传感器等采集动作信息等。
在一些实施方式中,获取第一终端对应的用户(以下可称第一用户)的交互需求信息的步骤,可以在获取第二终端发送的聊天信息的步骤之前,也可以在获取第二终端发送的聊天信息的步骤之后,还可以与获取第二终端发送的聊天信息的步骤同时进行。
步骤S120,根据交互需求信息确定目标人脸模型。
在一些实施方式中,由于通过交互需求信息可以追踪到与第一终端对应用户关系紧密的人物信息,因此,可以获取该人物信息相关的图片、视频作为人脸图像样本,例如,交互需求信息为第一终端上的通讯录,该通讯录可以追踪到第一终端对应用户的亲人,然后可以从网络或第一终端的相册中获取该亲人相关的图片或视频以作为人脸图像样本。再将人脸图像样本输入至机器学***均人脸以及人脸图像样本构建的,而平均人脸可以是用于三维人脸建模的基础人脸模型,人脸图像则可以是根据第一终端对应用户的交互需求信息获取的人脸图像,人脸图像可以是图片或视频。通过获取平均人脸以及人脸图像,即可基于3DMM中的人脸重建技术,通过二维的人脸图像(人脸图像)重建出该人脸的三维模型,即特定人脸模型。其中,人脸图像样本可以包括多个人脸图像。
可以理解的是,上述建立的特定人脸模型从外部轮廓及形态上与需要模拟的真实人脸已经非常相似,但为了让模拟出的人脸模型图像能够替代真实人脸,还需要在特定人脸模型上补充皮肤材质等细节,即可以将人脸图像中的人脸材质通过材质渲染替换至特定人脸模型得到目标人脸模型。本实施例中,可先从人脸图像中提取需要模拟的真实人脸的人脸皮肤材质,再基于纹理贴图技术将提取的人脸材质经过材质替换至特定人脸模型,即可获得无论从表面形态结构还是皮肤细节上,均可替代真实人脸的目标人脸模型。
步骤S130,根据聊天信息获取目标人脸模型的表情参数。
在一些实施例中,可以将聊天信息输入至视觉预测模型中,并利用该视觉预测模型获取与聊天信息对应的目标人脸模型的表情参数。视觉预测模型,可以是基于大量真人说话视频(包含真人说话图像以及与真人说话图像对应的真人说话音频)以及对应的人脸模型表情参数的训练样本,通过神经网络训练得到的。可以理解的是,视觉预测模型,是用于将音频转换为对应人脸模型表情参数的模型。通过获取的聊天信息输入至预测模型,即可由视觉预测模型输出目标人脸模型的表情参数。通过上述介绍可以知道,聊天信息可以是语音信息也可以是文本信息,当其为语音信息时可以直接将其输入至视觉预测模型,而当其为文本信息时可以先将该文本信息转换为语音信息,然后再输入至视觉预测模型,具体如何将文本信息转换为语音信息这里就不进行一一赘述。
本实施方式中,目标人脸模型的表情参数,可以是用于调节目标人脸模型的一系列表情参数。其中,目标人脸模型,可以是通过基于3DMM(3D Morphable Models,三维形变模型)的三维人脸建模(3D Face Morphable Models)技术制作得到的三维人脸模型,该目标人脸模型的细节可以近似于真人人脸。可以理解的是,本实施例中,获取的目标人脸模型的表情参数是多组对应于时间的变化的参数序列,每一组目标人脸模型的表情参数对应于一组预设的人脸模型的三维模型关键点,其与聊天信息在时间上是相互对应的。
步骤S140,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
在一些实施方式中,第一终端可以基于表情参数对目标人脸模型的表情进行驱动,经过驱动可以得到目标人脸图像,该目标人脸图像中的人脸表情由表情参数决定。
步骤S150,根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
在一些实施方式中,可以根据聊天信息及经过表情驱动的人脸图像(即目标人脸图像),生成相对应的聊天视频,并在第一终端的显示屏上进行播放该聊天视频。具体地,第一终端安装有社交应用程序,社交应用程序根据表情参数可以驱动目标人脸模型的表情。其中,***中的聊天信息和目标人脸图像对应且同步,例如,当聊天视频中某一时刻的聊天信息为“啊!”时,聊天视频中的目标人脸图像则对应惊讶的表情。其中,聊天信息中的“啊!”可以是文字,也可以是语音。
在本实施例中的社交方法,通过在第一终端对应的用户(以下可称第一用户)和第二终端对应的用户(以下可称第二用户)进行社交时,获取第一终端对应用户的交互需求信息,并根据交互需求信息确定目标人脸模型。获取第二终端对应用户的聊天信息,并根据聊天信息确定该目标人脸模型的表情参数。再通过表情参数驱动目标人脸模型可以得到虚拟的目标人脸图像,以生成满足用户交互需求的目标人脸图像,最后根据聊天信息和目标人脸图像生成聊天视频后在第一终端进行播放。使得第一终端对应的用户能够面对显示着满足自己需求的人脸图像的视频来与第二终端对应的用户进行沟通交流,即使与不熟悉的人进行视频聊天也不会感到陌生,从而保证了较好的沟通体验感。而且,即使第二终端对应的用户没有在镜头面前也能实现可视化社交,很好地满足了用户的视觉感官,进而提升了用户体验感。另外,视频聊天不受环境条件限制,即使在光线不好的条件下,也能进行视频聊天。
请参阅图3,图3示出了本申请另一个实施例提供的社交方法的流程示意图。本实施例的社交方法可以包括:
步骤S210,确定第二终端对应的用户为被标记的联系人。
在一些实施方式中,第一终端可以判断第二终端对应的用户为被标记的联系人。其中,被标记的联系人是指需要在视频聊天时根据第一终端对应的用户的交互需求信息显示特定人脸图像的联系人。例如,预先标记了第一终端对应的用户的朋友为标记的联系人,当确定第二终端对应的用户是第一终端对应的用户的朋友,则执行后续根据交互需求信息生成聊天视频的步骤。
在一些实施方式中,如图4所示,步骤S210可以包括:
步骤S211,判断第二终端对应的用户是否是被标记的联系人。
作为一种示例,如第一用户的上司或长辈可以是没有被标记过的联系人,第一用户的朋友、兄弟以及陌生人可以是被标记过的联系人。
步骤S212,当第二终端对应的用户不是被标记的联系人,则获取第二终端发送的聊天信息,并根据聊天信息和预设的默认人脸模型生成默认聊天视频,且输出默认聊天视频。
在一些实施方式中,如图5所示,当第二终端对应的用户不是被标记的联系人,例如第二用户是第一用户的上司或长辈,此时通过交互需求信息来确定聊天视频中的人脸图像则不太合适。因此可以选用默认的人脸模型和聊天信息来生成默认聊天视频,并在第一终端输出该默认聊天视频。其中,默认的人脸模型可以是比较正式的或者比较严肃的人脸模型,从而确保第一用户在进行视频聊天时注意保持严肃或正式的态度。
步骤S213,当第二终端对应的用户是被标记的联系人,则获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
当第二用户是被标记过的联系人,例如第二用户是用户的朋友、兄弟以及陌生人时,则可以获取第一用户的交互需求信息以及第二终端发送的聊天信息。
步骤S220,获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
步骤S230,根据交互需求信息确定目标人脸模型。
步骤S240,根据聊天信息获取目标人脸模型的表情参数。
步骤S250,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
步骤S260,根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
在本实施例中,考虑到第二终端对应的用户(即聊天对象)可能不太适合根据第一用户的交互需求信息来进行显示特殊人脸的视频聊天,因此在根据交互需求信息来进行视频聊天之前,可以先判断第二终端对应的用户为被标记的联系人,再来确定是否根据第一用户的交互需求信息来确定的聊天视频中的目标人脸图像。使得面对不同的聊天对象能在视频聊天时显示合适的人脸图像,从而提升用户进行聊天视频的体验感。如图6所示,例如当第二用户为第一用户的朋友、兄弟等为标记过的联系人,此时可以根据交互需求信息来确定的聊天视频中的目标人脸图像,如在视频聊天时在第一终端显示第一用户喜欢的卡通人物的脸来代替被标记过的联系人的人脸,例如用显示该卡通人物人脸的聊天视频来与第二用户进行交流,从而提升社交的趣味性。又例如,当第二用户为第一用户的不太熟悉的陌生人,且为标记过的联系人,此时可以根据交互需求信息来确定的聊天视频中的目标人脸图像,如在视频聊天时在第一终端显示第一用户比较亲密的人的人脸或者卡通人脸代替被标记过的联系人的人脸,从而使第一用户沟通起来不会感到陌生和尴尬,从而提升用户体验感。
请参阅图7,图7示出了本申请又一个实施例提供的社交方法的流程示意图。本实施例的社交方法可以包括:
步骤S310,获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
步骤S320,确定第二终端对应的用户的类型,类型包括亲人、朋友以及同事中的至少一种。
在一些实施方式中,第一终端可以从本地的通讯录或者第一终端上安装的社交平台的好友列表上查看预先对第二用户的分类,从而确定第二用户的类型。
步骤S330,根据类型和交互需求信息确定目标人脸模型。
在一些实施方式中,可以根据第二用户的类型和与该类型相对应的交互需求信息来确定目标人脸模型。例如,第二用户的类型是亲人,则交互需求信息可以为第一终端上的通讯录,该通讯录可以追踪到第一终端对应用户的亲人,从而可以获取亲人的人物照片或视频,以根据该照片或视频生成目标人脸模型。又例如,第二用户的类型是同事,则交互需求信息可以为第一终端上的办公软件(如钉钉)或即时通讯软件(如QQ、微信)上的联系人列表,该联系人列表可以追踪到第一终端对应用户的同事,从而可以获取该同事的人物照片或视频,以根据该照片或视频生成目标人脸模型。
步骤S340,根据聊天信息获取目标人脸模型的表情参数。
步骤S350,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
步骤S360,根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
在本实施中,通过判断第二终端对应用户的类型,并根据该类型和交互需求信息确定目标人脸模型,可以为第一终端对应的用户推荐更匹配的目标人脸模型,从而提高视频聊天时的用户体验。
请参阅图8,图8示出了本申请再一个实施例提供的社交方法的流程示意图。本实施例的社交方法可以包括:
步骤S410,获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
步骤S420,根据交互需求信息确定目标人脸模型。
在一些实施方式中,社交信息包括通讯录以及通讯记录,如图9所示,步骤S420包括:
步骤S421A,从通讯录中提取多个第一人物信息,并根据通讯记录确定每个第一人物信息分别与第一终端对应的用户之间的亲密度。
在一些实施方式中,可以分别比较一段时间内通讯录中每个人物与用户之间的通讯次数或者通话时长来确定每个人物与用户之间的亲密度。一般与用户通讯次数较多的人物与用户之间的亲密度较高,每次与用户通话时长较长的人物与用户之间的亲密度较高。因此,在计算亲密度时,可以直接按通讯次数进行记录,例如通讯录中某个人物与用户在一个月之内的通讯次数为50次,则可以将用户与该人物的亲密度确定为50,若通讯次数为40次,若以每次通讯为1点亲密度计算,则用户与该人物的亲密度为40。也可以直接按通话时长来确定亲密度,例如在一个月中用户与某一个人物之间的总通话时长为300分钟,若以每10分钟1点亲密度计算,则亲密度为30。在本实施方式中,通过通讯次数或通讯时长直接来计算亲密度,可以方便、快捷地确定计算出通讯录中人物与用户之间的亲密度。
在一些实施方式中,可以结合通讯次数和通话时长来计算亲密度。其中,通讯次数和通话时长的权重可以各占50%。例如某个人物一个月内与用户之间的通话次数为40,通话时长的时长为500分钟,则用户与该人物的亲密度为40*50%+500*10%*50%=45。在本实施方式中,结合了通讯次数和通话时长来计算亲密度,可以时亲密度更真实地反映人物与用户之间的关系。
步骤S422A,根据亲密度在多个第一人物信息中确定第一交互人物信息。
在一些实施方式中,步骤S422A可以包括:分别判断每个第一人物信息与第一终端对应的用户之间的亲密度是否大于或等于预设亲密度;将任意一个亲密度大于或等于预设亲密度的第一人物信息确定为第一交互人物信息。例如,预设的亲密度为50,在通讯录中与用户之间的亲密度大于或等于50的人物有多个,可以从这多个人物中随机挑选出一个人物,将该人物的人物信息作为第一交互人物信息。为了保证预设亲密度不会超过最大的亲密度,可以将预设亲密度设置为最大的亲密度的80%。在本实施方式中,通过选取通讯录中亲密度大于预设亲密度的人物信息的任意一个作为第一交互人物信息,不仅可以保证选出的人物与用户具有较高的亲密度,而且使第一交互人物信息具有一定随机性,保证了用户在视频聊天时能保持一定新鲜感。
在另一些实施方式中,步骤S422A可以包括:比较每个第一人物信息与用户之间的亲密度大小;将与用户之间的亲密度最大的第一人物信息确定为第一交互人物信息。在本实施方式中通过,让亲密度最高的人物信息作为第一交互人物信息,使得用户在视频聊天时,能面对最熟悉的人脸图像进行沟通,进一步保证了用户在视频聊天时的亲切感。
步骤S423A,获取与第一交互人物信息对应的第一人物影像。
在一些实施方式中,第一终端可以根据第一交互人物信息从第三方平台中查找并获取与该第一交互人物信息对应的人物影像,或者可以从用户的第一终端获取用户已存储在第一终端上与该第一交互人物信息对应的第一人物影像。例如第一交互人物信息为第一终端对应用户的母亲,则可以从第一终端的本地相册中查找并获取关于母亲的照片或视频以得到第一人物影像。其中,人物影像包括静态图片、动态图片以及视频中的至少一种。
步骤S424A,根据第一人物影像确定目标人脸模型。
在一些实施方式中,网上行为特征包括第一终端对应的用户的关注记录、点赞记录、浏览记录以及评论记录,如图10所示,步骤S420可以包括:
步骤S421B,根据关注记录获取多个第二人物信息,并根据点赞记录、评论记录以及浏览记录确定第一终端对应的用户分别对每个第二人物信息的关注度。
其中,关注记录可以是用户在社交平台、论坛平台以及音乐平台上关注的人物列表,该人物列表记录了多个用户的关注人物。点赞记录、浏览记录以及评论记录可以是用户对关注的人物在一定时间内记录的点赞次数、浏览次数以及评论次数等等,可选地,如果关注人物是位歌手,其浏览记录可以包括用户对该歌手的歌曲的播放次数。
在一些实施方式中,可以单独以一定时间内用户对关注人物的点赞次数、评论次数以及浏览次数中的一种来计算用户对其关注人物的关注度。例如在一个月内用户对某一个关注人物的评论次数为50次,以每次1点的关注度进行计算,则用户对该关注人物的关注度为50。
在一些实施方式中,可以结合用户对某一个关注人物的点赞次数、评论次数以及浏览次数来计算用户对该关注人物的关注度。例如点赞次数、评论次数以及浏览次数分别占关注度权重的30%,且每次点赞次数、评论次数以及浏览次数计为1点关注度,若用户在一个月内对某一个关注人物的点赞次数为60,评论次数为30,浏览次数为90,则用户对该关注人物的关注度为30*30%+60*30%+90*30%=54。在本实施方式中,通过结合用户的点赞记录、评论记录以及浏览记录共同来计算关注度,可以保证关注度的准确性和真实性。
步骤S422B,根据关注度在多个第二人物信息中确定第二交互人物信息。
在一些实施方式中,步骤S422B可以包括:分别判断用户对每个第二人物信息的关注度是否大于或等于预设关注度;将任意一个关注度大于或等于预设关注度的第二人物信息确定为第二交互人物信息。例如,预设的关注度为50,用户关注的人物有多个,可以从这多个人物中随机挑选出一个人物,将该人物的人物信息作为第二交互人物信息。为了保证预设其关注度不会超过最大的关注度,可以将预设关注度设置为最大的关注度的80%。在本实施方式中,通过选取关注度大于预设关注度的人物信息的任意一个作为第二交互人物信息,不仅可以保证用户对该交互人物具有较高的关注度,而且使第二交互人物信息具有一定随机性,保证了用户在视频聊天时能保持一定新鲜感。
在另一些实施方式中,步骤S422B可以包括:比较用户对每一个第二人物信息的关注度大小;将关注度最大的第二人物信息确定为第二交互人物信息。
在本实施方式中,通过选取用户最为关注的人物信息作为第二交互人物信息,由于人们往往对关注的人具有好感,使得用户在交互时,能面对第一用户具有好感的人脸图像进行视频聊天,可以提升用户的体验感。
步骤S423B,获取与第二交互人物信息对应的第二人物影像。
步骤S424B,根据第二人物影像确定目标人脸模型。
在本实施方式中,通过计算用户对人物的关注度来确定第二交互人物信息,可以保证交互人物是用户比较喜欢的人,例如用户喜欢的演员、歌手、偶像等等,因此在视频聊天时,用户对根据第二交互人物信息生成的目标人脸图像也能具有好感,从而提升了用户的社交体验。
在另一些实施方式中,如图11所示,步骤S420包括:
步骤S421C,获取第一终端对应的用户上传的自定义人物信息。
其中,自定义人物信息可以是真实人物,也可以是虚拟人物。
步骤S422C,将自定义人物信息确定为第三交互人物信息。
其中,第三交互人物信息分别与第一交互人物信息和第二人物交互信息类似。
步骤S423C,获取与第三交互人物信息对应的第三人物影像。
其中,第三人物影像分别与第一交互人物影像以及第二人物交互影像类似。
步骤S424C,根据第三人物影像确定目标人脸模型。
在本实施方式中,用户可以根据自己的喜好上传自定义人物信息,以此来生成视频聊天时的目标人脸图像,保证了用户在进行视频聊天时的灵活性和自由性。从而进一步提升了用户体验感。
步骤S430,根据聊天信息获取目标人脸模型的表情参数。
步骤S440,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
步骤S450,获取与目标人脸模型对应的声纹信息。
在一些实施方式中,如果交互人物是用户通讯录里的,可以通过用户与人物的通话录音中提取出该人物的声纹信息。如果交互人物是公众人物或者是歌手,可以从该公众人物公开的录音或者歌手的歌曲中提取出该人物的声纹信息。
步骤S460,基于声纹信息和聊天信息生成聊天音频。
在一些实施方式中,可以通过将声纹信息输入到预先训练好的模型中,以得到与声纹信息对应的聊天音频。其中,预先训练好的模型预先通过样本声纹信息和样本聊天音频进行训练。其中,样本聊天音频可以从视频或录音中提取。
步骤S470,根据聊天音频和目标人脸图像生成聊天视频,并输出聊天视频。
在一些实施方式中,目标人脸图像为多个,可以多个目标人脸图像按照一定顺序播放,从而得到可视化视频,再将聊天音频与可视化视频同步,则可生成聊天视频,并在第一终端输出。
在一些实施例中,第一用户可以在第一终端上手动切换目标人脸模型,例如在第一人物影像对应的目标人脸模型、第二人物影像对应的目标人脸模型以及第三人物影像对应的目标人脸模型中任意切换。
在本实施例中,通过获取与交互人物信息对应的声纹信息,根据声纹信息生成聊天音频,以该聊天音频实现第一用户与第二用户的沟通,不仅在视觉上让用户能面对与自己熟悉或者喜爱的目标人脸图像进行交流,而且在听觉上也能让用户能与熟悉或者喜爱的声音进行交流,进一步提升了用户的交互体验感。
请参阅图12,图12示出了本申请又另一个实施例提供的社交方法的流程示意图。该方法可以应用于社交***的第二终端,社交***还包括与第二终端通信的第一终端,方法包括:
步骤S510,获取第一终端对应的用户的交互需求信息以及第二终端对应的用户输入的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
步骤S520,根据交互需求信息确定目标人脸模型。
步骤S530,根据聊天信息获取目标人脸模型的表情参数。
步骤S540,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
步骤S550,根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
请参阅图13,图13示出了本申请又再一个实施例提供的社交方法的流程示意图。该方法可以应用于社交***的服务器,***还包括分别与服务器通信的第一终端和第二终端,方法包括:
步骤S610,获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
步骤S620,根据交互需求信息确定目标人脸模型。
步骤S630,根据聊天信息获取目标人脸模型的表情参数。
步骤S640,基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
步骤S650,根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
请参阅图14,图14示出了本申请一个实施例提供的社交装置的模块框图。该装置400应用于社交***的第一终端,社交***包括与第一终端通信的第二终端,该装置400包括:第一信息获取模块410、第一目标人脸模型确定模块420、第一表情参数获取模块430、第一目标人脸图像获取模块440以及视频输出模块450。
第一信息获取模块410用于获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第一目标人脸模型确定模块420用于根据交互需求信息确定目标人脸模型。
第一表情参数获取模块430用于根据聊天信息获取目标人脸模型的表情参数。
第一目标人脸图像获取模块440用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
视频输出模块450用于根据聊天信息和目标人脸图像生成聊天视频,并输出聊天视频。
进一步的,该装置还包括联系人标记确定模块,该联系人标记确定模块用于确定第二终端对应的用户为被标记的联系人。
进一步的,第一目标人脸模型具体用于确定第二终端对应的用户的类型,类型包括亲人、朋友以及同事中的至少一种;根据类型和交互需求信息确定目标人脸模型。
进一步的,社交信息包括通讯录以及通讯记录,第一目标人脸模型具体用于从通讯录中提取多个第一人物信息,并根据通讯记录确定每个第一人物信息分别与第一终端对应的用户之间的亲密度;根据亲密度在多个第一人物信息中确定第一交互人物信息;获取与第一交互人物信息对应的第一人物影像;根据第一人物影像确定目标人脸模型。
进一步的,根据亲密度在多个第一人物信息中确定第一交互人物信息,包括:
分别判断每个第一人物信息与第一终端对应的用户之间的亲密度是否大于或等于预设亲密度。
将任意一个亲密度大于或等于预设亲密度的第一人物信息确定为第一交互人物信息。
进一步的,网上行为特征包括第一终端对应的用户的关注记录、点赞记录、浏览记录以及评论记录,第一目标人脸模型具体用于根据关注记录获取多个第二人物信息,并根据点赞记录、评论记录以及浏览记录确定第一终端对应的用户分别对每个第二人物信息的关注度;根据关注度在多个第二人物信息中确定第二交互人物信息;获取与第二交互人物信息对应的第二人物影像;根据第二人物影像确定目标人脸模型。
进一步的,第一目标人脸模型具体用于获取第一终端对应的用户上传的自定义人物信息;将自定义人物信息确定为第三交互人物信息;获取与第三交互人物信息对应的第三人物影像;根据第三人物影像确定目标人脸模型。
进一步的,视频输出模块450具体用于获取与目标人脸模型对应的声纹信息;基于声纹信息和聊天信息生成聊天音频;根据聊天音频和目标人脸图像生成聊天视频,并输出聊天视频。
请参阅图15,图15示出了本申请另一个实施例提供的社交装置的模块框图。该装置500应用于社交***的第二终端,社交***还包括与第二终端通信的第一终端,该装置500包括:
第二信息获取模块510,用于获取第一终端对应的用户的交互需求信息以及第二终端对应的用户输入的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第二目标人脸模型确定模块520,用于根据交互需求信息确定目标人脸模型。
第二表情参数获取模块530,用于根据聊天信息获取目标人脸模型的表情参数。
第二目标人脸图像获取模块540,用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
第一视频发送模块550,用于根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
请参阅图16,图16示出了本申请又一个实施例提供的社交装置的模块框图。该装置600应用于社交***的服务器,***还包括分别与服务器通信的第一终端和第二终端,该装置600包括:
第三信息获取模块610,用于获取第一终端对应的用户的交互需求信息以及第二终端发送的聊天信息,交互需求信息包括社交信息和网上行为特征中至少一种。
第三目标人脸模型确定模块620,用于根据交互需求信息确定目标人脸模型。
第三表情参数获取模块630,用于根据聊天信息获取目标人脸模型的表情参数。
第三目标人脸图像获取模块640,用于基于表情参数对目标人脸模型的表情进行驱动,得到目标人脸图像。
第二视频发送模块650,用于根据聊天信息和目标人脸图像生成聊天视频,并将聊天视频发送至第一终端。
本申请实施例提供的社交装置用于实现前述方法实施例中相应的社交方法,并具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的社交装置能够实现前述方法实施例中的各个过程,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图17,其示出了本申请实施例提供的一种电子设备700的结构框图。该电子设备700可以是智能手机、平板电脑等能够运行应用程序的电子设备。本申请中的电子设备700可以包括一个或多个如下部件:处理器710、存储器720以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分,通过运行或执行存储在存储器720内的指令、程序、代码集或指令集,以及调用存储在存储器720内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器710可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器710中,单独通过一块通信芯片进行实现。
存储器720可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图18,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。