CN109150690B - 交互数据处理方法、装置、计算机设备和存储介质 - Google Patents

交互数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109150690B
CN109150690B CN201710458909.5A CN201710458909A CN109150690B CN 109150690 B CN109150690 B CN 109150690B CN 201710458909 A CN201710458909 A CN 201710458909A CN 109150690 B CN109150690 B CN 109150690B
Authority
CN
China
Prior art keywords
expression
dimensional virtual
scene
session
virtual session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710458909.5A
Other languages
English (en)
Other versions
CN109150690A (zh
Inventor
李斌
陈晓波
李磊
王俊山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710458909.5A priority Critical patent/CN109150690B/zh
Publication of CN109150690A publication Critical patent/CN109150690A/zh
Application granted granted Critical
Publication of CN109150690B publication Critical patent/CN109150690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种交互数据处理方法、装置、计算机设备和存储介质,所述方法包括:通过当前登录的第一用户标识加入相应的虚拟会话场景;采集头部图像数据;识别所述头部图像数据中的表情特征,得到表情数据;将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。该方法通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。

Description

交互数据处理方法、装置、计算机设备和存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及一种交互数据处理方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的飞速发展,各种通信技术越来越先进,人们对通信形式的需求也越来越多样化。目前的交互通信方式中,视频通信由于能够显示通信双方的一些动作神情,没有语音通信或纯文本通信那么枯燥而受到广大用户的欢迎。
然而,在目前的视频通信过程中,所显示的用户图像可能被恶意截图或录制,并可能被进一步传播。而用户图像是比较隐私性的信息,如果被恶意录制或传播,会严重损害用户的隐私。因此,目前视频通信存在一定的隐私安全性问题。
发明内容
基于此,有必要针对目前视频通信存在一定的隐私安全性问题,提供一种交互数据处理方法、装置、计算机设备和存储介质。
一种交互数据处理方法,所述方法包括:
通过当前登录的第一用户标识加入相应的虚拟会话场景;
采集头部图像数据;
识别所述头部图像数据中的表情特征,得到表情数据;
将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
一种交互数据处理装置,其特征在于,所述装置包括:
加入模块,用于通过当前登录的第一用户标识加入相应的虚拟会话场景;
图像采集模块,用于采集头部图像数据;
表情识别模块,用于识别所述头部图像数据中的表情特征,得到表情数据;
控制模块,用于将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:
通过当前登录的第一用户标识加入相应的虚拟会话场景;
采集头部图像数据;
识别所述头部图像数据中的表情特征,得到表情数据;
将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如下步骤:
通过当前登录的第一用户标识加入相应的虚拟会话场景;
采集头部图像数据;
识别所述头部图像数据中的表情特征,得到表情数据;
将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
上述交互数据处理方法、装置、计算机设备和存储介质,通过当前登录的第一用户标识加入相应的虚拟会话场景,采集并识别面部数据得到表情数据,并将该表情数据发送至加入该虚拟会话场景的第二用户标识所对应的终端。接收该表情数据的终端则在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。
一种交互数据处理方法,所述方法包括:
通过当前登录的第二用户标识加入相应的虚拟会话场景;
接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;
从所述表情数据中提取表情特征值;
在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
一种交互数据处理装置,其特征在于,所述装置包括:
加入模块,通过当前登录的第二用户标识加入相应的虚拟会话场景;
表情特征提取模块,接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;从所述表情数据中提取表情特征值;
控制模块,在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:
通过当前登录的第二用户标识加入相应的虚拟会话场景;
接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;
从所述表情数据中提取表情特征值;
在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如下步骤:
通过当前登录的第二用户标识加入相应的虚拟会话场景;
接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;
从所述表情数据中提取表情特征值;
在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
上述交互数据处理方法、装置、计算机设备和存储介质,通过当前登录的第二用户标识加入相应的虚拟会话场景,接收与加入虚拟会话场景的第一用户标识对应的终端发送的表情数据;从表情数据中提取表情特征值;在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情特征值所表示的表情动作。通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。
附图说明
图1为一个实施例中交互数据处理方法的应用环境图;
图2为一个实施例中计算机设备的内部结构示意图;
图3为一个实施例中交互数据处理方法的流程示意图;
图4A为一个实施例中虚拟会话场景的界面示意图;
图4B为另一个实施例中虚拟会话场景的界面示意图;
图5为一个实施例中交互数据处理方法的时序图;
图6为一个实施例中交互数据处理方法的架构图;
图7为一个实施例中虚拟会话场景展示步骤的流程示意图;
图8为一个实施例中视角转换操作步骤的流程示意图;
图9为另一个实施例中交互数据处理方法的流程示意图;
图10为又一个实施例中交互数据处理方法的流程示意图;
图11为另一个实施例中虚拟会话场景展示步骤的流程示意图;
图12为一个实施例中交互数据处理装置的结构框图;
图13为另一个实施例中交互数据处理装置的结构框图;
图14为又一个实施例中交互数据处理装置的结构框图;
图15为再一个实施例中交互数据处理装置的结构框图;
图16为还一个实施例中交互数据处理装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中交互数据处理方法的应用环境图。参照图1,该交互数据处理方法的应用环境包括第一终端110、第二终端120和服务器130。其中,第一终端110和第二终端120是安装了具备实现虚拟会话场景功能的应用程序的终端,第一终端110和第二终端120既可以用于发送表情数据,又可以用于接收表情数据。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群。服务器130可以包括开放服务平台,还可以包括接入开放服务平台的接入服务器。第一终端110和第二终端120可以是相同或者不同的终端。终端可以是移动终端或者台式计算机,移动终端可以包括手机、平板电脑、个人数字助理和穿戴式设备等中的至少一种。
第一终端110可通过当前登录的第一用户标识加入相应的虚拟会话场景。第一终端110可以采集头部图像数据,识别头部图像数据中的表情特征,得到表情数据。第一终端110可以将表情数据发送至服务器130,服务器130将该表情数据转发至加入虚拟会话场景的第二用户标识所对应的第二终端120。第二终端120在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。
可以理解,在其它实施例中,第一终端110可以通过点对点的方式直接将表情数据发送至第二终端120,而不需要通过服务器130的转发。
图2为一个实施例中计算机设备的内部结构示意图。该计算机设备可以是图1中的第一终端110和第二终端120。参照图2,该计算机设备包括通过***总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏、输入装置和图像采集装置。其中,该计算机设备的非易失性存储介质可存储操作***和计算机可读指令,该计算机可读指令被执行时,可使得处理器执行一种交互数据处理方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种交互数据处理方法。计算机设备的网络接口用于进行网络通信,如发送表情数据等。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。触摸层和显示屏构成触控屏。图像采集装置可以是摄像头。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图3为一个实施例中交互数据处理方法的流程示意图。该交互数据处理方法可以应用于图1中的第一终端110和/或第二终端120。本实施例主要以该方法应用于上述图1中的第一终端110来举例说明。参照图3,该方法具体包括如下步骤:
S302,通过当前登录的第一用户标识加入相应的虚拟会话场景。
其中,虚拟会话场景,是为虚拟会话成员提供的会话场景,加入该虚拟会话场景的成员进行形象展示时,皆以虚拟会话成员的形象进行展示。
在一个实施例中,虚拟会话场景可以是虚拟房间。虚拟会话场景可以是三维虚拟会话场景或二维虚拟会话场景。虚拟会话场景可以基于会话创建,具体地,虚拟会话场景可以基于多人会话(会话成员大于或等于3的会话)创建,也可以基于双人会话(会话成员仅为2个的会话)创建。在一个实施例中,虚拟会话场景还可以包括展示的背景信息,其中,展示的背景信息可以包括背景图片或三维背景模型,背景图片可以是二维图片或三维图片。展示的背景信息可以是真实背景信息或虚拟背景信息。
在一个实施例中,虚拟会话场景,可以是实时虚拟会话场景。其中,实时虚拟会话场景,是指该虚拟会话场景用于实现实时通信。比如,微信群组为一个多人会话,在微信群组中创建实时通话,加入该实时通话的成员都可以用虚拟形象进行展示,即展示虚拟会话成员实现实时通话,则构成上述的虚拟会话场景。
虚拟会话成员,是该虚拟会话场景中的成员进行展示时的虚拟形象。可以理解,虚拟形象是虚拟出的形象,不同于真实形象。虚拟会话成员包括虚拟的人物形象。虚拟会话成员还可以包括动物、植物或其它事物的虚拟形象。虚拟会话成员可以是三维虚拟会话成员或二维虚拟会话成员。虚拟会话成员可以是默认的虚拟形象(比如,虚拟会话初始模型),也可以是通过虚拟会话成员初始模型结合用户特征(比如用户面部特征)和/或用户自定义的属性(比如服装属性)得到的虚拟形象。
当前登录的第一用户标识,是当前登录用于实现虚拟会话场景的应用程序的第一用户标识。用于实现虚拟会话场景的应用程序,可以是即时通信应用程序、社交应用程序或游戏应用程序等。当前登录的第一用户标识所对应的终端,可称为“第一终端”。
在一个实施例中,第一终端可以向服务器请求将当前登录的第一用户标识加入相应的虚拟会话场景的成员列表中,以实现通过当前登录的第一用户标识加入相应的虚拟会话场景。当加入虚拟会话场景后,第一终端则可以与加入该虚拟会话场景的其它用户标识所对应终端之间进行通信,比如发送表情数据至加入该虚拟会话场景的其它用户标识所对应终端。可以理解,加入虚拟会话场景的用户标识,可以是位于该虚拟会话场景的成员列表中的用户标识。
在一个实施例中,第一终端还可以在虚拟会话场景中,将该虚拟会话场景中的成员以虚拟形象的虚拟会话成员进行展示。其中,第一终端所展示的虚拟会话成员中可以包括当前通过第一终端登录的第一用户标识所对应的虚拟会话成员,也可以不包括当前通过第一终端登录的第一用户标识所对应的虚拟会话成员。不将第一用户标识所对应的虚拟会话成员展示于第一终端所展示的虚拟会话场景中,既不会影响第一终端与其它成员所对应的终端之间的交互通信,也可以节省***的计算处理资源及显示资源。
S304,采集头部图像数据。
其中,头部图像数据,是对头部进行实时图像采集得到的图像数据。头部头像数据可以包括面部图像数据和头部动作图像数据。头部动作,包括头部扭转动作,比如低头、抬头、向左扭转或向右扭转等动作。
具体地,第一终端可以通过调用本机摄像头采集头部图像数据。其中,本机摄像头可以是本机的前置摄像头或后置摄像头。可以理解,所采集的头部图像数据可以是对任意出现在图像采集区域内的头部进行图像采集得到的,并不限定于第一用户标识所对应的用户。
在一个实施例中,第一终端可以检测该虚拟会话场景中的成员数量,当虚拟会话场景中的成员数量不小于预设数量阈值时,再执行步骤S304进行头部图像数据采集处理。其中,预设数量阈值可以是2。可以理解,这里所说的虚拟会话场景中的成员数量可以包括当前登录的第一用户标识本身。
S306,识别头部图像数据中的表情特征,得到表情数据。
表情特征,是能够表达感情或情绪的特征,包括面部表情特征和姿态表情特征。面部表情,是通过面部器官表达的表情,比如挑眉或眨眼等面部表情。姿态表情,是通过肢体动作表达的表情,比如转头等动作表情。
在一个实施例中,第一终端可以对头部图像数据进行解析,识别该头部图像数据中的面部表情特征和/或头部动作表情特征,得到表情数据。表情数据,是能够表示相应的表情动作的数据。
表情数据可以包括按序排列的一串表情特征值。在一个实施例中,每个表情特征值所对应的位置或顺序,表征其所对应的表情类型。比如,位于第一位置的表情类型是“哭”,在该第一位置中的表情特征值则用于表征哭的程度。
表情数据也可以包括表情类型标识和对应的表情特征值。表情类型,是表情在动作表现维度的类别,包括张嘴、眨眼、笑、哭、转头或点头等。可以理解,上述所列举的表情类型仅用于举例,并不用于限定表情的分类,可以根据实际需要设置表情类型的种类。
S308,将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。
其中,加入虚拟会话场景的第二用户标识,是指该虚拟会话场景的成员列表中,除了第一用户标识以外的全部或部分用户标识。本实施例中,第二用户标识可以为一个或多个。
第一终端可以将该表情数据发送至服务器,由服务器将该表情数据转发至加入虚拟会话场景的第二用户标识所对应的终端。第一终端也可以直接通过点对点的方式,将该表情数据直接发送至加入虚拟会话场景的第二用户标识所对应的终端,比如,当虚拟会话场景是基于点对点方式的双人会话建立得到时,第一终端就可以直接将该表情数据直接发送至加入虚拟会话场景的第二用户标识所对应的终端。
在一个实施例中,将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作,包括:将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端从表情数据中提取与识别到的表情类型相对应的表情特征值,在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发提取的表情特征值所表示的表情动作。
在一个实施例中,第二用户标识所对应的终端,可以确定与提取的表情特征值对应的表情类型,在虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的表情特征值,控制与第一用户标识对应的虚拟会话成员实施相应的表情动作。比如,表情数据所表示的表情动作为“张嘴10度”,则控制与第一用户标识对应的虚拟会话成员实施“张嘴10度”的动作。
在一个实施例中,第二用户标识所对应的终端,还可以根据表情特征值和对应的表情类型生成相对应的纹理信息,在虚拟会话场景中,将纹理信息展示于与第一用户标识对应的虚拟会话成员的表情展示部位。比如,表情数据所表示的表情动作为“哭”时,第二用户标识所对应的终端则可以根据表情数据生成与“哭”相对应的“泪珠”纹理信息,将该“泪珠”的纹理信息展示于与第一用户标识对应的虚拟会话成员的眼睛下方。
图4A为一个实施例中的虚拟会话场景的界面示意图。该虚拟会话场景当前的成员只有2个,用户a和用户b。假设图4A为用户a所对应的终端上所显示的虚拟会话场景的界面,图4A中左上角的图像采集区域显示的是使用用户a所对应的终端的用户的真实头部图像,界面中显示的是与用户b对应的虚拟会话成员B。
图4B为另一个实施例中的虚拟会话场景的界面示意图。该虚拟会话场景当前的成员有多个,假设图4A为用户a所对应的终端上所显示的虚拟会话场景的界面,图4A中左上角的图像采集区域显示的是使用用户a所对应的终端的用户的真实头部图像,界面中显示的三个虚拟人物形象即为虚拟会话成员,虚拟会话成员B为与用户b对应的虚拟会话成员,虚拟会话成员B触发表情数据所表示的“眨右眼”表情动作。
上述交互数据处理方法,通过当前登录的第一用户标识加入相应的虚拟会话场景,采集并识别面部数据得到表情数据,并将该表情数据发送至加入该虚拟会话场景的第二用户标识所对应的终端。接收该表情数据的终端则在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。
此外,控制虚拟会话成员触发表情数据所表示的表情动作,是对交互通信用户的真实表情的另外一种表现方式,使用户能够通过表情动作识别出在线用户,提供了新的互动方式。
在一个实施例中,步骤S302包括:获取当前登录的第一用户标识所对应的多人会话标识;发送多人会话标识和第一用户标识至服务器,使服务器将第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表。
其中,多人会话标识用于唯一标识多人会话。多人会话中的成员数量大于或等于3。多人会话可以是群组或临时多人聊天会话,还可以是其它类型的多人会话。
可以理解,当前登录的第一用户标识,是与所对应的多人会话标识相对应的多人会话中的成员。以多人会话标识所标识的虚拟会话场景,相当于是基于多人会话标识所对应的多人会话创建的虚拟会话场景。以多人会话标识所标识的虚拟会话场景,可以是以多人会话标识作为直接标识的虚拟会话场景,即虚拟会话场景的唯一标识就是多人会话标识本身。以多人会话标识所标识的虚拟会话场景,也可以是以多人会话标识作为间接标识的虚拟会话场景,即虚拟会话场景的唯一标识是与多人会话标识唯一对应的虚拟会话场景标识,根据多人会话标识可以确定虚拟会话场景标识,进而确定对应的虚拟会话场景,因此,多人会话标识可以间接唯一标识虚拟会话场景。
具体地,用户可以通过第一用户标识登录用于实现虚拟会话场景的应用程序,并于登录成功后,在第一终端中打开多人会话界面,该打开的多人会话界面即为与第一用户标识对应的多人会话标识所对应的多人会话的界面。用户可以在打开的多人会话界面中发起加入虚拟会话场景的操作。第一终端响应于该操作,获取当前登录的第一用户标识所对应的多人会话标识,并将多人会话标识和第一用户标识发送至服务器,服务器将第一用户标识加入以该多人会话标识所标识的虚拟会话场景的成员列表,以实现将该第一用户标识加入相应的虚拟会话场景。
在一个实施例中,服务器可以将以多人会话标识所标识的虚拟会话场景的接入信息返回至第一终端,第一终端可以根据该接入信息加入虚拟会话场景。其中,接入信息包括接入IP地址和端口。
上述实施例中,相当于通过将当前登录的第一用户标识加入基于所对应的多人会话创建的虚拟会话场景,进而实现了由虚拟会话场景中的虚拟会话成员触发表情数据所对应的表情动作的交互通信方式,相当于在多人会话上进行了改进,提出了一种新的交互互动方式。
图5为一个实施例中实现该交互数据处理方法的时序图,具体包括以下步骤:
1)第一终端打开会话,发送与第一用户标识对应的多人会话标识至服务器,以申请加入虚拟会话场景。
2)服务器创建以多人会话标识所标识的虚拟会话场景,并为该虚拟会话场景分配对应的接入信息。
3)服务器返回分配的接入信息至第一终端。
4)第一终端根据该接入信息,与服务器建立数据通道,以加入该虚拟会话场景。
5)该多人会话中的其它成员所对应的终端分别按照上述方式,与服务器建立数据通道,加入虚拟会话场景。
6)服务器将加入该虚拟会话场景中的成员数量通知加入虚拟会话场景中的各个成员所对应的终端。
7)各个终端在当前虚拟会话场景中的成员数量大于或等于2时,启动本地图像采集设备,采集并识别头部图像数据得到表情数据。
8)各个终端将该表情数据发送至服务器。
9)服务器将该表情数据转发至该虚拟会话场景的其它成员所对应的终端。
10)收到表情数据的终端在虚拟会话场景中,控制与该表情数据所对应的虚拟会话成员,触发该表情数据所表示的表情动作。
在一个实施例中,发送多人会话标识和第一用户标识至服务器,使服务器将第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表,包括:发送多人会话标识和第一用户标识至服务器,使服务器在已存在以多人会话标识所标识的虚拟会话场景时,将第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表;或者,发送多人会话标识和第一用户标识至服务器,使服务器在不存在以多人会话标识所标识的虚拟会话场景时,创建以多人会话标识所标识的虚拟会话场景,并将第一用户标识加入创建的虚拟会话场景的成员列表。
具体地,第一终端发送多人会话标识和第一用户标识至服务器,请求服务器将第一用户标识加入与多人会话标识所标识的虚拟会话场景。服务器可以检测是否存在与多人会话标识对应的虚拟会话场景。
当已存在与多人会话标识对应的虚拟会话场景时,则服务器可以将该第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表,以实现将第一用户标识加入以多人会话标识所标识的虚拟会话场景。
当不存在与多人会话标识对应的虚拟会话场景时,则服务器可以根据该多人会话标识创建一个新的虚拟会话场景,并以该多人会话标识作为直接标识用来唯一标识该新创建的虚拟会话场景,或生成一个与该多人会话标识唯一、且与新创建的虚拟会话场景唯一对应的虚拟会话场景标识,即以该多人会话标识作为间接标识来唯一标识该创建的虚拟会话场景,进一步地,服务器可以将该第一用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,虚拟会话场景为实时虚拟会话场景。第一终端可以将多人会话标识和第一用户标识通过实时信令通道发送至服务器中的实时信令服务程序,向实时信令服务程序请求加入实时虚拟会话场景。实时信令服务程序收到请求后,检测当前是否已存在与多人会话标识对应的实时虚拟会话场景,当不存在与多人会话标识对应的实时虚拟会话场景时,则实时信令服务程序可以根据该多人会话标识创建一个新的以多人会话标识所标识的实时虚拟会话场景,并向实时数据服务程序申请与该虚拟会话场景对应的接入信息,并将该接入信息返回至第一终端。当已存在与多人会话标识对应的实时虚拟会话场景时,则实时信令服务程序可以直接返回与该实时虚拟会话场景对应的接入信息至第一终端。其中,接入信息包括接入IP地址和端口。
第一终端根据该接入信息,开始建立与实时数据服务程序之间的数据通道,实时信令服务程序将该第一用户标识加入创建的虚拟会话场景的成员列表。第二用户标识所对应的终端也可以通过上述方式加入实时虚拟会话场景,并与实时数据服务程序之间的数据通道,以加入虚拟会话场景。第一终端和第二用户标识所对应的终端之间可以基于所建立的数据通道,进行表情数据的收发。图6为一个实施例中实现该交互数据处理方法的架构图。
上述实施例中,将虚拟会话场景的创建和加入处理进行了整合,用户只用通过第一终端将所对应的多人会话标识发送至服务器以请求加入虚拟会话场景,无论服务器中当前是否存在与该多人会话标识对应的虚拟会话场景,都可加入以该多人会话标识所标识虚拟会话场景,节省掉了单独创建虚拟会话场景的操作步骤。此外,针对所有的用户,即首次创建虚拟会话场景的用户和虚拟会话场景创建后申请加入的用户,都是使用同一套规则,避免了多套规则造成的冗余,提高了逻辑规则的适用性。
在一个实施例中,步骤S306包括:识别头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;生成包括与识别得到的表情类型相对应的表情特征值的表情数据。
其中,表情类型,是表情在动作表现维度的类别,包括张嘴、眨眼、笑、哭、转头或点头等类型。第一终端识别头部图像数据中的表情特征所得到的表情类型为至少一个。表情特征值,用于表征表情类型所对应的表情动作幅度和/或程度的大小。比如,表情类型“哭”,所对应的表情特征值不同,则哭的程度不同,比如可以分为抽泣或大哭等不同程度。再比如,表情类型“左转头”,表情特征值可以是转头的角度,转头角度越大,则转头的幅度越大。
在一个实施例中,生成包括与识别得到的表情类型相对应的表情特征值的表情数据,包括:将与识别得到的表情类型相对应的表情特征值进行组合,得到表情数据。
具体地,第一终端可以直接根据与识别得到的表情类型和相对应的表情特征值进行组合,得到表情数据。第一终端也可以将与识别得到的表情类型相对应的表情特征值,添加至与相对应的表情类型对应的位置,以生成相应的表情数据。可以理解,第二用户标识所对应的终端可以根据表情数据所对应的位置,确定该表情数据所对应的表情类型。比如,表情类型“张嘴”对应于第1位置,则将与“张嘴”对应的表情特征值“10度”添加至第1位置,表情类型“左转头”对应于第2位置,则将与“左转头”对应的表情特征值“15度”添加至第2位置,依次类推,将表情特征值进行组合,以生成相应的表情数据。
可以理解,该实施例中,所生成的表情数据中所包含的表情特征值,可以仅是与识别得到的表情类型相对应的表情特征值。比如,仅识别到表情类型“左转头”和“张嘴”,则该表情数据中所包含的表情特征值,就只有与“左转头”和“张嘴”对应的表情特征值。
在另一个实施例中,识别得到的所述表情类型属于预设表情类型集合。生成包括与识别得到的表情类型相对应的表情特征值的表情数据,包括:对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;按照预设表情类型集合中的各表情类型的预设顺序,将各表情类型各自对应的表情特征值组合,构成表情数据。
本实施例中,第一终端中预设了表情类型集合。识别得到的表情类型属于该预设表情类型集合。识别得到的表情类型,可以为一个或多个。
其中,表示不触发相应表情动作的表情特征值,能够使目标虚拟会话成员不触发相应的表情动作。
具体地,对于预设表情类型集合中未识别到的表情类型,第一终端可以赋予表示不触发相应表情动作的表情特征值,并按照预设表情类型集合中的各表情类型的预设顺序,将各表情类型各自对应的表情特征值组合,构成表情数据。可以理解,该构成的表情数据可以仅包括表情特征值,而可以不用包括表情类型或表情类型标识这些数据。在第二用户标识所对应的终端控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作时,可以根据表情数据中各个表情特征值的顺序,确定其所对应的表情类型,进而触发该表情特征值所表示的表情动作。可以使得表情数据非常小,保证了表情数据的传递效率和传递质量。
在一个实施例中,该方法还包括:获取第二用户标识所对应的终端发送的表情数据;在虚拟会话场景中,控制与第二用户标识对应的虚拟会话成员触发获取的表情数据所表示的表情动作。
具体地,第二用户标识所对应的终端,也可以采集头部图像数据,并从采集的头部图像数据中识别表情特征,得到相应的表情数据,并将表情数据发送至第一终端。第一终端可以通过点对点的方式直接接收第二用户标识所对应的终端发送的表情数据,也可以接收服务器转发的与第二用户标识对应的终端所发送的表情数据。
在一个实施例中,第一终端可以在虚拟会话场景中,控制与第二用户标识对应的虚拟会话成员实施该表情数据所表示的表情动作。比如,表情数据所表示的表情动作为“张嘴10度”,则控制与第二用户标识对应的虚拟会话成员实施“张嘴10度”的动作。
在一个实施例中,第一终端还可以根据表情数据生成相对应的纹理信息,在虚拟会话场景中,将该纹理信息展示于与第二用户标识对应的虚拟会话成员的表情展示部位。比如,表情数据所表示的表情动作为“哭”时,第一终端则可以根据表情数据生成与“哭”相对应的“泪珠”纹理信息,将该“泪珠”的纹理信息展示于与第二用户标识对应的虚拟会话成员的眼睛下方。
在一个实施例中,第一终端可以从表情数据中提取表情特征值,在虚拟会话场景中,控制与第二用户标识对应的虚拟会话成员触发该表情特征值所表示的表情动作。
具体地,第一终端可以确定与提取的表情特征值对应的表情类型,在虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的表情特征值,控制与第一用户标识对应的虚拟会话成员实施相应的表情动作。第一终端还可以根据表情特征值和对应的表情类型生成相对应的纹理信息,在虚拟会话场景中,将纹理信息展示于与第一用户标识对应的虚拟会话成员的表情展示部位。
可以理解,当同一个第二用户标识所对应的终端发送的表情数据中包括多个识别到的表情类型相对应的表情特征值时,第一终端可以控制与该第二用户标识对应的虚拟会话成员同时触发多个表情特征值所表示的表情动作。比如,表情数据中包括与“左转头”和“张嘴”对应的表情特征值,则可以控制虚拟会话成员同时触发“左转头”和“张嘴”的表情动作。
上述实施例中,控制虚拟会话成员触发表情数据所表示的表情动作,是对交互通信用户的真实表情的另外一种表现方式,使用户能够通过表情动作识别出在线用户,提供了新的互动方式。
在一个实施例中,在通过当前登录的第一用户标识加入相应的虚拟会话场景之前,该方法还包括:获取当前登录的第一用户标识所对应的用户面部图像数据;根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的虚拟会话成员。
虚拟会话成员初始模型,是默认的虚拟形象模型。
具体地,第一终端可以对当前登录的第一用户标识所对应的用户进行实时面部图像采集,得到用户面部图像数据。第一终端也可以获取当前登录的第一用户标识所对应的用户的图片(比如,照片),从该图片中提取面部图像数据得到该用户面部图像数据。其中,该第一用户标识所对应的用户,是该第一用户标识唯一标识的用户。
第一终端可以将用户面部图像数据发送至服务器,服务器根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的虚拟会话成员。第一终端中也可以设置虚拟会话成员初始模型,根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的虚拟会话成员。
在一个实施例中,根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的虚拟会话成员,包括:解析用户面部图像数据生成相应的面部纹理信息,将生成的面部纹理信息叠加于虚拟会话成员初始模型,得到与第一用户标识对应的虚拟会话成员。
可以理解,虚拟会话场景中的其他用户标识所对应的虚拟会话成员,也可以是按照上述方法,根据各个用户标识所对应的用户图像数据和虚拟会话成员初始模型得到的。
上述实施例中,根据各个用户标识所对应的用户图像数据和虚拟会话成员初始模型得到的对应的虚拟会话成员,使得虚拟会话成员更加清楚的表征所对应的成员,便于交互通信过程中的身份识别,进而有利于提高用户交互通信的效率及有效性。
在一个实施例中,该方法还包括:获取与第二用户标识对应的虚拟会话成员;确定虚拟会话成员在虚拟会话场景中的分布位置;获取与虚拟会话场景对应的背景图片;将获取的虚拟会话成员分布于所对应的分布位置,并与背景图片进行叠加显示,构成虚拟会话场景。
其中,背景图片,是作为显示背景的图片。背景图片可以是二维背景图片,也可以是三维背景图片。背景图片可以是虚拟背景图片,也可以是真实背景图片。虚拟背景图片,是显示虚拟场景的图片,比如,漫画中所显示的就是一种虚拟场景。真实背景图片,是显示真实场景的图片,比如,对真实场景进行拍照得到的照片,就显示的真实场景。
具体地,第一终端可以从服务器获取与第二用户标识对应的虚拟会话成员,即获取与第二用户标识对应的虚拟形象数据。该虚拟会话成员可以是三维虚拟会话成员或二维虚拟会话成员。
第一终端可以根据虚拟会话场景的成员列表中的第二用户标识的数量,确定用于分布虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,以确定与第二用户标识对应的虚拟会话成员在虚拟会话场景中的分布位置。其中,可以在几何图形中随机选取满足该数量的位置,也可以按照预设位置选取规则选取满足数量的位置。
比如,第二用户标识的数量为5个,则根据数量5确定分布虚拟会话成员的几何图形的尺寸,然后在该几何图形中选取5个位置,各个位置即为与第二用户标识对应的虚拟会话成员在虚拟会话场景中的分布位置。
在一个实施例中,第一终端也可以根据虚拟会话场景的成员列表中的所有用户标识的数量,确定用于分布虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,并确定与第二用户标识对应的虚拟会话成员在虚拟会话场景中的分布位置。
第一终端可以将获取的与第二用户标识对应的虚拟会话成员在所对应的分布位置上进行分布,并叠加上所获取的背景图片,以构成虚拟会话场景,并输出显示该虚拟会话场景。
上述实施例,将虚拟会话成员和背景图片进行叠加显示,构成所展示的虚拟会话场景,丰富了虚拟会话场景,使得交互通信中所展示的虚拟会话场景更加的接近现实生活中的会话场景,实现了交互通信方式的多样性。
在一个实施例中,虚拟会话成员为三维虚拟会话成员,虚拟会话场景为三维虚拟会话场景。如图7所示,该方法还包括虚拟会话场景展示步骤,具体包括以下步骤:
S702,获取与第二用户标识对应的三维虚拟会话成员。
具体地,第一终端可以从服务器获取与第二用户标识对应的三维虚拟会话成员,即获取与第二用户标识对应的三维虚拟形象数据。
S704,确定三维虚拟会话成员在三维虚拟会话场景中的分布位置。
第一终端可以根据三维虚拟会话场景的成员列表中的第二用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,以确定与第二用户标识对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。其中,可以在几何图形中随机选取满足该数量的位置,也可以按照预设位置选取规则选取满足数量的位置。
比如,第二用户标识的数量为5个,则根据数量5确定分布三维虚拟会话成员的几何图形的尺寸,然后在该几何图形中选取5个位置,各个位置即为与第二用户标识对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。
在一个实施例中,第一终端也可以根据三维虚拟会话场景的成员列表中的所有用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,并确定与第二用户标识对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。
S706,获取与三维虚拟会话场景对应的三维背景模型。
其中,三维背景模型,是作为显示背景的三维模型。三维背景模型可以是三维虚拟背景模型,也可以是三维真实背景模型。三维虚拟背景模型,是显示三维虚拟场景的模型。三维真实背景模型,是显示三维真实场景的模型。
S708,将三维虚拟会话成员分布于所对应的分布位置,并与三维背景模型进行组合显示,构成三维虚拟会话场景。
第一终端可以将获取的与第二用户标识对应的三维虚拟会话成员在所对应的分布位置上进行分布,并与三维背景模型进行组合,以构成三维虚拟会话场景,并输出显示该三维虚拟会话场景。
上述实施例,将三维虚拟会话成员和三维背景模型进行组合显示,构成所展示的三维虚拟会话场景,使得交互通信中的所展示的三维虚拟会话场景进一步地更加的接近现实生活中的会话场景,实现了交互通信方式的多样性。
如图8所示,在一个实施例中,该方法还包括视角转换操作步骤,具体包括以下步骤:
S802,检测作用于三维虚拟会话场景上的触控操作,得到触控轨迹。
具体地,用户可以通过对第一终端界面上展示的三维虚拟会话场景进行触控操作,得到触控轨迹。其中,触控操作包括按压并拖拽的操作。
S804,将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹。
可以理解,第一终端显示屏上最终显示的三维虚拟会话场景,是根据观察点,将由三维背景模型和三维虚拟会话成员构成的三维虚拟会话场景投影到显示屏上进行显示的。观察点不同,投影到显示屏上的三维虚拟会话场景也不同。
具体地,第一终端可以根据触控点与观察点之间的映射关系,将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹。
S806,根据移动轨迹,确定移动后的观察点的位置。
具体地,第一终端根据确定出的观察点的移动轨迹,确定出移动后的观察点的位置。
S808,根据移动后的观察点的位置,将三维背景模型和三维虚拟会话成员进行投影显示。
具体地,第一终端根据移动后的观察点的位置作为新的观察点,将三维背景模型和三维虚拟会话成员重新投影到第一终端显示屏上进行显示,则在第一终端显示屏上重新投影得到的三维背景模型图像与触控操作前所显示的三维背景模型图像不同,在第一终端显示屏上重新投影得到的三维虚拟会话成员的显示角度与触控操作前所显示的角度也不相同,则重新投影后的三维背景模型和三维虚拟会话成员构成了新的视角下的三维虚拟会话场景。
上述实施例,实现了对三维虚拟会话场景的视角转换处理,能够调整到用户所想要的观察视角,使得交互通信过程中三维虚拟会话场景的显示更加的灵活、能够使显示的三维虚拟会话场景更加的符合用户的需求,提高了所显示的三维虚拟会话场景的有效性。
如图9所示,在一个实施例中,提供了另一种交互数据处理方法,该方法具体包括以下步骤:
S902,获取当前登录的第一用户标识所对应的用户面部图像数据。
S904,根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的三维虚拟会话成员。
S906,获取当前登录的第一用户标识所对应的多人会话标识,发送多人会话标识和第一用户标识至服务器,使服务器将第一用户标识加入以多人会话标识所标识的虚拟会话场景成员列表。
S908,采集头部图像数据,识别头部图像数据中的表情特征,得到表情类型和对应的表情特征值。
S910,对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值。
S912,按照预设表情类型集合中的各表情类型的预设顺序,将各表情类型各自对应的表情特征值组合,构成表情数据。
S914,将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端从表情数据中提取与识别到的表情类型相对应的表情特征值,在虚拟会话场景中,控制与第一用户标识对应的三维虚拟会话成员触发提取的表情特征值所表示的表情动作。
S916,获取与第二用户标识对应的三维虚拟会话成员,确定三维虚拟会话成员在三维虚拟会话场景中的分布位置。
S918,获取与三维虚拟会话场景对应的三维背景模型,将三维虚拟会话成员分布于所对应的分布位置,并与三维背景模型进行组合显示,构成三维虚拟会话场景。
S920,检测作用于三维虚拟会话场景上的触控操作,得到触控轨迹。
S922,将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹,根据移动轨迹,确定移动后的观察点的位置。
S924,根据移动后的观察点的位置,将三维背景模型和三维虚拟会话成员进行投影显示。
S926,获取第二用户标识所对应的终端发送的表情数据。
S928,在虚拟会话场景中,控制与第二用户标识对应的虚拟会话成员触发获取的表情数据所表示的表情动作。
上述交互数据处理方法,通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。且,控制虚拟会话成员触发表情数据所表示的表情动作,是对交互通信用户的真实表情的另外一种表现方式,使用户能够通过表情动作识别出在线用户,提供了新的互动方式。
其次,通过将当前登录的第一用户标识加入基于所对应的多人会话创建的虚拟会话场景,进而实现了由虚拟会话场景中的虚拟会话成员触发表情数据所对应的表情动作的交互通信方式,相当于在多人会话上进行了改进,提出了一种新的交互互动方式。
然后,对于预设表情类型集合中未识别到的表情类型,第一终端可以赋予表示不触发相应表情动作的表情特征值,并按照预设表情类型集合中的各表情类型的预设顺序,将各表情类型各自对应的表情特征值组合,构成表情数据。可以使得表情数据非常小,保证了表情数据的传递效率和传递质量。
再者,根据各个用户标识所对应的用户图像数据和虚拟会话成员初始模型得到的对应的虚拟会话成员,使得虚拟会话成员更加清楚的表征所对应的成员,便于交互通信过程中的身份识别,进而有利于提高用户交互通信的效率及有效性。
最后,实现了对三维虚拟会话场景的视角转换处理,能够调整到用户所想要的观察视角,使得交互通信过程中三维虚拟会话场景的显示更加的灵活、能够使显示的三维虚拟会话场景更加的符合用户的需求,提高了所显示的三维虚拟会话场景的有效性。
如图10所示,在一个实施例中,提供了另一种交互数据处理方法,该交互数据处理方法可以应用于图1中的第一终端110和/或第二终端120。本实施例主要以该方法应用于上述图1中的第二终端120来举例说明。该方法包括:
S1002,通过当前登录的第二用户标识加入相应的虚拟会话场景。
其中,虚拟会话场景,是为虚拟会话成员提供的会话场景,加入该虚拟会话场景的成员进行形象展示时,皆以虚拟会话成员的形象进行展示。在一个实施例中,虚拟会话场景可以是虚拟房间。虚拟会话场景可以是三维虚拟会话场景或二维虚拟会话场景。虚拟会话场景可以基于会话创建,具体地,虚拟会话场景可以基于多人会话(会话成员大于或等于3的会话)创建,也可以基于双人会话(会话成员仅为2个的会话)创建。在一个实施例中,虚拟会话场景还可以包括展示的背景信息,其中,展示的背景信息可以包括背景图片或三维背景模型,背景图片可以是二维图片或三维图片。
在一个实施例中,虚拟会话场景,可以是实时虚拟会话场景。其中,实时虚拟会话场景,是指该虚拟会话场景用于实现实时通信。比如,微信群组为一个多人会话,在微信群组中创建实时通话,加入该实时通话的成员都可以用虚拟形象进行展示,即展示虚拟会话成员实现实时通话,则构成上述的实时虚拟会话场景。
虚拟会话成员,是该虚拟会话场景中的成员进行展示时的虚拟形象。可以理解,虚拟形象是虚拟出的形象,不同于真实形象。虚拟会话成员包括虚拟的人物形象。虚拟会话成员还可以包括动物、植物或其它事物的虚拟形象。虚拟会话成员可以是三维虚拟会话成员或二维虚拟会话成员。虚拟会话成员可以是默认的虚拟形象(比如,虚拟会话初始模型),也可以是通过虚拟会话成员初始模型结合用户特征(比如用户面部特征)和/或用户自定义的属性(比如服装属性)得到的虚拟形象。
当前登录的第二用户标识,是当前登录用于实现虚拟会话场景的应用程序的第二用户标识。用于实现虚拟会话场景的应用程序,可以是即时通信应用程序、社交应用程序或游戏应用程序等。当前登录的第二用户标识所对应的终端,可称为“第二终端”。
在一个实施例中,第二终端可以向服务器请求将当前登录的第二用户标识加入相应的虚拟会话场景的成员列表中,以实现通过当前登录的第二用户标识加入相应的虚拟会话场景。当加入虚拟会话场景后,第二终端则可以与加入该虚拟会话场景的其它用户标识所对应终端之间进行通信,比如发送表情数据至加入该虚拟会话场景的其它用户标识所对应终端。可以理解,加入虚拟会话场景的用户标识,可以是位于该虚拟会话场景的成员列表中的用户标识。
在一个实施例中,第二终端还可以在虚拟会话场景中,将该虚拟会话场景中的成员以虚拟形象的虚拟会话成员进行展示。其中,第二终端所展示的虚拟会话成员中可以包括当前通过第二终端登录的第二用户标识所对应的虚拟会话成员,也可以不包括当前通过第二终端登录的第二用户标识所对应的虚拟会话成员。不将第二用户标识所对应的虚拟会话成员展示于第二终端所展示的虚拟会话场景中,既不会影响第二终端与其它成员所对应的终端之间的交互通信,也可以节省***的计算处理资源及显示资源。
S1004,接收与加入虚拟会话场景的第一用户标识对应的终端发送的表情数据。
表情数据,是能够表示相应的表情动作的数据。
表情数据可以包括按序排列的一串表情特征值。在一个实施例中,每个表情特征值所对应的位置或顺序,表征其所对应的表情类型。比如,位于第一位置的表情类型是“哭”,在该第一位置中的表情特征值则用于表征哭的程度。
表情数据也可以包括表情类型标识和对应的表情特征值。表情类型,是表情在动作表现维度的类别,包括张嘴、眨眼、笑、哭、转头或点头等。可以理解,上述所列举的表情类型仅用于举例,并不用于限定表情的分类,可以根据实际需要设置表情类型的种类。
第二终端可以接收服务器转发的加入虚拟会话场景的第一用户标识对应的终端发送的表情数据,也可以通过点对点的方式,直接接收加入虚拟会话场景的第二用户标识所对应的终端发送的表情数据。
S1006,从表情数据中提取表情特征值。
S1008,在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情特征值所表示的表情动作。
在一个实施例中,第二终端可以在虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的表情特征值,控制与第一用户标识对应的虚拟会话成员实施相应的表情动作。比如,表情数据所表示的表情动作为“张嘴10度”,则控制与第一用户标识对应的虚拟会话成员实施“张嘴10度”的动作。
在另一个实施例中,第二终端,还可以根据表情特征值和对应的表情类型生成相对应的纹理信息,在虚拟会话场景中,将纹理信息展示于与第一用户标识对应的虚拟会话成员的表情展示部位。比如,表情数据所表示的表情动作为“哭”时,第二用户标识所对应的终端则可以根据表情数据生成与“哭”相对应的“泪珠”纹理信息,将该“泪珠”的纹理信息展示于与第一用户标识对应的虚拟会话成员的眼睛下方。
上述交互数据处理方法、装置和计算机设备,通过当前登录的第二用户标识加入相应的虚拟会话场景,接收与加入虚拟会话场景的第一用户标识对应的终端发送的表情数据;从表情数据中提取表情特征值;在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情特征值所表示的表情动作。通过控制虚拟会话成员触发表情数据所表示的表情动作实现交互通信,相较于基于用户真实形象进行交互通信而言,一定程度上提高了交互通信过程中的隐私安全性。
此外,控制虚拟会话成员触发表情数据所表示的表情动作,是对交互通信用户的真实表情的另外一种表现方式,使用户能够通过表情动作识别出在线用户,提供了新的互动方式。
在一个实施例中,步骤S1002包括:获取当前登录的第二用户标识所对应的多人会话标识;发送多人会话标识和第二用户标识至服务器,使服务器将第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表。
其中,多人会话标识用于唯一标识多人会话。多人会话中的成员数量大于或等于3。多人会话可以是群组或临时多人聊天会话,还可以是其它类型的多人会话。
可以理解,当前登录的第二用户标识,是与所对应的多人会话标识相对应的多人会话中的成员。以多人会话标识所标识的虚拟会话场景,可以是以多人会话标识作为直接标识的虚拟会话场景,即虚拟会话场景的唯一标识就是多人会话标识本身。以多人会话标识所标识的虚拟会话场景,也可以是以`多人会话标识作为间接标识的虚拟会话场景,即虚拟会话场景的唯一标识是与多人会话标识唯一对应的虚拟会话场景标识,根据多人会话标识可以确定虚拟会话场景标识,进而确定对应的虚拟会话场景,因此,多人会话标识可以间接唯一标识虚拟会话场景。
具体地,用户可以通过第二用户标识登录用于实现虚拟会话场景的应用程序,并于登录成功后,在第二终端中打开多人会话界面,该打开的多人会话界面即为与第二用户标识对应的多人会话标识所对应的多人会话的界面。用户可以在打开的多人会话界面中发起加入虚拟会话场景的操作,第二终端响应于该操作,获取当前登录的第二用户标识所对应的多人会话标识,并将多人会话标识和第二用户标识发送至服务器,服务器将第二用户标识加入以该多人会话标识所标识的虚拟会话场景的成员列表,以实现将该第二用户标识加入相应的虚拟会话场景。
在一个实施例中,服务器可以将以多人会话标识所标识的虚拟会话场景的接入信息返回至第一终端,第一终端可以根据该接入信息加入虚拟会话场景。其中,接入信息包括接入IP地址和端口。
上述实施例中,相当于通过将当前登录的第一用户标识加入基于所对应的多人会话创建的虚拟会话场景,进而实现了,由虚拟会话场景中的虚拟会话成员触发表情数据所对应的表情动作的交互通信方式,相当于在多人会话上进行了改进,提出了一种新的交互互动方式。
在一个实施例中,发送多人会话标识和第二用户标识至服务器,使服务器将第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表,包括:发送多人会话标识和第二用户标识至服务器,使服务器在已存在以多人会话标识所标识的虚拟会话场景时,将第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表;或者,发送多人会话标识和第二用户标识至服务器,使服务器在不存在以多人会话标识所标识的虚拟会话场景时,创建以多人会话标识所标识的虚拟会话场景,并将第二用户标识加入创建的虚拟会话场景的成员列表。
具体地,第二终端发送多人会话标识和第二用户标识至服务器,请求服务器将第二用户标识加入与多人会话标识所标识的虚拟会话场景。服务器可以检测是否存在与多人会话标识对应的虚拟会话场景。
当已存在与多人会话标识对应的虚拟会话场景时,则服务器可以将该第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表,以实现将第二用户标识加入以多人会话标识所标识的虚拟会话场景。
当不存在与多人会话标识对应的虚拟会话场景时,则服务器可以根据该多人会话标识创建一个新的虚拟会话场景,并以该多人会话标识作为直接标识用来唯一标识该新创建的虚拟会话场景,或生成一个与该多人会话标识唯一、且与新创建的虚拟会话场景唯一对应的虚拟会话场景标识,即以该多人会话标识作为间接标识来唯一标识该创建的虚拟会话场景,进一步地,服务器可以将该第二用户标识加入创建的虚拟会话场景的成员列表。
上述实施例中,将虚拟会话场景的创建和加入处理进行了整合,用户只用通过第一终端将所对应的多人会话标识发送至服务器以请求加入虚拟会话场景,无论服务器中当前是否存在与该多人会话标识对应的虚拟会话场景,都可加入以该多人会话标识所标识虚拟会话场景,节省掉了单独创建虚拟会话场景的操作步骤。此外,针对所有的用户,即首次创建虚拟会话场景的用户和虚拟会话场景创建后申请加入的用户,都是使用同一套规则,避免了多套规则造成的冗余,提高了逻辑规则的适用性。
在一个实施例中,该方法还包括:获取虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员;确定虚拟会话成员在虚拟会话场景中的分布位置;获取与虚拟会话场景对应的背景图片;将获取的虚拟会话成员分布于所对应的分布位置,并与背景图片进行叠加显示,构成虚拟会话场景。
其中,背景图片,是作为显示背景的图片。背景图片可以是二维背景图片,也可以是三维背景图片。背景图片可以是虚拟背景图片,也可以是真实背景图片。虚拟背景图片,是显示虚拟场景的图片,比如,漫画中所显示的就是一种虚拟场景。真实背景图片,是显示真实场景的图片,比如,对真实场景进行拍照得到的照片,就显示的真实场景。
具体地,第二终端可以从服务器获取虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员,即获取虚拟会话场景的成员列表中的用户标识所对应的虚拟形象数据。该虚拟会话成员可以是三维虚拟会话成员或二维虚拟会话成员。
第二终端可以根据虚拟会话场景的成员列表中的用户标识的数量,确定用于分布虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,以确定虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员在虚拟会话场景中的分布位置。其中,可以在几何图形中随机选取满足该数量的位置,也可以按照预设位置选取规则选取满足数量的位置。
比如,虚拟会话场景的成员列表中的用户标识的数量为5个,则根据数量5确定分布虚拟会话成员的几何图形的尺寸,然后在该几何图形中选取5个位置,各个位置即为虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员在虚拟会话场景中的分布位置。
在一个实施例中,第二终端也可以根据虚拟会话场景的成员列表中除去与该第二用户标识后的用户标识的数量,确定用于分布虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,并确定虚拟会话场景的成员列表中除去与该第二用户标识后的用户标识所对应的虚拟会话成员在虚拟会话场景中的分布位置。
第二终端可以将获取的虚拟会话成员在所对应的分布位置上进行分布,并叠加上所获取的背景图片,以构成虚拟会话场景,并输出显示该虚拟会话场景。
上述实施例,将虚拟会话成员和背景图片进行叠加显示,构成所展示的虚拟会话场景,丰富了虚拟会话场景,使得交互通信中所展示的的虚拟会话场景更加的接近现实生活中的会话场景,实现了交互通信方式的多样性。
在一个实施例中,虚拟会话成员为三维虚拟会话成员,虚拟会话场景为三维虚拟会话场景。如图11所示,该方法还包括虚拟会话场景展示步骤,具体包括以下步骤:
S1102,获取虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员。
具体地,第二终端可以从服务器获取虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员,即获取虚拟会话场景的成员列表中的用户标识所对应的三维虚拟形象数据。
S1104,确定三维虚拟会话成员在三维虚拟会话场景中的分布位置。
第二终端可以根据三维虚拟会话场景的成员列表中的用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,以确定虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。其中,可以在几何图形中随机选取满足该数量的位置,也可以按照预设位置选取规则选取满足数量的位置。
比如,虚拟会话场景的成员列表中的用户标识的数量为5个,则根据数量5确定分布三维虚拟会话成员的几何图形的尺寸,然后在该几何图形中选取5个位置,各个位置即为虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。
在一个实施例中,第二终端也可以根据三维虚拟会话场景的成员列表中除去与该第二用户标识后的所有用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在该几何图形中选取满足该数量的位置,并确定虚拟会话场景的成员列表中除去与该第二用户标识后的用户标识所对应的三维虚拟会话成员在三维虚拟会话场景中的分布位置。
S1106,获取与三维虚拟会话场景对应的三维背景模型。
其中,三维背景模型,是作为显示背景的三维模型。三维背景模型可以是三维虚拟背景模型,也可以是三维真实背景模型。三维虚拟背景模型,是显示三维虚拟场景的模型。三维真实背景模型,是显示三维真实场景的模型。
S1108,将三维虚拟会话成员分布于所对应的分布位置,并与三维背景模型进行组合显示,构成三维虚拟会话场景。
第二终端可以将获取的三维虚拟会话成员在所对应的分布位置上进行分布,并与三维背景模型进行组合,以构成三维虚拟会话场景,并输出显示该三维虚拟会话场景。
上述实施例,将三维虚拟会话成员和三维背景模型进行组合显示,构成所展示的三维虚拟会话场景,使得交互通信中的所展示的三维虚拟会话场景进一步地更加的接近现实生活中的会话场景,实现了交互通信方式的多样性。
在一个实施例中,该方法还包括观察视角变化操作,具体包括以下步骤:检测作用于三维虚拟会话场景上的触控操作,得到触控轨迹;将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹;根据移动轨迹,确定移动后的观察点的位置;根据移动后的观察点的位置,将三维背景模型和三维虚拟会话成员进行投影显示。
具体地,用户可以通过对第二终端界面上展示的三维虚拟会话场景进行触控操作,得到触控轨迹。其中,触控操作包括按压并拖拽的操作。
可以理解,第二终端显示屏上最终显示的三维虚拟会话场景,是根据观察点,将由三维背景模型和三维虚拟会话成员构成的三维虚拟会话场景投影到显示屏上进行显示的。观察点不同,投影到显示屏上的三维虚拟会话场景也不同。
第二终端可以根据触控点与观察点之间的映射关系,将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹。第二终端根据确定出的观察点的移动轨迹,确定出移动后的观察点的位置。
第二终端根据移动后的观察点的位置作为新的观察点,将三维背景模型和三维虚拟会话成员重新投影到第二终端显示屏上进行显示,则在第二终端显示屏上重新投影得到的三维背景模型图像与触控操作前所显示的三维背景模型图像不同,在第二终端显示屏上重新投影得到的三维虚拟会话成员的显示角度与触控操作前所显示的角度也不相同,则重新投影后的三维背景模型和三维虚拟会话成员构成了新的视角下的三维虚拟会话场景。
上述实施例,实现了对三维虚拟会话场景的视角转换处理,能够调整到用户所想要的观察视角,使得交互通信过程中三维虚拟会话场景的显示更加的灵活、能够使显示的三维虚拟会话场景更加的符合用户的需求,提高了所显示的三维虚拟会话场景的有效性。
如图12所示,在一个实施例中,提供了一种交互数据处理装置1200,该装置包括:加入模块1202、图像采集模块1204、表情识别模块1206和控制模块1208,其中:
加入模块1202,用于通过当前登录的第一用户标识加入相应的虚拟会话场景。
图像采集模块1204,用于采集头部图像数据。
表情识别模块1206,用于识别头部图像数据中的表情特征,得到表情数据。
控制模块1208,用于将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。
在一个实施例中,加入模块1202还用于获取当前登录的第一用户标识所对应的多人会话标识;发送多人会话标识和第一用户标识至服务器,使服务器将第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,加入模块1202还用于发送多人会话标识和第一用户标识至服务器,使服务器在已存在以多人会话标识所标识的虚拟会话场景时,将第一用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表;或者,发送多人会话标识和第一用户标识至服务器,使服务器在不存在以多人会话标识所标识的虚拟会话场景时,创建以多人会话标识所标识的虚拟会话场景,并将第一用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,表情识别模块1206还用于识别头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;生成包括与识别得到的表情类型相对应的表情特征值的表情数据。
在一个实施例中,表情识别模块1206还用于对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;按照预设表情类型集合中的各表情类型的预设顺序,将各表情类型各自对应的表情特征值组合,构成表情数据。
在一个实施例中,控制模块1208还用于将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端从表情数据中提取与识别到的表情类型相对应的表情特征值,在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发提取的表情特征值所表示的表情动作。
在一个实施例中,控制模块1208还用于获取第二用户标识所对应的终端发送的表情数据;在虚拟会话场景中,控制与第二用户标识对应的虚拟会话成员触发获取的表情数据所表示的表情动作。
如图13所示,在一个实施例中,该装置1200还包括:
虚拟会话成员生成模块1201,用于获取当前登录的第一用户标识所对应的用户面部图像数据;根据用户面部图像数据和虚拟会话成员初始模型,生成与第一用户标识对应的虚拟会话成员。
在一个实施例中,该装置1200还包括:
虚拟会话场景展示模块(图中未示出),用于获取与第二用户标识对应的虚拟会话成员;确定虚拟会话成员在虚拟会话场景中的分布位置;获取与虚拟会话场景对应的背景图片;将获取的虚拟会话成员分布于所对应的分布位置,并与背景图片进行叠加显示,构成虚拟会话场景。
如图14所示,在一个实施例中,虚拟会话成员为三维虚拟会话成员,虚拟会话场景为三维虚拟会话场景。该装置1200还包括:
三维虚拟会话场景展示模块1210,用于获取与第二用户标识对应的三维虚拟会话成员;确定三维虚拟会话成员在三维虚拟会话场景中的分布位置;获取与三维虚拟会话场景对应的三维背景模型;将三维虚拟会话成员分布于所对应的分布位置,并与三维背景模型进行组合显示,构成三维虚拟会话场景。
如图15所示,在一个实施例中,该装置1200还包括:
视角调整模块1212,用于检测作用于三维虚拟会话场景上的触控操作,得到触控轨迹;将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹;根据移动轨迹,确定移动后的观察点的位置;根据移动后的观察点的位置,将三维背景模型和三维虚拟会话成员进行投影显示。
如图16所示,在一个实施例中,提供了一种交互数据处理装置1600,该装置包括加入模块1602、表情特征提取模块1604和控制模块1606,其中:
加入模块1602,通过当前登录的第二用户标识加入相应的虚拟会话场景;
表情特征提取模块1604,接收与加入虚拟会话场景的第一用户标识对应的终端发送的表情数据;从表情数据中提取表情特征值;
控制模块1608,在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情特征值所表示的表情动作。
在一个实施例中,控制模块1608还用于确定与提取的表情特征值对应的表情类型;在虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的表情特征值,控制与第一用户标识对应的虚拟会话成员实施相应的表情动作;和/或,根据表情特征值和对应的表情类型生成相对应的纹理信息,在虚拟会话场景中,将纹理信息展示于与第一用户标识对应的虚拟会话成员的表情展示部位。
在一个实施例中,加入模块1602还用于获取当前登录的第二用户标识所对应的多人会话标识;发送多人会话标识和第二用户标识至服务器,使服务器将第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,加入模块1602还用于发送多人会话标识和第二用户标识至服务器,使服务器在已存在以多人会话标识所标识的虚拟会话场景时,将第二用户标识加入以多人会话标识所标识的虚拟会话场景的成员列表;或者,发送多人会话标识和第二用户标识至服务器,使服务器在不存在以多人会话标识所标识的虚拟会话场景时,创建以多人会话标识所标识的虚拟会话场景,并将第二用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,装置1600还包括:
虚拟会话场景展示模块(图中未示出),用于获取虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员;确定虚拟会话成员在虚拟会话场景中的分布位置;获取与虚拟会话场景对应的背景图片;将获取的虚拟会话成员分布于所对应的分布位置,并与背景图片进行叠加显示,构成虚拟会话场景。
在一个实施例中,虚拟会话成员为三维虚拟会话成员,虚拟会话场景为三维虚拟会话场景。装置1600还包括:
三维虚拟会话场景展示模块(图中未示出),用于获取虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员;确定三维虚拟会话成员在三维虚拟会话场景中的分布位置;获取与三维虚拟会话场景对应的三维背景模型;将三维虚拟会话成员分布于所对应的分布位置,并与三维背景模型进行组合显示,构成三维虚拟会话场景。
在一个实施例中,装置1600还包括:
视角调整模块,用于检测作用于三维虚拟会话场景上的触控操作,得到触控轨迹;将触控轨迹映射为三维虚拟会话场景中的观察点的移动轨迹;根据移动轨迹,确定移动后的观察点的位置;根据移动后的观察点的位置,将三维背景模型和三维虚拟会话成员进行投影显示。
在一个实施例中,本申请提供的交互数据处理装置可以实现为一种计算机程序的形式,所述计算机程序可在如图2所示的计算机设备上运行,所述计算机设备的非易失性存储介质可存储组成该交互数据处理装置的各个程序模块,比如,图12所示的加入模块1202、图像采集模块1204、表情识别模块1206及控制模块1208。各个程序模块中包括计算机可读指令,所述计算机可读指令用于使所述计算机设备执行本说明书中描述的本申请各个实施例的交互数据处理方法中的步骤,例如,所述计算机设备可以通过如图12所示的交互数据处理装置1200中的加入模块1202通过当前登录的第一用户标识加入相应的虚拟会话场景,通过图像采集模块1204采集头部图形数据,通过表情识别模块1206识别头部图像数据中的表情特征,得到表情数据。并通过控制模块1208将表情数据发送至加入虚拟会话场景的第二用户标识所对应的终端,使终端在虚拟会话场景中,控制与第一用户标识对应的虚拟会话成员触发表情数据所表示的表情动作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:通过当前登录的第一用户标识加入相应的虚拟会话场景;采集头部图像数据;识别所述头部图像数据中的表情特征,得到表情数据;将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
在一个实施例中,处理器所执行的通过当前登录的第一用户标识加入相应的虚拟会话场景,包括:获取当前登录的第一用户标识所对应的多人会话标识;发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表,包括:发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的虚拟会话场景时,将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的虚拟会话场景时,创建以所述多人会话标识所标识的虚拟会话场景,并将所述第一用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述识别所述头部图像数据中的表情特征,得到表情数据,包括:识别所述头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据。
在一个实施例中,识别得到的所述表情类型属于预设表情类型集合;处理器所执行的所述生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据,包括:对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;按照所述预设表情类型集合中的各表情类型的预设顺序,将所述各表情类型各自对应的表情特征值组合,构成表情数据。
在一个实施例中,处理器所执行的所述将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作,包括:将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端从所述表情数据中提取与识别到的表情类型相对应的表情特征值,在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发提取的所述表情特征值所表示的表情动作。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取所述第二用户标识所对应的终端发送的表情数据;在所述虚拟会话场景中,控制与所述第二用户标识对应的虚拟会话成员触发获取的所述表情数据所表示的表情动作。
在一个实施例中,在所述通过当前登录的第一用户标识加入相应的虚拟会话场景之前,计算机可读指令还使得处理器执行以下步骤:获取当前登录的第一用户标识所对应的用户面部图像数据;根据所述用户面部图像数据和虚拟会话成员初始模型,生成与所述第一用户标识对应的虚拟会话成员。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取与所述第二用户标识对应的虚拟会话成员;确定所述虚拟会话成员在所述虚拟会话场景中的分布位置;获取与所述虚拟会话场景对应的背景图片;将获取的所述虚拟会话成员分布于所对应的分布位置,并与所述背景图片进行叠加显示,构成所述虚拟会话场景。
在一个实施例中,所述虚拟会话成员为三维虚拟会话成员,所述虚拟会话场景为三维虚拟会话场景;计算机可读指令还使得处理器执行以下步骤:获取与所述第二用户标识对应的三维虚拟会话成员;确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成所述三维虚拟会话场景。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;根据所述移动后的观察点的位置,将所述三维背景模型和所述三维虚拟会话成员进行投影显示。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:通过当前登录的第二用户标识加入相应的虚拟会话场景;接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;从所述表情数据中提取表情特征值;在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
在一个实施例中,处理器所执行的在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作,包括:确定与提取的所述表情特征值对应的表情类型;在所述虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的所述表情特征值,控制与所述第一用户标识对应的虚拟会话成员实施相应的表情动作;和/或,根据所述表情特征值和对应的所述表情类型生成相对应的纹理信息,在所述虚拟会话场景中,将所述纹理信息展示于与所述第一用户标识对应的虚拟会话成员的表情展示部位。
在一个实施例中,处理器所执行的所述通过当前登录的第二用户标识加入相应的虚拟会话场景,包括:获取当前登录的第二用户标识所对应的多人会话标识;发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表,包括:发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的虚拟会话场景时,将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的虚拟会话场景时,创建以所述多人会话标识所标识的虚拟会话场景,并将所述第二用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取所述虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员;确定所述虚拟会话成员在所述虚拟会话场景中的分布位置;获取与所述虚拟会话场景对应的背景图片;将获取的所述虚拟会话成员分布于所对应的分布位置,并与所述背景图片进行叠加显示,构成所述虚拟会话场景。
在一个实施例中,所述虚拟会话成员为三维虚拟会话成员,所述虚拟会话场景为三维虚拟会话场景。计算机可读指令还使得处理器执行以下步骤:获取所述虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员;确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成所述三维虚拟会话场景。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;根据所述移动后的观察点的位置,将所述三维背景模型和所述三维虚拟会话成员进行投影显示。
在一个实施例中,提供了一种存储有计算机可读指令的非易失性可读存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤:通过当前登录的第一用户标识加入相应的虚拟会话场景;采集头部图像数据;识别所述头部图像数据中的表情特征,得到表情数据;将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作。
在一个实施例中,处理器所执行的通过当前登录的第一用户标识加入相应的虚拟会话场景,包括:获取当前登录的第一用户标识所对应的多人会话标识;发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表,包括:发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的虚拟会话场景时,将所述第一用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的虚拟会话场景时,创建以所述多人会话标识所标识的虚拟会话场景,并将所述第一用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述识别所述头部图像数据中的表情特征,得到表情数据,包括:识别所述头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据。
在一个实施例中,识别得到的所述表情类型属于预设表情类型集合;处理器所执行的所述生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据,包括:对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;按照所述预设表情类型集合中的各表情类型的预设顺序,将所述各表情类型各自对应的表情特征值组合,构成表情数据。
在一个实施例中,处理器所执行的所述将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情数据所表示的表情动作,包括:将所述表情数据发送至加入所述虚拟会话场景的第二用户标识所对应的终端,使所述终端从所述表情数据中提取与识别到的表情类型相对应的表情特征值,在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发提取的所述表情特征值所表示的表情动作。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取所述第二用户标识所对应的终端发送的表情数据;在所述虚拟会话场景中,控制与所述第二用户标识对应的虚拟会话成员触发获取的所述表情数据所表示的表情动作。
在一个实施例中,在所述通过当前登录的第一用户标识加入相应的虚拟会话场景之前,计算机可读指令还使得处理器执行以下步骤:获取当前登录的第一用户标识所对应的用户面部图像数据;根据所述用户面部图像数据和虚拟会话成员初始模型,生成与所述第一用户标识对应的虚拟会话成员。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取与所述第二用户标识对应的虚拟会话成员;确定所述虚拟会话成员在所述虚拟会话场景中的分布位置;获取与所述虚拟会话场景对应的背景图片;将获取的所述虚拟会话成员分布于所对应的分布位置,并与所述背景图片进行叠加显示,构成所述虚拟会话场景。
在一个实施例中,所述虚拟会话成员为三维虚拟会话成员,所述虚拟会话场景为三维虚拟会话场景;计算机可读指令还使得处理器执行以下步骤:获取与所述第二用户标识对应的三维虚拟会话成员;确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成所述三维虚拟会话场景。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;根据所述移动后的观察点的位置,将所述三维背景模型和所述三维虚拟会话成员进行投影显示。
在一个实施例中,提供了一种存储有计算机可读指令的非易失性可读存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤:通过当前登录的第二用户标识加入相应的虚拟会话场景;接收与加入所述虚拟会话场景的第一用户标识对应的终端发送的表情数据;从所述表情数据中提取表情特征值;在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作。
在一个实施例中,处理器所执行的在所述虚拟会话场景中,控制与所述第一用户标识对应的虚拟会话成员触发所述表情特征值所表示的表情动作,包括:确定与提取的所述表情特征值对应的表情类型;在所述虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的所述表情特征值,控制与所述第一用户标识对应的虚拟会话成员实施相应的表情动作;和/或,根据所述表情特征值和对应的所述表情类型生成相对应的纹理信息,在所述虚拟会话场景中,将所述纹理信息展示于与所述第一用户标识对应的虚拟会话成员的表情展示部位。
在一个实施例中,处理器所执行的所述通过当前登录的第二用户标识加入相应的虚拟会话场景,包括:获取当前登录的第二用户标识所对应的多人会话标识;发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表。
在一个实施例中,处理器所执行的所述发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表,包括:发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的虚拟会话场景时,将所述第二用户标识加入以所述多人会话标识所标识的虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的虚拟会话场景时,创建以所述多人会话标识所标识的虚拟会话场景,并将所述第二用户标识加入创建的虚拟会话场景的成员列表。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:获取所述虚拟会话场景的成员列表中的用户标识所对应的虚拟会话成员;确定所述虚拟会话成员在所述虚拟会话场景中的分布位置;获取与所述虚拟会话场景对应的背景图片;将获取的所述虚拟会话成员分布于所对应的分布位置,并与所述背景图片进行叠加显示,构成所述虚拟会话场景。
在一个实施例中,所述虚拟会话成员为三维虚拟会话成员,所述虚拟会话场景为三维虚拟会话场景。计算机可读指令还使得处理器执行以下步骤:获取所述虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员;确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成所述三维虚拟会话场景。
在一个实施例中,计算机可读指令还使得处理器执行以下步骤:检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;根据所述移动后的观察点的位置,将所述三维背景模型和所述三维虚拟会话成员进行投影显示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种交互数据处理方法,所述方法包括:
通过当前登录的第一用户标识加入相应的三维虚拟会话场景,所述三维虚拟会话场景是为三维虚拟会话成员提供的会话场景;所述三维虚拟会话场景是基于会话创建的;
采集头部图像数据;
识别所述头部图像数据中的表情特征,得到表情数据;
将所述表情数据发送至加入所述三维虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情数据所表示的表情动作;
获取与所述第二用户标识对应的三维虚拟会话成员;
根据所述三维虚拟会话场景的成员列表中的用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在所述几何图形中选取满足所述数量的位置,以确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;
获取与所述三维虚拟会话场景对应的三维背景模型;
将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成并输出显示所述三维虚拟会话场景;
检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;
根据触控点与观察点之间的映射关系,将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;
根据所述移动轨迹,确定移动后的观察点的位置;其中,所述三维虚拟会话场景,是根据所述观察点,将三维背景模型和三维虚拟会话成员投影到显示屏上进行显示得到,其中,观察点不同,投影到显示屏上的三维虚拟会话场景不同;
根据所述移动后的观察点的位置,将三维背景模型和所述三维虚拟会话成员进行投影显示,构成新的视角下的三维虚拟会话场景。
2.根据权利要求1所述的方法,其特征在于,所述通过当前登录的第一用户标识加入相应的三维虚拟会话场景,包括:
获取当前登录的第一用户标识所对应的多人会话标识;
发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表。
3.根据权利要求2所述的方法,其特征在于,所述发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表,包括:
发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的三维虚拟会话场景时,将所述第一用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表;或者,
发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的三维虚拟会话场景时,创建以所述多人会话标识所标识的三维虚拟会话场景,并将所述第一用户标识加入创建的三维虚拟会话场景的成员列表。
4.根据权利要求1所述的方法,其特征在于,所述识别所述头部图像数据中的表情特征,得到表情数据,包括:
识别所述头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;
生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据。
5.根据权利要求4所述的方法,其特征在于,识别得到的所述表情类型属于预设表情类型集合;
所述生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据,包括:
对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;
按照所述预设表情类型集合中的各表情类型的预设顺序,将所述各表情类型各自对应的表情特征值组合,构成表情数据。
6.根据权利要求4或5所述的方法,其特征在于,所述将所述表情数据发送至加入所述三维虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情数据所表示的表情动作,包括:
将所述表情数据发送至加入所述三维虚拟会话场景的第二用户标识所对应的终端,使所述终端从所述表情数据中提取与识别到的表情类型相对应的表情特征值,在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发提取的所述表情特征值所表示的表情动作。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
获取所述第二用户标识所对应的终端发送的表情数据;
在所述三维虚拟会话场景中,控制与所述第二用户标识对应的三维虚拟会话成员触发获取的所述表情数据所表示的表情动作。
8.根据权利要求1至5中任一项所述的方法,其特征在于,在所述通过当前登录的第一用户标识加入相应的三维虚拟会话场景之前,所述方法还包括:
获取当前登录的第一用户标识所对应的用户面部图像数据;
根据所述用户面部图像数据和虚拟会话成员初始模型,生成与所述第一用户标识对应的三维虚拟会话成员。
9.一种交互数据处理方法,所述方法包括:
通过当前登录的第二用户标识加入相应的三维虚拟会话场景;所述三维虚拟会话场景是基于会话创建的;
接收与加入所述三维虚拟会话场景的第一用户标识对应的终端发送的表情数据;
从所述表情数据中提取表情特征值;
在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情特征值所表示的表情动作;
获取所述三维虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员;
根据所述三维虚拟会话场景的成员列表中的用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在所述几何图形中选取满足所述数量的位置,以确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;
获取与所述三维虚拟会话场景对应的三维背景模型;
将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成并输出显示所述三维虚拟会话场景;检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;
根据触控点与观察点之间的映射关系,将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;
根据所述移动轨迹,确定移动后的观察点的位置;其中,所述三维虚拟会话场景,是根据所述观察点,将三维背景模型和三维虚拟会话成员投影到显示屏上进行显示得到,其中,观察点不同,投影到显示屏上的三维虚拟会话场景不同;
根据所述移动后的观察点的位置,将三维背景模型和所述三维虚拟会话成员进行投影显示,构成新的视角下的三维虚拟会话场景。
10.根据权利要求9所述的方法,其特征在于,所述在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情特征值所表示的表情动作,包括:
确定与提取的所述表情特征值对应的表情类型;
在所述三维虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的所述表情特征值,控制与所述第一用户标识对应的三维虚拟会话成员实施相应的表情动作;和/或,
根据所述表情特征值和对应的所述表情类型生成相对应的纹理信息,在所述三维虚拟会话场景中,将所述纹理信息展示于与所述第一用户标识对应的三维虚拟会话成员的表情展示部位。
11.根据权利要求9所述的方法,其特征在于,所述通过当前登录的第二用户标识加入相应的三维虚拟会话场景,包括:
获取当前登录的第二用户标识所对应的多人会话标识;
发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表。
12.根据权利要求11所述的方法,其特征在于,所述发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表,包括:
发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的三维虚拟会话场景时,将所述第二用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表;或者,
发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的三维虚拟会话场景时,创建以所述多人会话标识所标识的三维虚拟会话场景,并将所述第二用户标识加入创建的三维虚拟会话场景的成员列表。
13.一种交互数据处理装置,其特征在于,所述装置包括:
加入模块,用于通过当前登录的第一用户标识加入相应的三维虚拟会话场景;所述三维虚拟会话场景是基于会话创建的;
图像采集模块,用于采集头部图像数据;
表情识别模块,用于识别所述头部图像数据中的表情特征,得到表情数据;
控制模块,用于将所述表情数据发送至加入所述三维虚拟会话场景的第二用户标识所对应的终端,使所述终端在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情数据所表示的表情动作;
虚拟会话场景展示模块,用于获取与所述第二用户标识对应的三维虚拟会话成员;根据所述三维虚拟会话场景的成员列表中的用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在所述几何图形中选取满足所述数量的位置,以确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成并输出显示所述三维虚拟会话场景;
视角调整模块,用于检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;根据触控点与观察点之间的映射关系,将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;其中,所述三维虚拟会话场景,是根据所述观察点,将三维背景模型和三维虚拟会话成员投影到显示屏上进行显示得到,其中,观察点不同,投影到显示屏上的三维虚拟会话场景不同;根据所述移动后的观察点的位置,将三维背景模型和所述三维虚拟会话成员进行投影显示,构成新的视角下的三维虚拟会话场景。
14.根据权利要求13所述的装置,其特征在于,所述加入模块还用于获取当前登录的第一用户标识所对应的多人会话标识;发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器将所述第一用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表。
15.根据权利要求14所述的装置,其特征在于,所述加入模块还用于发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的三维虚拟会话场景时,将所述第一用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第一用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的三维虚拟会话场景时,创建以所述多人会话标识所标识的三维虚拟会话场景,并将所述第一用户标识加入创建的三维虚拟会话场景的成员列表。
16.根据权利要求13所述的装置,其特征在于,所述表情识别模块还用于识别所述头部图像数据中的表情特征,得到表情类型和相对应的表情特征值;生成包括与识别得到的所述表情类型相对应的表情特征值的表情数据。
17.根据权利要求16所述的装置,其特征在于,识别得到的所述表情类型属于预设表情类型集合;所述表情识别模块还用于对于预设表情类型集合中未识别到的表情类型,赋予表示不触发相应表情动作的表情特征值;按照所述预设表情类型集合中的各表情类型的预设顺序,将所述各表情类型各自对应的表情特征值组合,构成表情数据。
18.根据权利要求16或17所述的装置,其特征在于,所述控制模块还用于将所述表情数据发送至加入所述三维虚拟会话场景的第二用户标识所对应的终端,使所述终端从所述表情数据中提取与识别到的表情类型相对应的表情特征值,在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发提取的所述表情特征值所表示的表情动作。
19.根据权利要求13至17中任一项所述的装置,其特征在于,所述控制模块还用于获取所述第二用户标识所对应的终端发送的表情数据;在所述三维虚拟会话场景中,控制与所述第二用户标识对应的三维虚拟会话成员触发获取的所述表情数据所表示的表情动作。
20.根据权利要求13至17中任一项所述的装置,其特征在于,所述装置还包括:
虚拟会话成员生成模块,用于获取当前登录的第一用户标识所对应的用户面部图像数据;根据所述用户面部图像数据和虚拟会话成员初始模型,生成与所述第一用户标识对应的三维虚拟会话成员。
21.一种交互数据处理装置,其特征在于,所述装置包括:
加入模块,通过当前登录的第二用户标识加入相应的三维虚拟会话场景;所述三维虚拟会话场景是基于会话创建的;
表情特征提取模块,接收与加入所述三维虚拟会话场景的第一用户标识对应的终端发送的表情数据;从所述表情数据中提取表情特征值;
控制模块,在所述三维虚拟会话场景中,控制与所述第一用户标识对应的三维虚拟会话成员触发所述表情特征值所表示的表情动作;
虚拟会话场景展示模块,用于获取所述三维虚拟会话场景的成员列表中的用户标识所对应的三维虚拟会话成员;根据所述三维虚拟会话场景的成员列表中的用户标识的数量,确定用于分布三维虚拟会话成员的几何图形的尺寸,在所述几何图形中选取满足所述数量的位置,以确定所述三维虚拟会话成员在所述三维虚拟会话场景中的分布位置;获取与所述三维虚拟会话场景对应的三维背景模型;将所述三维虚拟会话成员分布于所对应的分布位置,并与所述三维背景模型进行组合显示,构成并输出显示所述三维虚拟会话场景;
视角调整模块,用于检测作用于所述三维虚拟会话场景上的触控操作,得到触控轨迹;根据触控点与观察点之间的映射关系,将所述触控轨迹映射为所述三维虚拟会话场景中的观察点的移动轨迹;根据所述移动轨迹,确定移动后的观察点的位置;其中,所述三维虚拟会话场景,是根据所述观察点,将三维背景模型和三维虚拟会话成员投影到显示屏上进行显示得到,其中,观察点不同,投影到显示屏上的三维虚拟会话场景不同;根据所述移动后的观察点的位置,将三维背景模型和所述三维虚拟会话成员进行投影显示,构成新的视角下的三维虚拟会话场景。
22.根据权利要求21所述的装置,其特征在于,所述控制模块还用于确定与提取的所述表情特征值对应的表情类型;在所述三维虚拟会话场景中,按照确定的表情类型所对应的表情控制逻辑代码和提取的所述表情特征值,控制与所述第一用户标识对应的三维虚拟会话成员实施相应的表情动作;和/或,根据所述表情特征值和对应的所述表情类型生成相对应的纹理信息,在所述三维虚拟会话场景中,将所述纹理信息展示于与所述第一用户标识对应的三维虚拟会话成员的表情展示部位。
23.根据权利要求21所述的装置,其特征在于,所述加入模块还用于获取当前登录的第二用户标识所对应的多人会话标识;发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器将所述第二用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表。
24.根据权利要求23所述的装置,其特征在于,所述加入模块还用于发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在已存在以所述多人会话标识所标识的三维虚拟会话场景时,将所述第二用户标识加入以所述多人会话标识所标识的三维虚拟会话场景的成员列表;或者,发送所述多人会话标识和所述第二用户标识至服务器,使所述服务器在不存在以所述多人会话标识所标识的三维虚拟会话场景时,创建以所述多人会话标识所标识的三维虚拟会话场景,并将所述第二用户标识加入创建的三维虚拟会话场景的成员列表。
25.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中或9至12中任一项所述方法的步骤。
26.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至5中或9至12中任一项所述方法的步骤。
CN201710458909.5A 2017-06-16 2017-06-16 交互数据处理方法、装置、计算机设备和存储介质 Active CN109150690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710458909.5A CN109150690B (zh) 2017-06-16 2017-06-16 交互数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710458909.5A CN109150690B (zh) 2017-06-16 2017-06-16 交互数据处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109150690A CN109150690A (zh) 2019-01-04
CN109150690B true CN109150690B (zh) 2021-05-25

Family

ID=64830555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710458909.5A Active CN109150690B (zh) 2017-06-16 2017-06-16 交互数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109150690B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418095B (zh) * 2019-06-28 2021-09-14 广东虚拟现实科技有限公司 虚拟场景的处理方法、装置、电子设备及存储介质
CN110401810B (zh) * 2019-06-28 2021-12-21 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、***、电子设备及存储介质
CN111444389A (zh) * 2020-03-27 2020-07-24 焦点科技股份有限公司 一种基于目标检测的会议视频分析方法及***
CN116129006A (zh) * 2021-11-12 2023-05-16 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN114598738A (zh) * 2022-02-22 2022-06-07 网易(杭州)网络有限公司 数据处理方法、装置、存储介质及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127737A (zh) * 2007-09-25 2008-02-20 腾讯科技(深圳)有限公司 用户界面的实现方法、用户终端和即时通讯***
CN101635705A (zh) * 2008-07-23 2010-01-27 上海赛我网络技术有限公司 基于三维虚拟地图和人物的交互方法及实现该方法的***
CN102142154A (zh) * 2011-05-10 2011-08-03 中国科学院半导体研究所 生成脸部虚拟图像的方法与装置
CN103368816A (zh) * 2012-03-29 2013-10-23 深圳市腾讯计算机***有限公司 基于虚拟人物形象的即时通讯方法及***
CN103368929A (zh) * 2012-04-11 2013-10-23 腾讯科技(深圳)有限公司 一种视频聊天方法及***
CN105797376A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种根据用户表情控制角色模型行为的方法和终端
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8464166B2 (en) * 2008-02-11 2013-06-11 Ganz Friends list management
CN101908232B (zh) * 2010-07-30 2012-09-12 重庆埃默科技有限责任公司 一种交互式场景仿真***及场景虚拟仿真方法
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训***
CN106326678A (zh) * 2016-09-13 2017-01-11 捷开通讯(深圳)有限公司 基于虚拟现实的样房体验方法、体验设备和体验***
CN106598438A (zh) * 2016-12-22 2017-04-26 腾讯科技(深圳)有限公司 一种基于移动终端的场景切换方法及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127737A (zh) * 2007-09-25 2008-02-20 腾讯科技(深圳)有限公司 用户界面的实现方法、用户终端和即时通讯***
CN101635705A (zh) * 2008-07-23 2010-01-27 上海赛我网络技术有限公司 基于三维虚拟地图和人物的交互方法及实现该方法的***
CN102142154A (zh) * 2011-05-10 2011-08-03 中国科学院半导体研究所 生成脸部虚拟图像的方法与装置
CN103368816A (zh) * 2012-03-29 2013-10-23 深圳市腾讯计算机***有限公司 基于虚拟人物形象的即时通讯方法及***
CN103368929A (zh) * 2012-04-11 2013-10-23 腾讯科技(深圳)有限公司 一种视频聊天方法及***
CN105797376A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种根据用户表情控制角色模型行为的方法和终端
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置

Also Published As

Publication number Publication date
CN109150690A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109150690B (zh) 交互数据处理方法、装置、计算机设备和存储介质
US11595617B2 (en) Communication using interactive avatars
TWI650675B (zh) 群組視頻會話的方法及系統、終端、虛擬現實設備及網路設備
WO2013027893A1 (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US9357174B2 (en) System and method for avatar management and selection
WO2018107918A1 (zh) 一种虚拟形象之间互动的方法、终端及***
CN108874114B (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
US11151796B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
JP2016521929A (ja) 通信における情報交換のための方法、ユーザ端末、及びサーバ
CN109428859B (zh) 一种同步通信方法、终端及服务器
US11423627B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
CN110536095A (zh) 通话方法、装置、终端及存储介质
CN116437137A (zh) 直播处理方法、装置、电子设备及存储介质
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
KR20130082693A (ko) 아바타를 사용한 영상 채팅 장치 및 방법
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
CN114915852B (zh) 视频通话交互方法、装置、计算机设备和存储介质
CN111614926B (zh) 网络通话方法、装置、计算机设备和存储介质
CN112749357A (zh) 基于分享内容的交互方法、装置和计算机设备
WO2023082737A1 (zh) 一种数据处理方法、装置、设备以及可读存储介质
US12020389B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US20220398816A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
WO2023071556A1 (zh) 基于虚拟形象的数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant