CN108513090A - 群组视频会话的方法及装置 - Google Patents

群组视频会话的方法及装置 Download PDF

Info

Publication number
CN108513090A
CN108513090A CN201710104669.9A CN201710104669A CN108513090A CN 108513090 A CN108513090 A CN 108513090A CN 201710104669 A CN201710104669 A CN 201710104669A CN 108513090 A CN108513090 A CN 108513090A
Authority
CN
China
Prior art keywords
user
interaction model
group
dimension interaction
video session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710104669.9A
Other languages
English (en)
Other versions
CN108513090B (zh
Inventor
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710104669.9A priority Critical patent/CN108513090B/zh
Priority to PCT/CN2018/075749 priority patent/WO2018153267A1/zh
Priority to TW107106428A priority patent/TWI650675B/zh
Publication of CN108513090A publication Critical patent/CN108513090A/zh
Priority to US16/435,733 priority patent/US10609334B2/en
Application granted granted Critical
Publication of CN108513090B publication Critical patent/CN108513090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种群组视频会话的方法及装置,属于VR(Virtual Reality,虚拟现实)技术领域。该方法包括:在群组视频会话过程中,获取待展示的目标物的三维交互模型;根据群组视频会话中多个用户中每个用户的视角,对目标物的三维交互模型进行处理,得到用户的视频数据,用户的视频数据包含对目标物的三维交互模型进行视角变换得到的模型数据;将多个用户的视频数据分别发送至多个用户所在终端。本发明使得多个用户能够在群组视频会话时以自身视角体验同一三维交互模型,并通过三维交互模型进行交流,从而在扩展的交流方式的基础上提高视频会话的效率。

Description

群组视频会话的方法及装置
技术领域
本发明涉及VR(Virtual Reality,虚拟现实)技术领域,特别涉及一种群组视频会话的方法及装置。
背景技术
VR技术是一种可以创建和体验虚拟世界的技术,能够模拟出的逼真环境并智能地感知用户的行为,使得用户感觉身临其境。因此,VR技术在社交方面的应用受到了广泛关注,基于VR技术进行群组视频的方法应运而生。
在群组视频会话时,服务器可以为群组视频会话中的多个用户提供虚拟环境,还提供了能够表达用户自身形象的虚拟人物。进而,服务器可以将某一用户的虚拟人物、虚拟环境和音频数据通过视频的方式展示给其他用户,使得多个用户可以在虚拟化的世界中相互交流。然而,由于这种群组视频会话的交流所展现的是用户的虚拟人物,所采用的交流方式是对话交流,在群组视频会话中无法进行其他交流方式的扩展,使得视频会话的实际效率较低。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种群组视频会话的方法及装置。所述技术方案如下:
一方面,提供了一种群组视频会话的方法,所述方法包括:
在群组视频会话过程中,获取待展示的目标物的三维交互模型;
根据所述群组视频会话中多个用户中每个用户的视角,对所述目标物的三维交互模型进行处理,得到所述用户的视频数据,所述用户的视频数据包含对所述目标物的三维交互模型进行视角变换得到的模型数据;
将所述多个用户的视频数据分别发送至所述多个用户所在终端。
另一方面,提供了一种群组视频会话的装置,所述装置包括:
交互模型获取模块,用于在群组视频会话过程中,获取待展示的目标物的三维交互模型;
处理模块,用于根据所述群组视频会话中多个用户中每个用户的视角,对所述目标物的三维交互模型进行处理,得到所述用户的视频数据,所述用户的视频数据包含对所述目标物的三维交互模型进行视角变换得到的模型数据;
发送模块,用于将所述多个用户的视频数据分别发送至所述多个用户所在终端。
本发明实施例通过获取待展示的目标物的三维交互模型,根据群组视频会话中每个用户的视角处理三维交互模型,得到对三维交互模型进行视角变换后的视频数据,并将该视频数据发送至多个用户所在终端,使得多个用户能够在群组视频会话时以自身视角体验同一三维交互模型,并通过三维交互模型进行交流,从而在扩展的交流方式的基础上提高视频会话的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种群组视频会话的实施环境示意图;
图2是本发明实施例提供的一种群组视频会话的方法流程图;
图3是本发明实施例提供的一种三维交互模型的示意图;
图4是本发明实施例提供的一种调整三维交互模型的流程图;
图5是本发明实施例提供的一种交互流程图;
图6是本发明实施例提供的一种群组视频会话的装置框图;
图7是本发明实施例提供的一种群组视频会话的装置框图;
图8是本发明实施例提供的一种群组视频会话的装置框图;
图9是本发明实施例提供的一种群组视频会话的装置框图;
图10是本发明实施例提供的一种群组视频会话的装置框图;
图11是本发明实施例提供的一种群组视频会话的装置框图;
图12是本发明实施例提供的一种群组视频会话的装置1200的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种群组视频会话的实施环境示意图。参见图1,该实施环境中包括:
至少一个终端101(如,移动终端和台式电脑)、至少一个VR设备102和至少一个服务器103。其中,服务器103用于获取三维交互模型、按照用户的视角对三维交互模型进行处理、将处理得到的视频数据发送至传统终端101或VR设备102。传统终端101和VR设备102用于接收并显示服务器103发送的视频数据。
另外,该服务器103还可以配置至少一个数据库,如,虚拟人物数据库、多媒体数据库、用户关系链数据库等等。该虚拟人物数据库用于存储配置好的虚拟人物,可以从中选择虚拟主持人;多媒体数据库用于存储多媒体文件,如视频文件和音频文件等;用户关系链数据库用于存储用户具有的用户关系链数据,如,用户关系链数据用于指示与该用户为好友关系或群组关系的用户。
图2是本发明实施例提供的一种群组视频会话的方法流程图。参见图2,该方法应用于服务器,具体包括:
201、在群组视频会话过程中,服务器获取待展示的目标物的三维交互模型。
其中,群组视频会话是指多个(两个或两个以上)用户基于服务器进行的视频会话。其中,多个用户可以是该服务器对应的社交平台上的多个用户,该多个用户之间可能是群组关系或好友关系。目标物是指群组视频会话中某一用户想要展示的实物。三维交互模型是指根据目标物生成的三维模型,用于基于该群组视频会话中任一用户的控制展示在多个用户的视频数据中。例如,图3是本发明实施例提供的一种三维交互模型的示意图。参见图3,三维交互模型可以是三维几何模型、三维汽车模型和三维图表模型。
该步骤中,服务器可以通过多种方式获取三维交互模型。例如,服务器可以获取第五用户上传的三维物体模型。该举例中,三维交互模型可以是第五用户通过CAD(ComputerAided Design,计算机辅助设计)得到的模型,如,三维汽车模型。
又例如,服务器获取第六用户上传的二维表格,对二维表格进行处理,得到三维表格模型。该举例中,服务器可以通过EXCEL表格直接生成该二维表格对应的三维表格模型。或者,服务器也可以建立三维坐标模型(x,y,z)。例如,当二维表格中有两项参数时(如,班级和人数),服务器可以采用(x,y)平面的上的不同平面区域表示不同的“班级”参数值,且将每个“班级”参数值对应的“人数”参数值确定为该“班级”参数值对应的z坐标,从而生成柱状图形式的三维表格模型。当然,参照上述举例,服务器也可以生成其他形式的三维表格模型,如饼状图和条形图。而且,在生成三维表格模型时,服务器也可以设置三维表格模型的色调,如,不同的参数对应不同的色调。
事实上,服务器可以基于用户上传的目标物对应的至少一个二维图像数据,对该目标物进行三维建模,如,采用SFS(Shape From Shading,明暗恢复形状)算法,从而得到三维交互模型。
其中,第五用户或第六用户均可以为群组视频会话中的任一用户。进一步地,该第五用户或第六用户也可以是具有上传权限的用户。本发明实施例对具有上传权限的用户不做限定。例如,该具有上传权限的用户为群组视频会话的发起者、或者VIP(Very ImportantPeople,贵宾)用户。
202、服务器根据群组视频会话中多个用户中每个用户的视角,对目标物的三维交互模型进行处理,得到该用户的视频数据,该用户的视频数据包含对目标物的三维交互模型进行视角变换得到的模型数据。
该步骤中,服务器可以获取群组视频会话中每个用户的视角数据,根据该用户的视角数据和该用户的虚拟人物的显示位置,确定该用户的视角,进而,服务器可以提取出该视角对应的三维交互模型的图像数据,将提取的图像数据与会话环境数据进行合成,对合成后的图像数据进行立体编码,从而得到该用户的一帧一帧的视频数据。其中,本发明实施例对立体编码的方法不做限定。例如,根据交错显示原理,服务器将合成后的图像数据编码为两个图场的视频数据,两个图场即单数描线所构成的单图场与偶数描线所构成的偶图场,使得VR设备接收到视频数据时,可以将两个图场的视频数据交错显示于左右眼屏幕中,从而使得用户双眼产生视差,达到三维显示效果。另外,会话环境数据不限于群组视频会话对应的虚拟环境、多个用户分别对应的虚拟人物、每个用户的音频数据等。
需要说明的是,本发明实施例对获取视角数据的方式不做限定。例如,服务器可以根据用户的传感器采集到的头部方位特征数据,得到第二用户的头部方位特征数据对应的视角数据。又例如,服务器根据用户的摄像头拍摄到的眼部图像数据,获取用户的眼神方向特征数据,根据眼神方向特征数据所指示的眼球位置,确定该用户的视角数据。
事实上,为了更好地展示该三维交互模型,在得到视频数据之前,服务器还可以采用不同的方式确定该三维交互模型的显示位置。例如,服务器上配置有默认的显示位置,该默认的显示位置可以是多个用户对应的虚拟人物的对面位置。又例如,服务器将上传该三维交互模型的用户的旁边位置确定为显示位置,以方便该用户对三维交互模型进行演示说明。
本发明实施例中,为了进一步扩展群组视频会话中的交流方式,提高视频会话的实际效率,当服务器接收到对三维交互模型的操作指令时,可以根据操作指令对应的操作方式对三维交互模型进行调整,并基于调整后的三维交互模型执行根据群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。其中,该操作指令用于指示按照对应的操作方式调整三维交互模型。本发明实施例对操作指令的获取方式不做限定。例如,服务器可以采用以下至少两种获取方式:
获取方式1、服务器获取第一用户的手势特征数据,当手势特征数据与三维交互模型的任一操作方式匹配时,确定接收到与操作方式对应的操作指令。
该手势特征数据用于表征该第一用户的手势,获取手势特征数据的方式可以有多种,如,摄像头或手势传感器。以第一用户的VR设备上的手势传感器为例,服务器可以获取该手势传感器采集到的手势特征数据,根据手势特征数据确定第一用户的手势,当该手势与预设手势(如,指向左方、右方、上方、或下方)匹配时,将预设手势对应的操作方式确定该手势匹配的操作方式,生成并获取与该操作方式对应的操作指令。本发明实施例对具体的操作方式不做限定。例如,参见表1,本发明实施例提供了一种预设手势和操作方式的对应关系:
表1
获取方式2、服务器获取第二用户对外接设备的操作信息,当操作信息与三维交互模型的任一操作方式匹配时,确定接收到操作方式对应的操作指令,外接设备与第二用户所在终端绑定。
该外接设备可以是鼠标或键盘。当服务器获取到第二用户对外界设备的操作信息时,可以判断是否存在与该操作信息对应的操作方式,如果是,则生成并获取与该操作方式对应的操作指令。参见表2,本发明实施例提供了一种预设手势和操作方式的对应关系:
表2
操作信息 操作方式
单击鼠标左键 放大三维交互模型
单击鼠标右键 缩小三维交互模型
长按鼠标左键进行移动 按鼠标移动方向旋转三维交互模型
当然,第一用户和第二用户可以是群组视频会话中的任一用户,也可以是对该三维交互模型具有操作权限的用户,本发明实施例对此不做限定。
在实际的应用场景中,为了智能地给用户提供交互服务,也可以提示用户可以操作三维交互模型、以及如何进行操作。本发明实施例对提示的时机不做限定。例如,在确定用户有操作三维交互模型的需求时,适时地进行提示:当服务器检测到第七用户对三维交互模型的凝视时长大于预设时长时,将操作提示信息发送至第七用户所在终端,操作提示信息用于提示第七用户能够对三维交互模型进行操作。
其中,对第七用户的说明与对第一用户的说明同理。上述举例中,服务器可以实时监测第七用户的眼神凝视方向,一旦检测到第七用户的眼神凝视方向对准该三维交互模型时,则进行计时,当计时的时长(即凝视时长)大于预设时长时,说明第七用户很可能有操作三维交互模型的需求,因此将操作提示信息发送至第七用户所在终端。其中,本发明实施例对操作提示信息包括的具体内容不做限定。以服务器支持鼠标进行操作为例,该操作提示信息可以包括“通过鼠标即可操作汽车模型”的文字提示信息、以及通过鼠标进行操作的具体方法,如,“单击鼠标左键可以放大汽车模型”和“单击鼠标右键可以缩小汽车模型”。
经过用户的操作过程,服务器可以获取到操作指令,并根据操作指令对应的操作方式对三维交互模型进行调整。本发明实施例对具体的调整过程不做限定。例如,操作指令分别为旋转操作指令、缩放操作指令和移位操作指令为例,对应的调整过程可以具体为:
调整过程1、当操作指令为旋转操作指令时,服务器获取旋转操作指令对应的旋转角度和旋转方向,按照旋转角度和旋转方向,旋转三维交互模型。
该调整过程中,服务器可以提取旋转操作指令中携带的旋转角度和旋转方向,并基于这两项参数旋和当前用户视角所见的三维交互模型,对三维交互模型进行旋转。其中,旋转角度和旋转方向在生成旋转操作指令时进行确定。本发明实施例对确定的具体方式不做限定。例如,当该旋转操作指令根据手势特征数据生成时,旋转方向可以与手势方向相同;旋转角度可以是默认的旋转角度,如,30度,或者,根据手势的持续时长进行确定,如,旋转角度=持续时长(秒)*30度。又例如,当该旋转操作指令根据操作信息生成时,旋转方向可以与外接设备的移动方向一致,旋转角度可以根据外接设备的移动距离确定,如,旋转角度=移动距离(厘米)*10度。
调整过程2、当操作指令为缩放操作指令时,服务器获取缩放操作指令对应的缩小比例或放大比例,按照缩小比例和放大比例,缩小或放大三维交互模型。
该调整过程中,服务器可以提取缩放操作指令中携带的缩小比例或放大比例,并基于缩放比例和当前用户视角所见的三维交互模型,对三维交互模型进行缩放。其中,缩放比例可以在生成缩放操作指令时进行确定。本发明实施例对确定的具体方式不做限定。例如,当该缩放操作指令根据操作信息生成时,每次操作可对应默认的缩放比例,如,一次单击鼠标左键对应放大三维交互模型的10%。
调整过程3、当操作指令为移位操作指令时,服务器获取移位操作指令对应的移位方向和移位距离,按照移位方向和移位距离,对三维交互模型进行移位操作。
该调整过程中,服务器可以提取移位操作指令中携带的移位方向和移位距离,并基于这两项参数和当前用户视角所见的三维交互模型,对三维交互模型进行移位。其中,移位方向和移位距离可以在生成移位操作指令时进行确定。本发明实施例对确定的具体方式不做限定。例如,当该移位操作指令根据手势特征数据生成时,移位方向可以与手势方向相同;移位距离可以根据手势的持续时长进行确定,如,移位距离=持续时长(秒)*三维交互模型长度的10%。又例如,当该移位操作指令根据操作信息生成时,移位方向可以与外接设备的移动方向一致,移位距离可以根据外接设备的移动距离确定,如,移位距离=移动距离(厘米)*三维交互模型长度的5%。
当然,服务器可能同时接收到以上至少两个操作指令,此时,服务器既可以串行进行至少两个调整过程,也可以并行进行至少两个调整过程。例如,服务器同时接收到旋转操作指令和移位操作指令时,为了更清楚地展示三维交互模型的变化过程,服务器可以对三维交互模型先进行旋转,再进行移位;或者,为使调整过程与用户的操作过程相衔接,服务器可以同时对三维交互模型进行旋转和移位。
需要说明的是,在调整三维交互模型过程中,服务器可以对应调整过程实时生成一帧一帧的视频数据,也即是,根据当前调整的三维交互模型,服务器按照用户当前的视角,将当前调整的三维交互模型与会话环境数据进行合成和编码,得到当前的一帧视频数据,从而为用户展示三维交互模型的动态调整过程。
另外,需要说明的是,以上调整过程可以是服务器单独为各个用户提供服务,即按照每个用户触发的操作指令处理三维交互模型,并得到该用户的视频数据;而在操作三维交互模型需要操作权限时,服务器也可以根据具有操作权限的用户触发的操作指令,按照各个用户的视角处理三维交互模型,从而得到各个用户的视频数据。为了清楚地说明调整过程的流程,参见图4,本发明实施例提供了一种调整三维交互模型的流程图,服务器从获取三维交互模型、监测用户的眼神凝视方向、获取操作信息、进而根据操作信息对应的操作方式调整三维交互模型。
在群组视频会话的过程中,为使多个用户的视频会话有序进行,并突出某一用户的发言过程,当服务器接收到第三用户的发言请求时,可以生成指定视频数据,该指定视频数据用于展示虚拟话筒从虚拟主持人传递至第三用户的虚拟人物的过程;基于指定视频数据,执行根据群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。
其中,该第三用户可以是群组视频会话中的任一用户。本发明实施例对发言请求的触发方式不做限定。例如,当服务器接收到第三用户的音频数据时自动触发,或者,检测到第三用户的指定操作信息时触发得到,该指定操作信息可以为连续双击鼠标左键。虚拟主持人可以是服务器从虚拟人物数据库中获取的虚拟人物,也可以是群组视频会话中某一用户的虚拟人物。本发明实施例对服务器获取虚拟主持人的方式不做限定。例如,服务器根据群组视频会话对应的群组的群组属性,获取与群组属性匹配的虚拟主持人,如,群组属性为班级时,匹配的虚拟主持人的着装为校服,群组属性为公司时,匹配的虚拟主持人的着装为西装。又例如,服务器随机指定一个用户的虚拟人物为虚拟主持人,或者,在群组视频会话开始时,服务器向VR设备发送用于票选虚拟主持人的投票信息,该投票信息至少包括多个用户的用户信息,由VR设备根据投票信息显示投票界面,当任一用户A选中投票界面上的某个用户信息b时,服务器可以确定该用户A为用户信息b对应的用户B投票,进而,服务器可以统计出得票数最多的用户,将该用户的虚拟人物作为虚拟主持人。
基于上述说明,当服务器接收到第三用户的发言请求时,可以根据第三用户在虚拟环境中的显示位置C、以及虚拟话筒当前的显示位置D,确定虚拟话筒的移动路径,该移动路径可以是D到C的路径(或者,服务器再根据虚拟主持人的显示位置E,将D到E到C的路径确定为移动路径),进而,服务器可以根据虚拟话筒的移动路径生成一帧一帧的指定视频数据,以动态地表征虚拟话筒的传递过程,进一步地,服务器可以按照每个用户的视角处理并发送视频数据。当然,为了更合理地显示虚拟话筒,在虚拟话筒到达第三用户的显示位置时,服务器可以确定第三用户的虚拟人物的手臂模型的抬起路径,使得生成的至少一帧指定视频数据对应手臂模型抬起并握住虚拟话筒的过程。另外,在传递过程中,服务器可以将虚拟主持人的指定音频数据合成至指定视频数据,该指定音频数据用于指示第三用户将要发言,可以包括“现在由第三用户发言”的一段语音。
事实上,除了上述传递虚拟话筒的方法,还可以通过其他方法突出某一用户的发言过程。例如,当服务器接收到第三用户的发言请求时,降低第四用户的音频数据的音量,第四用户为群组视频会话中除第三用户以外的用户;基于调整后的音频数据,执行根据群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。该举例中,服务器可以根据第三用户的音频数据的音量V1,将第四用户的音频数据的音量V2调整至小于V1。
需要说明的是,以上两种突出用户发言过程的方法也可以相结合,也即是,当服务器接收到第三用户的发言请求时,可以生成指定视频数据,该指定视频数据用于展示虚拟话筒从虚拟主持人传递至第三用户的虚拟人物的过程,且指定视频数据中第四用户的音频数据的音量被降低。
在实际的应用场景中,服务器有可能在第三用户发言时接收到第四用户的发言请求,此时,本发明实施例对服务器处理第四用户的发言请求的方式不做限定。例如,服务器暂存第四用户的发言请求,直到检测到第三用户的音频数据结束时,按照发言请求的接收顺序,以处理第三用户的发言请求的方式继续处理第四用户的发言请求。当然,在第四用户等待发言的过程中,服务器可以将发言提示信息发送至第四用户所在终端,该发言提示信息用户指示该第四用户何时发言,可以包括如“下一个发言的就是你哦”的文字信息。
本发明实施例中,为了进一步提高群组视频会话的效率,扩展群组视频会话时的交互方式,当服务器接收到多媒体文件播放请求时,可以将与多媒体播放请求对应的多媒体文件合成至多个用户的视频数据。该多媒体文件如音频文件、视频文件或文本文件等。该多媒体文件播放请求可以直接携带该多媒体文件,也可以携带多媒体文件的文件标识,使得服务器从多媒体数据库或网络上获取到文件标识对应的多媒体文件。该扩展的交互方式中,本发明实施例对合成多媒体文件的方法不做限定。例如,当该多媒体文件为音频文件时,服务器可以将音频文件作为背景音频合成至视频数据中;当该多媒体文件为视频文件时,服务器可以按照每个用户的视角,将视频文件合成至该用户对面的虚拟环境中,使得视频文件以“屏幕播放”的方式嵌在虚拟环境中。
基于上述扩展的交互方式,参见图5,本发明实施例提供了一种交互流程图,服务器可以为用户1授权对三维交互模型的操作权限,授权用户2对多媒体文件的播放权限,因此,服务器可以基于用户1的操作信息调整三维交互模型,从而提供操作三维交互模型的服务,也可以基于用户2的多媒体文件播放请求将多媒体文件合成至视频数据,从而提供多媒体文件共享的服务。
203、服务器将多个用户的视频数据分别发送至多个用户所在终端。
该步骤中,当终端接收到视频数据时,可以显示视频数据,由于该视频数据按照用户的视角进行处理,每个用户均可以从视频数据中看到自身视角的三维交互模型。
需要说明的是,当用户使用VR设备时,服务器可以直接将该视频数据发送至用户所在VR设备,当用户使用传统终端时,服务器可以在处理三维交互模型时,提取某一视角的二维视频数据,从而将二维视频数据发送至用户所在传统终端,使得多个用户可以不受设备类型的限制、自由交流。
本发明实施例通过获取待展示的目标物的三维交互模型,根据群组视频会话中每个用户的视角处理三维交互模型,得到对三维交互模型进行视角变换后的视频数据,并将该视频数据发送至多个用户所在终端,使得多个用户能够在群组视频会话时以自身视角体验同一三维交互模型,并通过三维交互模型进行交流,从而在扩展的交流方式的基础上提高视频会话的效率。
另外,当接收到对三维交互模型的操作指令时,可以按照操作指令对应的操作方式对三维交互模型进行调整,从而为用户提供了操作三维交互模型的服务,而且,可以基于调整后的三维交互模型将视频数据发送至多个用户,使得多个用户可以基于同一三维交互模型进行交互,进一步提高了视频会话的效率。
另外,提供了至少两种获取操作指令的方式,可以通过第一用户的手势特征数据,当手势特征数据与三维交互模型的任一操作方式匹配时,确定接收到与操作方式对应的操作指令,还可以通过第二用户对外接设备的操作信息,当操作信息与某一操作方式匹配时,确定接收到该操作方式对应的操作指令,既可以智能地根据用户手势触发操作指令,也可以根据用户的操作信息触发操作指令,从而提供了多样化的操作指令的获取方式,可操作性更强。
另外,提供了至少三个根据操作指令调整三维交互模型的过程,如,根据旋转操作指令旋转三维交互模型、根据缩放操作指令缩小或放大三维交互模型以及根据移位操作指令对三维交互模型进行移位,从而提供了多样化的调整方式,增加了视频会话的交互强度,进一步提高了视频会话的效率。
另外,为使群组视频会话有序进行,并突出某一用户的发言过程,提供了至少两种处理发言请求的方法,如,生成指定视频数据,该指定视频数据用于展示虚拟话筒从虚拟主持人传递至第三用户的虚拟人物,或者,降低第四用户的音频数据的音量。
另外,提供了至少两种获取三维交互模型的方式,如,获取第五用户上传的三维物体模型,或者,获取第六用户上传的二维表格,并处理得到三维表格模型,从而能够提供多样化的三维交互模型。
另外,进一步扩展了视频会话时的交流方式,如,当接收到多媒体文件播放请求时,可以将多媒体文件合成至多个用户的视频数据,使得多个用户可以共享多媒体文件。
另外,为了提供智能的交互服务,从而提示用户能够操作三维交互模型、以及如何进行操作,当检测到第七用户对三维交互模型的凝视时长大于预设时长时,说明第七用户很可能有操作三维交互模型的需求,因此,可以将操作提示信息发送至第七用户所在终端,从而适时地提示第七用户操作三维交互模型。
图6是本发明实施例提供的一种群组视频会话的装置框图。参见图6,该装置具体包括:
交互模型获取模块601,用于在群组视频会话过程中,获取待展示的目标物的三维交互模型;
处理模块602,用于根据群组视频会话中多个用户中每个用户的视角,对目标物的三维交互模型进行处理,得到用户的视频数据,用户的视频数据包含对目标物的三维交互模型进行视角变换得到的模型数据;
发送模块603,用于将多个用户的视频数据分别发送至多个用户所在终端。
本发明实施例通过获取待展示的目标物的三维交互模型,根据群组视频会话中每个用户的视角处理三维交互模型,得到对三维交互模型进行视角变换后的视频数据,并将该视频数据发送至多个用户所在终端,使得多个用户能够在群组视频会话时以自身视角体验同一三维交互模型,并通过三维交互模型进行交流,从而在扩展的交流方式的基础上提高视频会话的效率。
在一种可能实现方式中,基于图6的装置组成,参见图7,该装置还包括:调整模块604;
调整模块604,用于当接收到对三维交互模型的操作指令时,根据操作指令对应的操作方式对三维交互模型进行调整;
处理模块602,用于基于调整后的三维交互模型执行根据群组视频会话中多个用户中每个用户的视角进行处理的步骤;
发送模块603,用于对处理模块根据群组视频会话中多个用户中每个用户的视角处理后的视频数据进行发送的步骤。
在一种可能实现方式中,基于图6的装置组成,参见图8,该装置还包括:
手势获取模块605,用于获取第一用户的手势特征数据,当手势特征数据与三维交互模型的任一操作方式匹配时,确定接收到与操作方式对应的操作指令;或,
操作信息获取模块606,用于获取第二用户对外接设备的操作信息,当操作信息与三维交互模型的任一操作方式匹配时,确定接收到操作方式对应的操作指令,外接设备与第二用户所在终端绑定。
在一种可能实现方式中,调整模块604用于:当操作指令为旋转操作指令时,获取旋转操作指令对应的旋转角度和旋转方向,按照旋转角度和旋转方向,旋转三维交互模型;和/或,调整模块用于:当操作指令为缩放操作指令时,获取缩放操作指令对应的缩小比例或放大比例,按照缩小比例和放大比例,缩小或放大三维交互模型;和/或,调整模块用于:当操作指令为移位操作指令时,获取移位操作指令对应的移位方向和移位距离,按照移位方向和移位距离,对三维交互模型进行移位操作。
在一种可能实现方式中,基于图6的装置组成,参见图9,该装置还包括:
生成模块607,用于当接收到第三用户的发言请求时,生成指定视频数据,指定视频数据用于展示虚拟话筒从虚拟主持人传递至第三用户的虚拟人物的过程;
处理模块602,用于基于指定视频数据,执行根据群组视频会话中多个用户中每个用户的视角进行处理的步骤;
发送模块603,用于对处理模块根据群组视频会话中多个用户中每个用户的视角处理后的指定视频数据进行发送的步骤。
在一种可能实现方式中,基于图6的装置组成,参见图10,该装置还包括:
降低模块608,用于当接收到第三用户的发言请求时,降低第四用户的音频数据的音量,第四用户为群组视频会话中除第三用户以外的用户;
处理模块602,用于基于调整后的音频数据,执行根据群组视频会话中多个用户中每个用户的视角进行处理的步骤;
发送模块603,用于对处理模块根据群组视频会话中多个用户中每个用户的视角处理后的视频数据进行发送的步骤。
在一种可能实现方式中,交互模型获取模块601用于:获取第五用户上传的三维物体模型;或,交互模型获取模块用于601:获取第六用户上传的二维表格,对二维表格进行处理,得到三维表格模型。
在一种可能实现方式中,基于图6的装置组成,参见图11,该装置还包括:合成模块609,用于当接收到多媒体文件播放请求时,将与多媒体播放请求对应的多媒体文件合成至多个用户的视频数据。
在一种可能实现方式中,发送模块603还用于:当检测到第七用户对三维交互模型的凝视时长大于预设时长时,将操作提示信息发送至第七用户所在终端,操作提示信息用于提示第七用户能够对三维交互模型进行操作。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的群组视频会话的装置在群组视频会话时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的群组视频会话的装置与群组视频会话的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图12是本发明实施例提供的一种群组视频会话的装置1200的框图。参照图12,该装置1200可以被提供为一种服务器,包括处理组件1222,其进一步包括一个或多个处理器,以及由存储器1232所代表的存储器资源,用于存储可由处理部件1222的执行的指令,例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1222被配置为执行指令,以执行图2实施例中群组视频会话的方法。
装置1200还可以包括一个电源组件1226被配置为执行装置1200的电源管理,一个有线或无线网络接口1250被配置为将装置1200连接到网络,和一个输入输出(I/O)接口1258。装置1200可以操作基于存储在存储器1232的操作***,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种群组视频会话的方法,其特征在于,所述方法包括:
在群组视频会话过程中,获取待展示的目标物的三维交互模型;
根据所述群组视频会话中多个用户中每个用户的视角,对所述目标物的三维交互模型进行处理,得到所述用户的视频数据,所述用户的视频数据包含对所述目标物的三维交互模型进行视角变换得到的模型数据;
将所述多个用户的视频数据分别发送至所述多个用户所在终端。
2.根据权利要求1所述的方法,其特征在于,所述在群组视频会话过程中,获取待展示的目标物的三维交互模型之后,所述方法还包括:
当接收到对所述三维交互模型的操作指令时,根据所述操作指令对应的操作方式对所述三维交互模型进行调整,并基于调整后的三维交互模型执行根据所述群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一用户的手势特征数据,当所述手势特征数据与所述三维交互模型的任一操作方式匹配时,确定接收到与所述操作方式对应的操作指令;或,
获取第二用户对外接设备的操作信息,当所述操作信息与所述三维交互模型的任一操作方式匹配时,确定接收到所述操作方式对应的操作指令,所述外接设备与所述第二用户所在终端绑定。
4.根据权利要求2所述的方法,其特征在于,所述根据所述操作指令对应的操作方式对所述三维交互模型进行调整包括:
当所述操作指令为旋转操作指令时,获取所述旋转操作指令对应的旋转角度和旋转方向,按照所述旋转角度和旋转方向,旋转所述三维交互模型;和/或,
当所述操作指令为缩放操作指令时,获取所述缩放操作指令对应的缩小比例或放大比例,按照所述缩小比例和放大比例,缩小或放大所述三维交互模型;和/或,
当所述操作指令为移位操作指令时,获取所述移位操作指令对应的移位方向和移位距离,按照所述移位方向和移位距离,对所述三维交互模型进行移位操作。
5.根据权利要求1所述的方法,其特征在于,所述在群组视频会话过程中,获取待展示的目标物的三维交互模型之后,所述方法还包括:
当接收到第三用户的发言请求时,生成指定视频数据,所述指定视频数据用于展示虚拟话筒从虚拟主持人传递至所述第三用户的虚拟人物的过程;
基于所述指定视频数据,执行根据所述群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。
6.根据权利要求1所述的方法,其特征在于,所述在群组视频会话过程中,获取待展示的目标物的三维交互模型之后,所述方法还包括:
当接收到第三用户的发言请求时,降低第四用户的音频数据的音量,所述第四用户为所述群组视频会话中除第三用户以外的用户;
基于调整后的音频数据,执行根据所述群组视频会话中多个用户中每个用户的视角进行处理和发送的步骤。
7.根据权利要求1所述的方法,其特征在于,所述获取待展示的目标物的三维交互模型包括:
获取第五用户上传的三维物体模型;或,
获取第六用户上传的二维表格,对所述二维表格进行处理,得到三维表格模型。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到多媒体文件播放请求时,将与所述多媒体播放请求对应的多媒体文件合成至所述多个用户的视频数据。
9.根据权利要求1所述的方法,其特征在于,在群组视频会话过程中,获取待展示的目标物的三维交互模型之后,所述方法还包括:
当检测到第七用户对所述三维交互模型的凝视时长大于预设时长时,将操作提示信息发送至所述第七用户所在终端,所述操作提示信息用于提示所述第七用户能够对所述三维交互模型进行操作。
10.一种群组视频会话的装置,其特征在于,所述装置包括:
交互模型获取模块,用于在群组视频会话过程中,获取待展示的目标物的三维交互模型;
处理模块,用于根据所述群组视频会话中多个用户中每个用户的视角,对所述目标物的三维交互模型进行处理,得到所述用户的视频数据,所述用户的视频数据包含对所述目标物的三维交互模型进行视角变换得到的模型数据;
发送模块,用于将所述多个用户的视频数据分别发送至所述多个用户所在终端。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:调整模块;
所述调整模块,用于当接收到对所述三维交互模型的操作指令时,根据所述操作指令对应的操作方式对所述三维交互模型进行调整;
所述处理模块,用于基于调整后的三维交互模型执行根据所述群组视频会话中多个用户中每个用户的视角进行处理的步骤;
所述发送模块,用于对所述处理模块根据所述群组视频会话中多个用户中每个用户的视角处理后的视频数据进行发送的步骤。
12.根据权利要求10所述的装置,其特征在于,所述装置还包括:
手势获取模块,用于获取第一用户的手势特征数据,当所述手势特征数据与所述三维交互模型的任一操作方式匹配时,确定接收到与所述操作方式对应的操作指令;或,
操作信息获取模块,用于获取第二用户对外接设备的操作信息,当所述操作信息与所述三维交互模型的任一操作方式匹配时,确定接收到所述操作方式对应的操作指令,所述外接设备与所述第二用户所在终端绑定。
13.根据权利要求11所述的装置,其特征在于,
所述调整模块用于:当所述操作指令为旋转操作指令时,获取所述旋转操作指令对应的旋转角度和旋转方向,按照所述旋转角度和旋转方向,旋转所述三维交互模型;和/或,
所述调整模块用于:当所述操作指令为缩放操作指令时,获取所述缩放操作指令对应的缩小比例或放大比例,按照所述缩小比例和放大比例,缩小或放大所述三维交互模型;和/或,
所述调整模块用于:当所述操作指令为移位操作指令时,获取所述移位操作指令对应的移位方向和移位距离,按照所述移位方向和移位距离,对所述三维交互模型进行移位操作。
14.根据权利要求10所述的装置,其特征在于,所述装置还包括:
生成模块,用于当接收到第三用户的发言请求时,生成指定视频数据,所述指定视频数据用于展示虚拟话筒从虚拟主持人传递至所述第三用户的虚拟人物的过程;
所述处理模块,用于基于所述指定视频数据,执行根据所述群组视频会话中多个用户中每个用户的视角进行处理的步骤;
所述发送模块,用于对所述处理模块根据所述群组视频会话中多个用户中每个用户的视角处理后的指定视频数据进行发送的步骤。
15.根据权利要求10所述的装置,其特征在于,所述装置还包括:
降低模块,用于当接收到第三用户的发言请求时,降低第四用户的音频数据的音量,所述第四用户为所述群组视频会话中除第三用户以外的用户;
所述处理模块,用于基于调整后的音频数据,执行根据所述群组视频会话中多个用户中每个用户的视角进行处理的步骤;
所述发送模块,用于对所述处理模块根据所述群组视频会话中多个用户中每个用户的视角处理后的视频数据进行发送的步骤。
16.根据权利要求10所述的装置,其特征在于,
所述交互模型获取模块用于:获取第五用户上传的三维物体模型;或,
所述交互模型获取模块用于:获取第六用户上传的二维表格,对所述二维表格进行处理,得到三维表格模型。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括:
合成模块,用于当接收到多媒体文件播放请求时,将与所述多媒体播放请求对应的多媒体文件合成至所述多个用户的视频数据。
18.根据权利要求10所述的装置,其特征在于,所述发送模块还用于:
当检测到第七用户对所述三维交互模型的凝视时长大于预设时长时,将操作提示信息发送至所述第七用户所在终端,所述操作提示信息用于提示所述第七用户能够对所述三维交互模型进行操作。
CN201710104669.9A 2017-02-24 2017-02-24 群组视频会话的方法及装置 Active CN108513090B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710104669.9A CN108513090B (zh) 2017-02-24 2017-02-24 群组视频会话的方法及装置
PCT/CN2018/075749 WO2018153267A1 (zh) 2017-02-24 2018-02-08 群组视频会话的方法及网络设备
TW107106428A TWI650675B (zh) 2017-02-24 2018-02-26 群組視頻會話的方法及系統、終端、虛擬現實設備及網路設備
US16/435,733 US10609334B2 (en) 2017-02-24 2019-06-10 Group video communication method and network device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710104669.9A CN108513090B (zh) 2017-02-24 2017-02-24 群组视频会话的方法及装置

Publications (2)

Publication Number Publication Date
CN108513090A true CN108513090A (zh) 2018-09-07
CN108513090B CN108513090B (zh) 2021-01-01

Family

ID=63373903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710104669.9A Active CN108513090B (zh) 2017-02-24 2017-02-24 群组视频会话的方法及装置

Country Status (1)

Country Link
CN (1) CN108513090B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709537A (zh) * 2020-05-21 2021-11-26 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
CN115454258A (zh) * 2022-11-10 2022-12-09 北京圜晖科技有限公司 三维模型的协同交互方法及装置
CN115514729A (zh) * 2022-08-31 2022-12-23 同炎数智科技(重庆)有限公司 一种基于三维模型的即时讨论方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263772A (zh) * 2010-05-28 2011-11-30 经典时空科技(北京)有限公司 基于三维技术的虚拟会议***
US9007422B1 (en) * 2014-09-03 2015-04-14 Center Of Human-Centered Interaction For Coexistence Method and system for mutual interaction using space based augmentation
CN105611215A (zh) * 2015-12-30 2016-05-25 掌赢信息科技(上海)有限公司 一种视频通话方法及装置
CN105872444A (zh) * 2016-04-22 2016-08-17 广东小天才科技有限公司 一种视频通话方法、装置及***
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 一种视频处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263772A (zh) * 2010-05-28 2011-11-30 经典时空科技(北京)有限公司 基于三维技术的虚拟会议***
US9007422B1 (en) * 2014-09-03 2015-04-14 Center Of Human-Centered Interaction For Coexistence Method and system for mutual interaction using space based augmentation
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 一种视频处理方法及装置
CN105611215A (zh) * 2015-12-30 2016-05-25 掌赢信息科技(上海)有限公司 一种视频通话方法及装置
CN105872444A (zh) * 2016-04-22 2016-08-17 广东小天才科技有限公司 一种视频通话方法、装置及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709537A (zh) * 2020-05-21 2021-11-26 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
CN113709537B (zh) * 2020-05-21 2023-06-13 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
CN115514729A (zh) * 2022-08-31 2022-12-23 同炎数智科技(重庆)有限公司 一种基于三维模型的即时讨论方法及***
CN115514729B (zh) * 2022-08-31 2024-04-05 同炎数智科技(重庆)有限公司 一种基于三维模型的即时讨论方法及***
CN115454258A (zh) * 2022-11-10 2022-12-09 北京圜晖科技有限公司 三维模型的协同交互方法及装置

Also Published As

Publication number Publication date
CN108513090B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN107113396A (zh) 修改视频通话数据
US9294722B2 (en) Optimized telepresence using mobile device gestures
CN109242765B (zh) 一种人脸图像处理方法、装置和存储介质
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
WO2019057150A1 (zh) 信息交互方法、装置、存储介质和电子装置
CN105808071B (zh) 一种显示控制方法、装置和电子设备
CN107111427A (zh) 修改视频通话数据
CN104794752A (zh) 基于移动终端和全息展示的虚拟场景协同建模方法及***
CN105468279B (zh) 触屏操作识别和响应方法、装置及游戏操控方法、装置
WO2002080111A1 (fr) Systeme formant un modele d'emotion par infographie 3d basee sur les emotions
CN110298873A (zh) 三维地图的构建方法、构建装置、机器人及可读存储介质
CN108513090A (zh) 群组视频会话的方法及装置
CN108616712A (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN107005550A (zh) 相关通信模式选择
CN103827924B (zh) 信息处理装置、信息处理方法
CN105005441B (zh) 一种即时视频的显示方法和电子设备
CN107665187A (zh) 一种判断移动设备应用界面是否发生变化的方法和装置
CN104380720A (zh) 视频会议处理方法及设备
CN107077347A (zh) 视图管理架构
CN106227336B (zh) 体感映射的建立方法以及建立装置
CN106293485B (zh) 一种基于触摸轨迹的终端控制方法及装置
CN108961424A (zh) 虚拟信息处理方法、设备及存储介质
CN111580658A (zh) 基于ar的会议方法、装置及电子设备
CN107526441A (zh) 3d虚拟交互方法及***
CN107688389B (zh) Vr抓取动作的优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant