CN112788273A - 一种增强现实ar通信***及基于ar的通信方法 - Google Patents

一种增强现实ar通信***及基于ar的通信方法 Download PDF

Info

Publication number
CN112788273A
CN112788273A CN201911089878.6A CN201911089878A CN112788273A CN 112788273 A CN112788273 A CN 112788273A CN 201911089878 A CN201911089878 A CN 201911089878A CN 112788273 A CN112788273 A CN 112788273A
Authority
CN
China
Prior art keywords
media
sbc
server
media server
media stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911089878.6A
Other languages
English (en)
Other versions
CN112788273B (zh
Inventor
高扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911089878.6A priority Critical patent/CN112788273B/zh
Priority to PCT/CN2020/124168 priority patent/WO2021088691A1/zh
Publication of CN112788273A publication Critical patent/CN112788273A/zh
Application granted granted Critical
Publication of CN112788273B publication Critical patent/CN112788273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开一种增强现实AR通信***及基于AR的通信方法，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。在通信***中部署AR媒体服务器，AR媒体服务器与通话两侧的终端设备所属的SBC之间打通媒体流通道，使得通话两侧的终端设备之间传输的媒体流在从SBC发出后到达AR媒体服务器，进而AR媒体服务器执行媒体增强处理，实现了在视频通话过程中融入AR处理。

Description

一种增强现实AR通信***及基于AR的通信方法
技术领域
本申请实施例涉及通信技术领域，尤其涉及一种增强现实AR通信***及基于AR的通信方法。
背景技术
长期演进语音承载(voice over long term evolution，VoLTE)是架构在***(the 4th generation，4G)网络上全IP条件下的端到端语音方案。VoLTE使得用户之间通信时，接通等待时间更短，并且语音视频通话质量更高。增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来。如何将AR融入语音视频通话中，目前并没有一种有效的实现方式。
发明内容
本申请实施例提供一种增强现实通信***及基于AR的通信方法，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。AR通信***中可以包括第一AR媒体服务器、第一会话边界控制器(session border controller，SBC)；第一SBC，用于接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给第一AR媒体服务器；第一AR媒体服务器，用于对接收到的上行媒体流进行媒体增强处理，上行媒体流中包括第一媒体流。通过部署AR媒体服务器对来自终端设备的媒体流执行媒体增强处理，实现了在视频通话过程中融入AR处理，提升用户体验。
在一种可能的设计中，AR通信***还包括应用服务器。应用服务器用于与终端设备以及AR媒体服务器进行交互。比如，应用服务器用于接收来自第一终端设备的AR界面操作指示，并将操作指示发送给第一AR媒体服务器；第一AR媒体服务器，具体用于根据AR界面操作指示对接收到的第一媒体流进行媒体增强处理。
在一种可能的设计中，应用服务器部署于***中的中心节点。
在一种可能的设计中，第一AR媒体服务器与第一终端设备之间建立有辅助传输通道；
第一AR媒体服务器，还用于通过辅助传输通道接收来自第一终端设备的辅助媒体流，对辅助媒体流和第一媒体流进行媒体增强处理。对于实时性要求较高的辅助媒体流，通过建立第一AR媒体服务器与第一终端设备的辅助传输通道，可能降低传输时延，提升用户体验。
一种可能的设计中，应用服务器与AR媒体服务器之间可以部署有控制接口，用于传输来自终端设备的操作指示。还可以部署数据接口，可以用于传输对实时性要求较低的数据。
示例性地，辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。
另外，对于实时性要求较低的场景中，点云数据、空间数据、用户视角视频或虚拟模型也可以由终端设备通过应用服务器发送给AR媒体服务器。
在一种可能的设计中，应用服务器，还用于向AR媒体服务器发送虚拟模型；AR媒体服务器，还用于对虚拟模型以及第一媒体流进行媒体增强处理。AR媒体服务器的上行媒体流可以包括虚拟模型以及第一媒体流。
在一种可能的设计中，还包括第二SBC，第一SBC部署于***中的第二边缘节点，第二SBC用于管理第二终端设备；第二SBC，还用于接收来自第二终端设备的第二媒体流，并将第二媒体流发送给第一AR媒体服务器；第一AR媒体服务器，还用于接收第二媒体流，并对第一媒体流和第二媒体流进行媒体增强处理。
上述设计中，AR媒体服务器可以执行对双侧终端设备的媒体流的媒体增强处理。比如AR媒体服务器中可以部署至少两个媒体处理实例，用来针对不同的终端设备的请求执行媒体增强处理。
在一种可能的设计中，AR通信***还包括第二SBC，第二SBC部署于***中的第二边缘节点，第二SBC用于管理第二终端设备；第一AR媒体服务器，还用于将经过媒体增强处理后的媒体流发送给第二SBC；第二SBC，用于将来自第一AR媒体服务器的媒体流发送给第二终端设备。
在一种可能的设计中，第一SBC与第一AR媒体服务器部署于***中的第一边缘节点。AR媒体服务器部署于边缘节点，相对更靠近终端设备用户，可以降低传输时延，提升用户体验。
在一种可能的设计中，第一SBC部署于***中的第一边缘节点，第一AR媒体服务器部署于***中的中心节点。将AR媒体服务器部署于中心节点，减少AR媒体服务器部署数量，减少开支。
在一种可能的设计中，***中还部署第二AR媒体服务器和第二SBC；第一SBC与第二AR媒体服务器部署于***中的第一边缘节点，第二SBC与第一AR媒体服务器部署于***中的第二边缘节点；第一SBC，用于将来自第一SBC所管理的第一终端设备的第一媒体流通过第二AR媒体服务器发送给第一AR媒体服务器；第二AR媒体服务器，还用于接收来自第一SBC的第一媒体流，并将第一媒体流发送给第一AR媒体服务器。
在一种可能的设计中，AR通信***中还部署第二AR媒体服务器和第二SBC；所述第一SBC与所述第一AR媒体服务器部署于所述***中的第一边缘节点，所述第二SBC与所述第二AR媒体服务器部署于所述***中的第二边缘节点。第二AR媒体服务器和第二SBC之间具有媒体流通道。第二AR媒体服务器与第一AR媒体服务器具有媒体流通道。
一种方式中，第二SBC，用于接收来自第二终端设备的第二媒体流，并将接收到的第二媒体流发送给第二AR媒体服务器；第二AR媒体服务器，用于对接收到的第二媒体流进行媒体增强处理。第二AR媒体服务器可以将媒体增强处理后的媒体流通过第一AR媒体服务发送给第一终端设备。
另一种方式中，第二SBC，用于接收来自第二终端设备的第二媒体流，并将接收到的第二媒体流发送给第二AR媒体服务器。第二AR媒体服务器将第二媒体流发送给第一AR媒体服务器，从而第一AR媒体服务器根据第一媒体流和第二媒体流执行媒体增强处理。
又一种方式中，对于来自第一终端设备的需要进行媒体增强处理后发往终端设备的媒体流，第一AR媒体服务器在接收到来自第一终端设备的媒体流，可以发送给第二AR媒体服务器，由第二AR媒体服务器执行媒体增强处理。
在一种可能的设计中，所述第一AR媒体服务器，还用于将媒体增强处理后的第一媒体流发送给第二终端设备对应的第二SBC。
第二方面，本申请实施例提供一种基于增强现实的通信方法，应用于AR通信***，所述AR通信***包括第一话边界控制器SBC和第一AR媒体服务器，所述方法包括：第一SBC接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给所述第一增强现实AR媒体服务器；第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理。
在一种可能的设计中，所述AR通信***还包括应用服务器，所述方法还包括：所述应用服务器接收来自第一终端设备的AR界面操作指示，并将所述操作指示发送给所述第一AR媒体服务器；第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：所述第一AR媒体服务器根据所述AR界面操作指示对接收到的所述第一媒体流进行媒体增强处理。
在一种可能的设计中，第一AR媒体服务器与第一终端设备之间建立有辅助传输通道，所述方法还包括：所述第一AR媒体服务器通过辅助传输通道接收来自第一终端设备的辅助媒体流；第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：所述第一AR媒体服务器对所述辅助媒体流和所述第一媒体流进行媒体增强处理。
在一种可能的设计中，所述辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。
在一种可能的设计中，所述方法还包括：所述应用服务器向所述AR媒体服务器发送虚拟模型；第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：所述第一AR媒体服务器对所述虚拟模型以及所述第一媒体流进行媒体增强处理。
在一种可能的设计中，所述AR通信***还包括第二SBC，所述第二SBC用于管理所述第二终端设备，所述方法还包括：第二SBC接收来自所述第二SBC所管理的第二终端设备的第二媒体流，并将所述第二媒体流发送给所述第一AR媒体服务器；所述第一AR媒体服务器，还用于接收所述第二媒体流；第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：第一AR媒体服务器对所述第一媒体流和所述第二媒体流进行媒体增强处理。
在一种可能的设计中，所述AR通信***还包括第二SBC，所述第二SBC用于管理所述第二终端设备，所述方法还包括：所述第一AR媒体服务器将经过媒体增强处理后的媒体流发送给所述第二SBC；所述第二SBC将来自第一AR媒体服务器的媒体流发送给所述第二终端设备。
在一种可能的设计中，所述***中还部署第二AR媒体服务器和第二SBC；所述第二SBC接收来自第二终端设备的第二媒体流，并将接收到的第二媒体流发送给所述第二AR媒体服务器；所述第二AR媒体服务器对接收到的第二媒体流进行媒体增强处理。
在一种可能的设计中，所述方法还包括：所述第一AR媒体服务器将媒体增强处理后的第一媒体流发送给第二终端设备对应的第二SBC。
附图说明
图1为本申请实施例中一种可能的AR通信***架构示意图；
图2为本申请实施例中另一种可能的AR通信***架构示意图；
图3为本申请实施例中又一种可能的AR通信***架构示意图；
图4为本申请实施例中一种可能的终端设备的显示界面示意图；
图5为本申请实施例中再一种可能的AR通信***架构示意图；
图6为本申请实施例中再一种可能的AR通信***架构示意图；
图7为本申请实施例中一种AR媒体服务器输入输出示意图；
图8为本申请实施例的示例1中AR媒体服务器输入输出示意图；
图9为本申请实施例的示例2中AR媒体服务器输入输出示意图；
图10为本申请实施例的示例3中一种AR媒体服务器输入输出示意图；
图11为本申请实施例的示例3中另一种AR媒体服务器输入输出示意图；
图12为本申请实施例的示例4中AR媒体服务器输入输出示意图；
图13为本申请实施例中一种可能的基于AR的通信方法流程示意图；
图14A为本申请实施例中另一种可能的基于AR的通信方法流程示意图；
图14B为本申请实施例中另一种可能的基于AR的通信方法流程示意图；
图15为本申请实施例中又一种可能的基于AR的通信方法流程示意图；
图16为本申请实施例中终端设备触发AR视频增强流程的方法示意图；
图17为本申请实施例中终端设备与AR媒体服务器之间建立辅助传输通道的流程示意图。
具体实施方式
本申请提供一种基于AR的通信***及基于AR的通信方法，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。语音视频通话可以但不仅限于采用VoLTE，还可以适用于未来技术提供的语音视频通话。
参见图1所示为本申请实施例的一种基于AR的通信***架构示意图。通信***中包括一个或者多个会话边界控制器(session border controller，SBC)以及一个或者多个AR媒体服务器。AR媒体服务器也可以称为AR媒体使能器(AR media enabler)。两个终端设备可以通过通信***进行语音视频通话，并且在语音视频通话过程，由AR media enabler对语音视频通话过程中产生的媒体流进行媒体增强处理。比如AR media enabler具体较强的图像处理功能以及数据计算功能，能够采用AR技术对接收到的媒体流执行逻辑运算、画面渲染、虚拟景象合成等操作。AR媒体服务器可以是以容器服务的形式部署。AR媒体服务器还可以通过一个或者虚拟机来实现。AR媒体服务器也可以包括一个或者处理器，或者通过一个或者多个计算机来实现，比如超多核计算机、部署有图形处理器(graphicsprocessing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等。SBC用于对终端设备的会话进行管理或控制。SBC包括信令面功能以及媒体面功能，例如可以用于接收来自其管理的终端设备的媒体流，并将从终端设备接收的媒体流发送给AR媒体服务器。AR媒体服务器用于对接收到的上行媒体流进行媒体增强处理得到下行视频流。下行视频流可以由AR媒体服务器通过SBC发送给对应的终端设备。终端设备可以是配置有摄像头，具有视频通话功能的设备，比如，终端设备可以是可穿戴设备(例如电子手表)，终端设备还可以是手机、平板电脑等设备。本申请实施例对终端设备的具体形式不作特殊限制。
图1中以两个SBC为例，分别为第一SBC和第二SBC，所述第一SBC用于管理第一终端设备，第二SBC用于管理第二终端设备。另外，不同终端设备也可以有同一个SBC来管理。比如图1中所述的第三终端设备，第三终端设备由第一SBC管理。以第一终端设备与第二终端设备进行AR视频通话为例，第一SBC用于接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给AR媒体服务器，进而AR媒体服务器对接收到的上行媒体流进行媒体增强处理，上行媒体流包括该第一媒体流。可选地，AR媒体服务器对上行媒体流进行媒体增强处理后得到下行媒体流，AR媒体服务器将下行媒体流发送给第二SBC，由第二SBC发送给第二终端设备。
示例性地，通信***还可以包括应用服务器。应用服务器用于在终端设备的触发下建立AR视频通话，比如以上述第一终端设备与第二终端设备进行AR视频通话为例，应用服务器接收来自第一终端设备的AR界面操作指示，并将AR界面操作指示发送给AR媒体服务器，AR界面操作指示用于指示用户对第一终端设备显示的AR界面所作的操作；进而AR媒体服务器，具体用于根据AR界面操作指示对接收到的上行媒体流进行媒体增强处理。
可选地，参见图2所示，应用服务器可以包括媒体插件服务功能，也可以称为插件服务器(Plugin server)。应用服务器还包括应用服务功能(application service，AS)。媒体插件服务功能，用于与终端设备进行交互，接收来自终端设备触发的AR界面操作指示，并将AR界面操作指示发送给应用服务功能。应用服务功能用于与AR媒体服务器交互，将媒体插件服务功能发送的AR界面操作指示发送给AR媒体服务器。进而AR媒体服务器在对接收到的上行媒体流进行媒体增强处理时，根据AR界面操作指示对接收到的上行媒体流进行媒体增强处理。
需要说明的是，媒体插件服务功能与AS在部署时，可以分别独立部署，还可以合并部署，比如媒体插件服务功能与AS通过一个设备来实现，或者通过一个或者多个虚拟机来实现。
其中，AR界面操作指示可以是用于指示处理方式的指示，对实时性没有很大要求，比如美颜操作，AR媒体服务器根据该AR界面操作指示对接收到的媒体流中每个视频帧中人脸执行美颜处理。AR界面操作指示还可以包括用于指示用户实时操作的指示，比如模型操作指示，用于指示旋转模型、缩放模型等。本申请实施例中为了便于区分，将对实时性没有很大要求的AR界面操作指示称为非实时操作指示，将用于指示用户实时操作的指示称为实时操作指示。
一种可能的方式中，参见图3所示，应用服务器(AS)可以部署于***中的中心节点。第一SBC部署于***中的第一边缘节点，AR媒体服务器部署于***中的中心节点。第二SBC部署于***的第二边缘节点。边缘节点相比中心节点来说，更靠近终端设备的用户，为这些用户提供边缘计算服务、转发服务等等，降低响应时延和带宽成本，减轻中心节点的压力。可选地，中心节点和边缘节点可以部署于云上，在该请况下，中心节点可以称为中心云，边缘节点可以称为边缘云。示例性地，边缘节点也可以是移动边缘计算(Mobile EdgeComputing，MEC)节点。中心云还可以部署IP多媒体***(IP Multimedia Subsystem，IMS)核心网(core)。IMS core中可以包括呼叫会话控制功能(call session controlfunction，CSCF)和归属签约用户服务器(home subscriber server，HSS)，IMS core还可以包括其它网元，本申请实施例中不再赘述。CSCF是IMS core的呼叫控制中心，是在IP传输平台上实现用户接入，鉴权、会话路由和业务触发等功能。CSCF可以包括服务-呼叫会话控制功能(serving-call session control function，S-CSCF)、代理-CSCF(Proxy CSCF，P-CSCF)、查询-CSCF(Interrogating-CSCF，I-CSCF)中的一个或多个。HSS用于记录用户的签约数据(比如用户信息、业务数据)。参见图3所示，SBC提供接入网与IMS核心网之间以及IMS核心网之间的边界控制功能，能够提供接入控制、服务质量(quality of service)控制以及防火墙穿越等功能。
可选地，在终端设备中可以部署AR控件(可以称为端侧Plugin)。AR控件用于与网络侧的媒体插件服务功能进行消息交互。AR控件还可以与AR media enabler之间建立辅助传输通道。其中辅助传输通道用于第一终端设备向AR media enabler发送辅助媒体流。示例性地，辅助媒体流可以包括点云数据、空间数据(也可以称为空间位姿数据)、用户视角视频或虚拟模型中的一项或者多项。点云数据是指以点的形式记录的数据，每个点可以包括空间位置信息，还可以包含颜色信息或者反射强度信息等。空间数据也可以称为几何数据，它用来表示物体的位置、形态、大小分布等各方面的信息，是对现世界中存在的具有定位意义的事物和现象的定量描述。虚拟模型，比如可以包括虚拟人像模型、虚拟物体模型以及素材图像(比如贴纸、卡通头像等)、或者虚拟动画模型等中的一项或多项。用户视角视频，比如可以是在用户通过终端设备的后置摄像头采集到的视频，或者通过终端设备的前置摄像头采集到的视频。
可选地，本申请实施例中终端设备可以根据传输的辅助媒体流的类型建立不同的辅助传输通道。比如在需要传输点云数据时，建立辅助传输通道1，在需要传输AR空间数据时，建立辅助传输通道2。用于传输AR空间数据的辅助传输通道2可以称为Action通道，也可以采用其它的称呼，本申请实施例对此不作限定。终端设备也可以通过一个辅助传输通道传输不同类型的辅助媒体流。
示例性地，AR控件的用户界面可以在终端设备的AR视频通话过程中作为悬浮窗口叠加在VoLTE的通话界面之上。比如，参见图4所示的显示界面400。窗口402显示通话对端的用户的图像，窗口401显示通话本端用户的图像，窗口403为AR控件的用户界面。用户通过点击窗口403中的图标，比如“美白”图标，进而AR控件将美白的操作指令通过应用服务器发送给AR媒体服务器，从而AR媒体服务器对接收到的媒体流包括的视频图像的人脸执行美白操作。
另一种可能的方式中，参见图5所示，与所述图3中AR媒体服务器部署于中心节点不同的是，在图5中，AR媒体服务器部署于***中的第一边缘节点(比如第一边缘云)。在该部署情况下，AR媒体服务器可以独立于SBC部署，即AR媒体服务器为一个单独的设备，AR媒体服务器还可以与SBC合并部署，合并部署后的设备可以实现AR媒体服务器的功能以及实现SBC的功能。
又一种可能的方式中，参见图6所示，进行通话的两个终端设备分别对应的边缘云中部署AR媒体服务器，为了便于区分，第一边缘云中部署的AR媒体服务器称为第一AR媒体服务器，第二边缘云中部署的AR媒体服务器称为第二AR媒体服务器。在该部署方式下，第一AR媒体服务器进行媒体增强处理后的媒体流，如果需要发送给第二终端设备，则先发送给第二AR媒体服务器，由第二AR媒体服务器通过第二SBC发送给第二终端设备。
需要说明的是，不同的终端设备所对应的边缘节点可能相同，也可能不同。另外不同的终端设备对应的中心节点可能相同，也可能不同。不同的终端设备所对应的AR媒体服务器可能不同，也可能相同。不同的终端所对应的CSCF可能相同，也可能不同。
如下以第一终端设备与第二终端设备进行AR视频增强通话为例。由AR媒体服务器对接收到的媒体流进行媒体增强处理。本申请实施例中为了描述方便，将AR媒体服务器输入的媒体流称为上行媒体流，输出的媒体流称为下行媒体流。参见图7所示，AR媒体服务器接收的上行媒体流可以包括来自第一终端设备的第一媒体流。上行媒体流还可以如下一项或者多项：辅助媒体流、虚拟模型。
AR媒体服务器的输入还可以包括AR界面操作指示，AR界面操作指示可以指示用户对第一终端设备显示的AR界面所作的操作。AR媒体服务器的输出可以包括第一终端设备的下行媒体流，和/或，第二终端设备的下行媒体流。
可选地，辅助媒体流可以由第一终端设备通过辅助传输通道发送到AR媒体服务器。辅助媒体流可以包括点云数据、空间数据、用户视角视频或者虚拟模型中的一项或者多项。一种方式是，虚拟模型由终端设备生成并通过辅助传输通道发送给AR媒体服务器，另一种方式，终端设备可以不具有生成虚拟模型的能力，虚拟模型可以由应用服务器生成并发送给AR媒体服务器。
应理解的是，在不同的应用场景下，AR媒体服务器的输入和输出可以不同。
下面结合应用场景示例性地对AR媒体服务器的媒体流构成以及流向进行说明。以用户1的第一终端设备与用户2的的第二终端设备之间进行AR视频通话为例。
示例1，单向AR增强场景。比如，美颜、贴纸、超分、表情驱动通话等场景。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。
参见图8所示，以第一终端设备在与第二终端设备进行视频通话过程中需要进行AR处理。AR媒体服务器的输入包括第一终端设备的第一媒体流。第一媒体流由第一终端设备通过第一SBC发送给AR媒体服务器。示例性地，第一媒体流可以包括第一终端设备通过摄像头采集到的视频，还可以包括通过麦克风采集到的语音。
AR媒体服务器对第一媒体流进行媒体增强处理后输出第二终端设备的下行媒体流。可选地，用户1的第一终端设备上在显示用户2的图像的基础上也可以显示用户1自身的图像，比如图4所示的窗口401和窗口402，在该情况下，AR媒体服务器在对第一媒体流执行媒体增强处理后再发送给第二终端设备时，还可以发送给第一终端设备。以美颜为例，第一终端设备的用户1触发美颜操作时，第一终端设备的AR控件将美颜操作指示发送给应用服务器，进而应用服务器将美颜操作发送给AR媒体服务器，AR媒体服务器对接收到的第一媒体流中视频图像包括的人脸执行美颜操作。
示例性地，针对贴纸、表情驱动通话等需要素材的场景中，应用服务器中的应用服务功能中部署素材库，素材库中可以包括各种素材，比如不同样式的贴纸、不同表情的表情头像(比如可爱猫咪，鬼脸)、或者不同样式的虚拟人像模型等等。在需要素材的场景中，AR媒体服务器的输入还包括来自应用服务器的素材图像。第一终端设备的AR控件响应于用户选择的道具(比如虚拟人像)，向应用服务器发送AR界面操作指示，AR界面操作指示用于指示用户选择的虚拟人像。应用服务器接收到AR界面操作指示后，可以将素材库中的虚拟人像模型发送给AR媒体服务器，AR媒体服务器从接收到的第一媒体流中获取用户1的表情、动作等数据对虚拟人像模型进行渲染，将经过渲染得到媒体流发送给第二终端设备。
示例1可以适用于AR媒体服务器部署于中心节点的架构，也可以适用于AR媒体服务器部署于边缘节点的架构。当第一终端设备和第二终端设备所对应的边缘节点不同时，比如，以图6为例，第一终端设备对应的AR媒体服务器(比如第一AR媒体服务器)将媒体增强处理后的媒体流先发送给第二终端设备对应的AR媒体服务器(第二AR媒体服务器)，由第二AR媒体服务器通过第二SBC发送给第二终端设备。
示例2，操作交互通话场景，比如广告推销、远程教育等。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。
参见图9所示，以用户1的第一终端设备在与用户2的第二终端设备进行视频通话过程中需要进行AR处理为例。AR媒体服务器的输入包括第一终端设备的第一媒体流。第一媒体流由第一终端设备通过第一SBC发送给AR媒体服务器。AR媒体服务器的输入还包括实时操作指示，比如模型旋转、模型移动或者模型缩放、空间标注等操作。实时操作指示可以由用户1操作产生，即由第一终端设备通过应用服务器发送给AR媒体服务器。实时操作指示可以由用户2操作产生，即由第二终端设备通过应用服务器发送。作为一种示例，在图3或图5所示的部署方式中，AR媒体服务器可以包括至少两个媒体处理实例，以两个为例，分别为媒体处理实例1和媒体处理实例2。媒体处理实例1用于对第一终端设备的第一媒体流进行媒体增强处理，媒体处理实例1的输入可以包括第一媒体流、实时操作指示，媒体处理实例1将媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。媒体处理实例2用于对第二终端设备的第二媒体流进行媒体增强处理，媒体处理实例2的输入可以包括第二媒体流和实时操作指示，并将媒体增强处理后的媒体流通过第二SBC发送给第二终端设备。其中，媒体处理实例1上输入的实时操作指示和媒体处理实例2上输入的实时操作指示可以相同，比如来自于第一终端设备或者来自第二终端设备。媒体处理实例1上输入的实时操作指示和媒体处理实例2上输入的实时操作指示也可以相同，媒体处理实例1上输入的实时操作指示来自第一终端设备，媒体处理实例2上输入的实时操作指示来自第二终端设备。针对图6所示的部署方法，可以由第一AR媒体服务器对第一终端设备的第一媒体流进行媒体增强处理，由第二AR媒体服务器对第二终端设备的第二媒体流进行媒体增强处理。第一AR媒体服务器的输入可以包括第一媒体流、实时操作指示，第一AR媒体服务器媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。第二AR媒体服务器的输入可以包括第二媒体流、实时操作指示，第二AR媒体服务器媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。其中，第一AR媒体服务器上输入的实时操作指示和第二AR媒体服务器输入的实时操作指示可以相同，比如实时操作指示来自于第一终端设备或者来自第二终端设备。第一AR媒体服务器上输入的实时操作指示和第二AR媒体服务器输入的实时操作指示也可以不同，第一AR媒体服务器上输入的实时操作指示来自第一终端设备，第二AR媒体服务器上输入的实时操作指示来自第二终端设备。
AR媒体服务器的输入还可以包括虚拟模型，虚拟模型可以由应用服务器发送给AR媒体服务器。需要说明的是，虚拟模型可以不是实时传输的，可由应用服务器传输一次即可。在终端设备具有提供虚拟模型的场景中，可以由终端设备通过应用服务器发送给AR媒体服务器，或者可以是终端设备上AR控件通过辅助传输通道将虚拟模型发送给AR媒体服务器。
比如，二手房可视业务，房源提供者对应第二终端设备，购房用户为第一终端设备。第一终端设备将购房用户的第一媒体流(作为背景流)通过第一SBC发送给AR媒体服务器。第一媒体流可以由第一终端设备上后置摄像头采集得到。第一终端设备的AR插件将购房用户操作二手房模型的模型操作指示通过应用服务器发送给AR媒体服务器。AR媒体服务器从第一媒体流获取购房用户视角的空间位姿数据，按照购房用户视角的空间位姿数据渲染二手房模型，将渲染后的二手房模型与购房用户的背景流叠加发送给第一终端设备。针对第二终端设备的第二媒体流可以采用针对第一媒体流的处理方式类似的方式，此处不再重复描述。作为一种示例，空间位姿数据可以由第一终端设备的AR控件通过辅助传输通道发送给AR媒体服务器。
示例3，图像交互通话场景，比如AR全息通话场景等。该场景下适用于通话两端均支持AR。在图3或图5所示的部署方式中，AR媒体服务器可以部署至少两个媒体处理实例，以两个为例，参见图10所示，分别为媒体处理实例1和媒体处理实例2。媒体处理实例1上输入和输出，以及媒体处理实例2上输入和输出参见图10所示。媒体处理实例1的输入包括第一媒体流和第二辅助媒体流，第一媒体流可以是第一终端设备通过第一SBC发送给媒体处理实例1，第二辅助媒体流可以是第二终端设备上的AR控件通过辅助传输通道发送给媒体处理实例1。媒体处理实例2的输入包括第二媒体流和第一辅助媒体流，第二媒体流可以是第二终端设备通过第二SBC发送给媒体处理实例2，第一辅助媒体流可以是第一终端设备上的AR控件通过辅助传输通道发送给媒体处理实例2。第一媒体流和第一辅助媒体流可以是第一终端设备分别通过前置摄像头和后置摄像头采集得到，同样，第二媒体流和第二辅助媒体流可以是第二终端设备分别前置摄像头和后置摄像头采集得到。
以AR全息通话场景为例，第一媒体流包括第一终端设备的用户1所在的环境图像，第一辅助媒体流包括用户1的人像图像，第二媒体流包括第二终端设备的用户2所在的环境图像，第二辅助媒体流包括用户2的人像图像。用户1的第一辅助媒体流输入媒体处理实例2，媒体处理实例2从用户1的第一辅助媒体流获取用户1的实时表情、动作数据，驱动用户1的虚拟模型；媒体处理实例2将用户2的第二媒体流作为背景流，根据背景流获得用户2视角的空间位姿数据，并根据用户2的视角的空间位姿数据渲染用户1的虚拟模型，与第二媒体流叠加后，作为第二终端设备的下行视频流。同样，用户2的第二辅助媒体流输入媒体处理实例1，媒体处理实例1从用户2的第二辅助媒体流获取用户2的实时表情、动作数据，驱动用户2的虚拟模型；媒体处理实例1将用户1的第一媒体流作为背景流，根据背景流获得用户1视角的空间位姿数据，并根据用户1的视角的空间位姿数据渲染用户2的虚拟模型，与第一媒体流叠加后，作为第一终端设备的下行视频流。
在图6所示的部署方式中，第一AR媒体服务器和第二AR媒体服务器的输入和输出参见图11所示。第一AR媒体服务器和第二AR媒体服务器的处理方式与上述媒体处理实例1和媒体处理实例2的处理方式类似，此处不再赘述。
示例4，虚实叠加通话场景，比如远程指导等。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。
参见图12所示，AR媒体服务器的输入包括第一终端设备的第一媒体流和第一终端设备的辅助媒体流(包括点云数据)。第一终端设备上可以配置深度摄像头，用于获取点云数据，点云数据用于生成拍摄画面的深度图，比如红(R)绿(G)蓝(B)-深度(D)图像。第一终端设备的第一媒体流输入AR媒体服务器，第一媒体流作为背景流，AR媒体服务器根据点云数据，以更高的精度从背景流中识别物体对象的空间位置，识别物体对象后，在背景流上叠加虚拟模型、或者标识等，AR媒体服务器的输出作为第一终端设备和第二终端设备的下行视频流。
下面结合前面所描述的通信***结构，对创建媒体会话的流程进行说明。
参见图13所示，为本申请实施例提供的基于AR的通信方法流程示意图，以第一终端设备向第二终端设备触发AR视频增强流程为例。
S1301，第一终端设备通过第一SBC向应用服务器触发呼叫请求。
S1302，应用服务器向AR媒体服务器发送给第一会话创建请求。第一会话创建请求用于请求创建与第一终端设备对应的第一SBC之间的第一媒体会话。示例性地，第一会话创建请求中携带第一SBC的SDP信息，例如SBC的地址信息，媒体流的类型，支持的媒体参数等。
示例性地，第一会话创建请求可以是INVITE消息。
S1303，AR媒体服务器接收到第一会话创建请求时，向应用服务器发送第一会话创建响应。第一会话创建响应用于指示第一媒体会话创建成功。示例性地，第一会话创建响应携带AR媒体服务器的第一媒体描述协议SDP信息，该第一SDP信息用于描述所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数，例如AR媒体服务器的地址信息，媒体流的类型，支持的媒体参数等。
示例性地，第一会话创建响应可以是200OK。
S1304，AR媒体服务器接收应用服务器发送的第二会话创建请求。第二会话创建请求用于请求创建与第二SBC之间的第二媒体会话。
示例性地，第二会话创建请求可以是INVITE消息。
可选地，第二会话创建请求中可以携带服务指示。服务指示用于指示本次会话所需的媒体处理以及媒体流向。比如，服务指示可以是服务标识(ServiceID)。服务指示也可以称为AR业务指示。不同的应用场景下服务指示所指示的内容不同，即在不用的应用场景下，AR媒体服务器所提供的媒体增强处理不同，媒体流的流向也可能不同。
示例性地，第二会话创建请求携带关联指示。比如，关联指示可以通过第二会话创建请求的呼叫标识(比如，CallID)来指示。关联指示用于关联第一媒体会话和第二媒体会话。换句话说，建立第一SBC与AR媒体服务器之间的媒体流通道，和AR媒体服务器之间的媒体流通道的关联关系。也可以说第一SBC转发的第一终端设备的媒体流在到达第二终端设备所属的第二SBC之前需要经过AR媒体服务器。
S1305，AR媒体服务器向应用服务器发送第二会话创建响应。第二会话创建响应用于指示第二媒体会话创建成功。示例性地，第二会话创建响应中携带AR媒体服务器的第二SDP信息。第二媒体描述协议SDP信息用于描述第二SBC与AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。
示例性地，第一会话创建响应可以是183消息。
示例性地，AR媒体服务器在建立第一媒体会话和第二媒体会话的关联关系，可以建立AR媒体服务器器上第一接口与第二接口的关联关系。第一接口为接收第一SBC发送的媒体流，第二接口用于向第二SBC发送媒体流。第一接口和第二接口可以为物理接口或者物理子接口，也可以为逻辑接口或者为逻辑子接口。
S1306，应用服务器通过第二SBC向第二终端设备发送呼叫请求。应用服务器可以在呼叫请求中将AR媒体服务器的第二SDP带给第二SBC。
需要说明的是，第一终端设备在向第二终端设备发起AR视频增强流程时，第一种情况是，在VoLTE通话流程中即引入AR媒体服务器，即通话建立流程中需要建立AR媒体服务器与SBC之间的媒体会话。比如，第一终端设备建立原始呼叫时即发起AR视频增强流程，可以采用第一种情况。第二种情况是，原始呼叫无需执行AR媒体增强(比如原始通过仅为音频通话)，在通话过程中，触发AR媒体增强流程。
下面针对第一种情况下的AR视频通信流程进行详细说明，参见图14A所示。图14A以通话两端对应同一AR媒体服务器为例。
S1401，第一终端设备向第一SBC发送呼叫请求1。该呼叫请求1中携带第一终端设备的媒体描述协议(session description protocol，SDP)信息。
示例性地，呼叫请求1可以但不仅限于采用会话初始协议(session initiationprotocol，SIP)，还可以采用其它类型的传输协议，本申请对此不作限定。上述终端的SDP可以包括地址信息、媒体流的类型、支持的编解码格式等参数。
本申请实施例中，SDP用于两个会话实体之间的媒体面协商，并达成一致，属信令语言族，可以采用文本(字符)描述形式。SDP中可以包括如下所述的一项或多项：会话ID、会话版本、会话时间、本端传输媒体流的IP和端口、媒体流的描述信息(比如媒体类型，传输协议、媒体格式等中的一项或者多项)等。
第一终端设备的SDP信息用于描述创建第一终端设备与第一SBC之间媒体会话的媒体流通道的参数。
S1402，第一SBC在接收到呼叫请求1后，将呼叫请求1中的第一终端设备的SDP信息替换为第一SBC的SDP信息得到呼叫请求2，并将呼叫请求2发送给S-CSCF。
S1403，S-CSCF在接收到呼叫请求2后，将呼叫请求2转发给应用服务器。
示例性地，S-CSCF在接收到呼叫请求2后，根据第一终端设备的签约数据确定第一终端设备签约了AR媒体增强业务，进而将呼叫请求2转发给应用服务器。该应用服务器用于提供AS媒体增强业务。
S1404-S1407，参见S1302-S1305，此处不再赘述。
S1408，应用服务器将呼叫请求2中的第一SBC的SDP信息替换为AR媒体服务器的第二SDP信息得到呼叫请求3，并将呼叫请求3发送给S-CSCF。
S1409，S-CSCF将呼叫请求3转发给第二SBC。第二SBC可以根据AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为AR媒体服务器。
S1410，第二SBC将呼叫请求3中的AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到呼叫请求4，并将呼叫请求4发送给第二终端设备。
S1411，第二终端设备向第二SBC发送给呼叫响应4(为呼叫请求4对应的响应)，呼叫响应4中可以携带第二终端设备的SDP信息。
S1412，第二SBC接收到呼叫响应4后，向S-CSCF发送呼叫响应3(为呼叫请求3对应的响应)，呼叫响应3可以携带第二SBC的SDP信息。
S1413，S-CSCF接收到呼叫响应3后，向应用服务器转发呼叫响应3。
S1414，应用服务器在接收到呼叫响应3后，向AR媒体服务器发送第二SBC的SDP信息。AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。
S1415，应用服务器向S-CSCF发送呼叫响应2(为呼叫请求2对应的响应)。呼叫响应2中可以携带AR媒体使能器的第二SDP信息。
S1416，S-CSCF将呼叫响应2转发给第一SBC。
S1417，第一SBC在接收到呼叫响应2后，向第一终端设备发送呼叫响应1。呼叫响应1中携带第一SBC的SDP信息。
示例性地，呼叫响应1-呼叫响应4可以采用183消息类型。
参见图14B所示，为本申请实施例提供的基于AR的通信方法流程示意图，以第一终端设备向第二终端设备触发AR视频增强流程为例。图14B以通话两端对应不同的AR媒体服务器为例，通话两端对应不同的应用服务器为例。
S1401a-S1403a，参见S1401-S1403，此处不再赘述。
S1404a，第一应用服务器向第一AR媒体服务器发送给会话创建请求1。会话创建请求1用于请求创建与第一终端设备对应的第一SBC之间的第一媒体会话。示例性地，会话创建请求1中携带第一SBC的SDP信息。
示例性地，第一会话创建请求可以是INVITE消息。
S1405a，第一AR媒体服务器接收到会话创建请求1时，向第一应用服务器发送会话创建响应1。会话创建响应1用于指示第一媒体会话创建成功。示例性地，会话创建响应1携带第一AR媒体服务器的第一媒体描述协议SDP信息，该第一SDP信息用于描述第一SBC与第一AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。
示例性地，第一会话创建响应可以是200OK。
S1406a，第一AR媒体服务器接收第一应用服务器发送的会话创建请求2。会话创建请求2用于请求创建与第二SBC之间的第二媒体会话。
示例性地，会话创建请求2可以是INVITE消息。
可选地，会话创建请求2中可以携带服务指示。示例性地，第二会话创建请求携带第一关联指示。比如，第一关联指示可以通过会话创建请求2的呼叫标识(比如，CallID)来指示。第一关联指示用于关联第一媒体会话和第二媒体会话。
S1407a，第一AR媒体服务器向第一应用服务器发送会话创建响应2。会话创建响应2用于指示第二媒体会话创建成功。示例性地，第二会话创建响应中携带AR媒体服务器的第二SDP信息。第二媒体描述协议SDP信息用于描述第二SBC与第一AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。
S1408a，第一应用服务器将呼叫请求2中的第一SBC的SDP信息替换为第一AR媒体服务器的第二SDP信息得到呼叫请求3，并将呼叫请求3发送给S-CSCF1。
S1409a，S-CSCF1将呼叫请求3转发给S-CSCF2。
S1410a，S-CSCF2将呼叫请求3转发给第二应用服务器。
S1411a，第二应用服务器向第二AR媒体服务器发送给会话创建请求3。会话创建请求3用于请求创建与第一AR媒体服务器之间的第三媒体会话。示例性地，会话创建请求3中携带第一AR媒体服务器的第二SDP信息。
S1412a，第二AR媒体服务器接收到会话创建请求3时，向第二应用服务器发送会话创建响应3。会话创建响应3用于指示第三媒体会话创建成功。示例性地，会话创建响应3携带第二AR媒体服务器的第一SDP信息，该第二AR媒体服务器的第一SDP信息用于描述第一AR媒体服务器与第二AR媒体服务器之间创建第三媒体会话的媒体流通道的参数。
S1413a，第二AR媒体服务器接收第二应用服务器发送的会话创建请求4。会话创建请求4用于请求创建与第二SBC之间的第四媒体会话。
示例性地，会话创建请求4可以是INVITE消息。
可选地，会话创建请求4中可以携带服务指示。示例性地，第二会话创建请求携带第二关联指示。比如，第二关联指示可以通过会话创建请求4的呼叫标识(比如，CallID)来指示。第二关联指示用于关联第三媒体会话和第四媒体会话。
S1414a，第二AR媒体服务器向第二应用服务器发送会话创建响应4。会话创建响应4用于指示第四媒体会话创建成功。示例性地，会话创建响应4中携带第二AR媒体服务器的第二SDP信息。第二AR媒体服务器的第二SDP信息用于描述第二SBC与第二AR媒体服务器之间创建第四媒体会话的媒体流通道的参数。
S1415a，第二应用服务器将呼叫请求3中的第一AR媒体服务器的第二SDP信息替换为第让二AR媒体服务器的第二SDP信息得到呼叫请求4，并发送给S-CSCF2。
S1416a，S-CSCF2将呼叫请求4转发给第二SBC。第二SBC可以根据第二AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为第二AR媒体服务器。
S1417a，第二SBC将呼叫请求4中的第二AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到呼叫请求5，并将呼叫请求5发送给第二终端设备。
S1418a，第二终端设备向第二SBC发送给呼叫响应5，呼叫响应5中可以携带第二终端设备的SDP信息。
S1419a，第二SBC接收到呼叫响应5后，向S-CSCF2发送呼叫响应4，呼叫响应4可以携带第二SBC的SDP信息。
S1410a，S-CSCF2接收到呼叫响应4后，向第二应用服务器转发呼叫响应4。
S1421a，第二应用服务器在接收到呼叫响应4后，向第二AR媒体服务器发送第二SBC的SDP信息。第二AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。
S1422a，第二应用服务器向S-CSCF2发送呼叫响应3。呼叫响应3中可以携带第二AR媒体使能器的第一SDP信息。
S1423a，S-CSCF2向S-CSCF1发送呼叫响应3。
S1424a，S-CSCF1向第一应用服务器发送呼叫响应3。
S1425a，第一应用服务器向第一AR媒体服务器发送第二AR媒体使能器的第一SDP信息。第一AR媒体使能器在接收到第二AR媒体使能器的第一SDP信息后可以确定媒体流隧道的下一跳为第二AR媒体使能器。
S1426a，第一应用服务器向第一SBC发送呼叫响应2，呼叫响应2中携带第一AR媒体服务器的第一SDP信息。
S1427a，第一SBC在接收到呼叫响应2后，向第一终端设备发送呼叫响应1。呼叫响应1中携带第一SBC的第一SDP信息。
示例性地，呼叫响应1-呼叫响应4可以采用183消息类型。
下面针对第二种情况下的AR视频通信流程进行详细说明，参见图15所示。
VoLTE呼叫建立完成，媒体流传输时并未经过AR媒体服务器。第一终端设备与第二终端设备通话过程，可以由第一终端设备或者第二终端设备触发AR媒体增强流程。以下以第一终端设备通过AR控件触发AR媒体增强流程为例。图14A以通话两端对应同一AR媒体服务器或者通话一端部署AR媒体服务器为例。
S1501，第一终端设备上的AR控件触发的AR视频增强请求时，应用服务器接收第一终端设备上的AR控件触发的AR视频增强请求。
S1502，应用服务器向S-CSCF发送AR视频呼叫重请求(re-invite)1。所述AR视频呼叫重请求1用于指示第一种终端设备发起AR视频呼叫。所述AR视频呼叫重请求1可以携带第一终端设备的标识信息，比如第一终端设备的SIP地址或统一资源定位符(UniformResource Locator，URL)。
S1503，S-CSCF将AR视频呼叫重请求1转发给第一SBC。例如，AR视频呼叫重请求可以为Re-INVITE。S-CSCF可以根据第一终端设备的标识信息确定第一终端设备所属的SBC为第一SBC。
S1504，第一SBC向第一终端设备发送AR视频呼叫重请求2。
S1505，第一终端设备向第一SBC发送AR视频呼叫响应2，AR呼叫请求2携带第一终端设备的媒体描述协议(session description protocol，SDP)信息。
S1506，第一SBC在接收到AR视频呼叫响应2后，向S-CSCF发送AR视频呼叫响应1，AR视频呼叫响应1中携带第一SBC的SDP信息。
S1507，S-CSCF在接收到AR视频呼叫响应1后，将AR视频呼叫响应1转发给应用服务器。
其中，AR视频呼叫响应1和AR视频呼叫响应2可以采用200OK消息。
S1508-S1511，参见S1302-S1305，此处不再赘述。
S1512，应用服务器向S-CSCF发送AR视频呼叫重请求3，AR视频呼叫重请求3携带AR媒体服务器的第二SDP信息。
S1513，S-CSCF将AR视频呼叫重请求3转发给第二SBC。第二SBC可以根据AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为AR媒体服务器。
S1514，第二SBC将AR视频呼叫重请求3中的AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到AR视频呼叫重请求4，并AR视频呼叫重请求4发送给第二终端设备。
S1515，第二终端设备向第二SBC发送AR视频呼叫响应4，AR视频呼叫响应4中可以携带第二终端设备的SDP信息。
S1516，第二SBC接收到AR视频呼叫响应4后，向S-CSCF发送AR视频呼叫响应3，AR视频呼叫响应3可以携带第二SBC的SDP信息。
S1517，S-CSCF接收到AR视频呼叫响应3后，向应用服务器转发AR视频呼叫响应3。
S1518，应用服务器在接收到AR视频呼叫响应3后，向AR媒体服务器发送第二SBC的SDP信息。AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。
示例性地，AR视频呼叫响应3和AR视频呼叫响应4可以采用200OK消息。
S1519，应用服务器向S-CSCF发送AR视频呼叫确认1。AR视频呼叫确认1中可以携带AR媒体服务器的第二SDP信息。
S1520，S-CSCF将AR视频呼叫确认1转发给第一SBC。
S1521，第一SBC在接收到AR视频呼叫确认1后，向第一终端设备发送AR视频呼叫确认2。AR视频呼叫确认2中携带第一SBC的SDP信息。
示例性地，AR视频呼叫确认1和AR视频呼叫确认2可以采用确认(ACK)消息。
在一种可能的实现方式中，第一终端设备上部署AR控件，在步骤S1501，第一终端设备上的AR控件触发的AR视频增强请求时，可以通过如下流程实现，参见图16所示。
第一终端设备触发AR视频增强流程时，启动AR控件，比如第一终端设备可以通过呼叫广播事件拉起AR控件。AR控件的用户界面可以作为悬浮窗口叠加在通话界面之上，比如参见图4所示。
S1601，AR控件的用户界面可以包括AR增强启动按钮，AR控件接收到用户对启动按钮的第一操作，触发AR视频增强请求。AR控件与应用服务器中的媒体插件服务功能通过UX或者UI接口建立有通信连接。
S1602，AR控件将AR视频增强请求发送给媒体插件服务功能。
S1603，媒体插件服务功能将AR视频增强请求发送给应用服务功能。
S1604，应用服务功能触发AR视频增强流程。比如执行S1502。
下面针对本申请实施例中终端设备与AR媒体服务器之间建立辅助媒体通道的流程进行详细说明。参见图17所示，第一终端设备与第二终端设备已经建立AR视频增强通话流程，以第一终端设备与AR媒体服务器之间建立辅助媒体通道的流程进行说明。
S1701，第一终端设备的AR控件在确定需要传输辅助媒体流时，发起辅助传输通道的建立请求。比如，用户通过AR控件触发打开用于获取点云数据的深度摄像头，则确定需要传输辅助媒体流。再比如，通过AR控件触发打开用于生成AR空间数据的应用，则确定需要传输辅助媒体流。
S1702，AR控件向应用服务器中的媒体插件服务功能发送建立请求，携带所述第一终端设备上用于发送辅助媒体流的地址。
S1703，媒体插件服务功能将建立请求发送给所述应用服务功能。
S1704，应用服务功能将建立请求发送给AR媒体服务器。
S1705，AR媒体服务器向应用服务功能发送建立响应。建立响应中可以携带AR媒体服务器上用于接收辅助媒体流的地址。
S1706，应用服务功能将建立响应发送给媒体插件服务功能。
S1707，媒体插件服务功能将建立响应转发给第一终端设备的AR控件。进而AR控件与AR媒体服务器之间的辅助传输通道建立完成。辅助传输通道的首端为AR控件，辅助传输通道的尾端为AR媒体服务器。进而AR控件获取辅助媒体流，根据第一终端设备上用于发送辅助媒体流的地址和AR媒体服务器上用于接收辅助媒体流的地址向AR媒体服务器发送辅助媒体流。
应理解，说明书通篇中提到的“一个实施例”、“一个实现方式”、“一个实施方式”或“一示例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”、“一个实现方式”、“一个实施方式”或“在一示例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
另外，本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本申请涉及的术语“至少一个”，是指一个，或一个以上，即包括一个、两个、三个及以上；“多个”，是指两个，或两个以上，即包括两个、三个及以上。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。此外，本申请实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块。
可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其它通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，DVD；还可以是半导体介质，例如，固态硬盘(solid state disk，SSD)。
在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

Claims (21)

1.一种增强现实***，其特征在于，包括第一增强现实AR媒体服务器、第一会话边界控制器SBC；
第一SBC，用于接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给所述第一AR媒体服务器；
所述第一AR媒体服务器，用于对接收到的第一媒体流进行媒体增强处理。
2.如权利要求1所述的***，其特征在于，所述***还包括：
应用服务器，用于接收来自第一终端设备的AR界面操作指示，并将所述操作指示发送给所述第一AR媒体服务器；
所述第一AR媒体服务器，具体用于根据所述AR界面操作指示对接收到的所述第一媒体流进行媒体增强处理。
3.如权利要求2所述的***，其特征在于，所述应用服务器部署于所述***中的中心节点。
4.如权利要求2或3所述的***，其特征在于，所述第一AR媒体服务器与第一终端设备之间建立有辅助传输通道；
所述第一AR媒体服务器，还用于通过辅助传输通道接收来自第一终端设备的辅助媒体流，对所述辅助媒体流和所述第一媒体流进行媒体增强处理。
5.如权利要求4所述的***，其特征在于，所述辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。
6.如权利要求2-5任一项所述的***，其特征在于：
所述应用服务器，还用于向所述AR媒体服务器发送虚拟模型；
所述AR媒体服务器，还用于对所述虚拟模型以及所述第一媒体流进行媒体增强处理。
7.如权利要求1-6任一项所述的***，其特征在于，还包括第二SBC，所述第一SBC部署于所述***中的第二边缘节点，所述第二SBC用于管理所述第二终端设备；
所述第二SBC，还用于接收来自第二终端设备的第二媒体流，并将所述第二媒体流发送给所述第一AR媒体服务器；
所述第一AR媒体服务器，还用于接收所述第二媒体流，并对所述第一媒体流和所述第二媒体流进行媒体增强处理。
8.如权利要求1-6任一项所述的***，其特征在于，所述***还包括第二SBC，所述第二SBC部署于所述***中的第二边缘节点，所述第二SBC用于管理所述第二终端设备；
所述第一AR媒体服务器，还用于将经过媒体增强处理后的媒体流发送给所述第二SBC；
所述第二SBC，用于将来自第一AR媒体服务器的媒体流发送给所述第二终端设备。
9.如权利要求1-8任一项所述的***，其特征在于，所述第一SBC与所述第一AR媒体服务器部署于所述***中的第一边缘节点。
10.如权利要求1-8任一项所述的***，其特征在于，所述第一SBC部署于所述***中的第一边缘节点，所述第一AR媒体服务器部署于所述***中的中心节点。
11.如权利要求1-6任一项所述的***，其特征在于，所述***中还部署第二AR媒体服务器和第二SBC；所述第一SBC与所述第一AR媒体服务器部署于所述***中的第一边缘节点，所述第二SBC与所述第二AR媒体服务器部署于所述***中的第二边缘节点；
第二SBC，用于接收来自第二终端设备的第二媒体流，并将接收到的第二媒体流发送给所述第二AR媒体服务器；
所述第二AR媒体服务器，用于对接收到的第二媒体流进行媒体增强处理。
12.如权利要求1-11任一项所述的***，其特征在于：
所述第一AR媒体服务器，还用于将媒体增强处理后的第一媒体流发送给第二终端设备对应的第二SBC。
13.一种基于增强现实的通信方法，其特征在于，所述方法包括：
第一SBC接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给第一增强现实AR媒体服务器；
第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理。
14.如权利要求13所述的方法，其特征在于，所述AR通信***还包括应用服务器，所述方法还包括：
所述应用服务器接收来自第一终端设备的AR界面操作指示，并将所述操作指示发送给所述第一AR媒体服务器；
第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：
所述第一AR媒体服务器根据所述AR界面操作指示对接收到的所述第一媒体流进行媒体增强处理。
15.如权利要求13或14所述的方法，其特征在于，第一AR媒体服务器与第一终端设备之间建立有辅助传输通道，所述方法还包括：
所述第一AR媒体服务器通过辅助传输通道接收来自第一终端设备的辅助媒体流；
第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：
所述第一AR媒体服务器对所述辅助媒体流和所述第一媒体流进行媒体增强处理。
16.如权利要求15所述的方法，其特征在于，所述辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。
17.如权利要求14-16任一项所述的方法，其特征在于，所述方法还包括：
所述应用服务器向所述AR媒体服务器发送虚拟模型；
第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：
所述第一AR媒体服务器对所述虚拟模型以及所述第一媒体流进行媒体增强处理。
18.如权利要求13-17任一项所述的方法，其特征在于，所述AR通信***还包括第二SBC，所述第二SBC用于管理所述第二终端设备，所述方法还包括：
第二SBC接收来自所述第二SBC所管理的第二终端设备的第二媒体流，并将所述第二媒体流发送给所述第一AR媒体服务器；
所述第一AR媒体服务器，还用于接收所述第二媒体流；
第一AR媒体服务器对接收到的第一媒体流进行媒体增强处理，包括：
第一AR媒体服务器对所述第一媒体流和所述第二媒体流进行媒体增强处理。
19.如权利要求13-17任一项所述的方法，其特征在于，所述AR通信***还包括第二SBC，所述第二SBC用于管理所述第二终端设备，所述方法还包括：
所述第一AR媒体服务器将经过媒体增强处理后的媒体流发送给所述第二SBC；
所述第二SBC将来自第一AR媒体服务器的媒体流发送给所述第二终端设备。
20.如权利要求13-17任一项所述的方法，其特征在于，所述***中还部署第二AR媒体服务器和第二SBC；
所述第二SBC接收来自第二终端设备的第二媒体流，并将接收到的第二媒体流发送给所述第二AR媒体服务器；
所述第二AR媒体服务器对接收到的第二媒体流进行媒体增强处理。
21.如权利要求13-20任一项所述的方法，其特征在于，还包括：
所述第一AR媒体服务器将媒体增强处理后的第一媒体流发送给第二终端设备对应的第二SBC。
CN201911089878.6A 2019-11-08 2019-11-08 一种增强现实ar通信***及基于ar的通信方法 Active CN112788273B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911089878.6A CN112788273B (zh) 2019-11-08 2019-11-08 一种增强现实ar通信***及基于ar的通信方法
PCT/CN2020/124168 WO2021088691A1 (zh) 2019-11-08 2020-10-27 一种增强现实ar通信***及基于ar的通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911089878.6A CN112788273B (zh) 2019-11-08 2019-11-08 一种增强现实ar通信***及基于ar的通信方法

Publications (2)

Publication Number Publication Date
CN112788273A true CN112788273A (zh) 2021-05-11
CN112788273B CN112788273B (zh) 2022-12-02

Family

ID=75748546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911089878.6A Active CN112788273B (zh) 2019-11-08 2019-11-08 一种增强现实ar通信***及基于ar的通信方法

Country Status (2)

Country Link
CN (1) CN112788273B (zh)
WO (1) WO2021088691A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542714A (zh) * 2021-07-02 2021-10-22 恒大新能源汽车投资控股集团有限公司 远程交互通信***及装置
WO2023124618A1 (zh) * 2021-12-28 2023-07-06 中兴通讯股份有限公司 服务管理方法及其装置、***、电子设备、存储介质
WO2023151431A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种通信方法、装置及通信***
WO2024050744A1 (en) * 2022-09-08 2024-03-14 Zte Corporation Systems and methods for augmented reality communication based on data channel

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136529A (ko) * 2010-06-15 2011-12-21 주식회사 엘지유플러스 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN206323408U (zh) * 2017-01-14 2017-07-11 国家电网公司 一种基于ims的融合视频通信***
CN109740476A (zh) * 2018-12-25 2019-05-10 北京琳云信息科技有限责任公司 即时通讯方法、装置和服务器
CN110266992A (zh) * 2019-06-24 2019-09-20 苏芯物联技术(南京)有限公司 一种基于增强现实的远程视频交互***以及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101118010B1 (ko) * 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
CN105933637A (zh) * 2016-04-26 2016-09-07 上海与德通讯技术有限公司 一种视频通信的方法及***
CN108377355A (zh) * 2016-11-28 2018-08-07 中兴通讯股份有限公司 一种视频数据处理方法、装置及设备
CN108377398B (zh) * 2018-04-23 2020-04-03 太平洋未来科技（深圳）有限公司 基于红外的ar成像方法、***、及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136529A (ko) * 2010-06-15 2011-12-21 주식회사 엘지유플러스 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법
CN206323408U (zh) * 2017-01-14 2017-07-11 国家电网公司 一种基于ims的融合视频通信***
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN109740476A (zh) * 2018-12-25 2019-05-10 北京琳云信息科技有限责任公司 即时通讯方法、装置和服务器
CN110266992A (zh) * 2019-06-24 2019-09-20 苏芯物联技术(南京)有限公司 一种基于增强现实的远程视频交互***以及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542714A (zh) * 2021-07-02 2021-10-22 恒大新能源汽车投资控股集团有限公司 远程交互通信***及装置
WO2023124618A1 (zh) * 2021-12-28 2023-07-06 中兴通讯股份有限公司 服务管理方法及其装置、***、电子设备、存储介质
WO2023151431A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种通信方法、装置及通信***
WO2024050744A1 (en) * 2022-09-08 2024-03-14 Zte Corporation Systems and methods for augmented reality communication based on data channel

Also Published As

Publication number Publication date
CN112788273B (zh) 2022-12-02
WO2021088691A1 (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112788273B (zh) 一种增强现实ar通信***及基于ar的通信方法
WO2021088690A1 (zh) 一种基于增强现实的通信方法及装置
US9282287B1 (en) Real-time video transformations in video conferences
CN113965811B (zh) 播放控制方法和装置、存储介质及电子装置
RU2611041C2 (ru) Способы и системы для совместной конференцсвязи и совместного использования программного приложения
US8310520B2 (en) Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information
US8849900B2 (en) Method and system supporting mobile coalitions
WO2021185302A1 (zh) 基于云手机的直播和配置方法以及相关装置和***
CN111385632B (zh) 多媒体互动方法、装置、设备和介质
CN109743335A (zh) 交互***、服务器、客户端和交互方法
WO2021104181A1 (zh) 一种基于增强现实的通信方法及装置
WO2010003332A1 (zh) 视频会议实现方法、设备及***
EP3776480A1 (en) Method and apparatus for generating augmented reality images
EP2868095B1 (en) Collaboration environments and views
CN112533053B (zh) 直播互动方法、装置、电子设备及存储介质
CN116758201B (zh) 三维场景的渲染处理方法、设备、***及计算机存储介质
JP6309004B2 (ja) ビデオ会議環境のためのビデオ表示変更
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
US20220116677A1 (en) Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment
CN106575423A (zh) 用于基于云端流媒体的广播关联服务的***、用于广播关联服务的客户端设备、触发器内容提供服务器及其使用方法
WO2022022580A1 (zh) 一种网络直播互动方法及设备
CN115941876A (zh) 音视频会议实现方法、装置、存储介质及计算机设备
CN114189488B (zh) 一种消息共享方法及服务器
CN117729188B (zh) 一种基于WebRTC的水务视频采集***及方法
WO2023011296A1 (zh) 交互方法、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240715

Address after: No. 127, Jinye Road, high tech Zone, Xi'an, Shaanxi 710075

Patentee after: Huawei Technologies Co.,Ltd, Xi'an

Country or region after: China

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

Country or region before: China