CN114710472A - 一种ar视频通话的处理方法、装置及通信设备 - Google Patents

Abstract

本发明实施例公开了一种增强现实(AR)视频通话的处理方法、装置及通信设备。所述方法包括：网络设备经核心网设备接收来自终端的视频数据；所述终端为已建立长期演进语音承载(VoLTE)视频连接的两个终端中的任一终端；所述网络设备在所述视频数据上添加AR数据，生成AR视频数据，分别发送所述AR视频数据至所述两个终端。

Description

一种AR视频通话的处理方法、装置及通信设备

技术领域

本发明涉及增强现实(AR，Augmented Reality)技术领域，具体涉及一种AR视频通话的处理方法、装置及通信设备。

背景技术

目前，很多AR视频通话能力依赖终端设备实现，例如，手机解析通过摄像头等捕获的原始视频内容，增加AR元素，再将AR元素与原始视频内容整合，将整合后的视频加载到视频通话的媒体通道。

这种AR视频通话方式，运营商仅需提供承载通道，而并非提供AR视频服务，无法获得除流量以外的其他收入，不利于从通道提供者向服务提供者转变。另外，目前的AR视频通话方案均是基于IP的语音传输(VoIP，Voice over Internet Protocol)进行的，尚不具有与长期演进语音承载(VoLTE，Voice over Long-Term Evolution)相结合的AR视频通话方案。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种AR视频通话的处理方法、装置及通信设备。

为达到上述目的，本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供了一种AR视频通话的处理方法，所述方法包括：

网络设备经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；

所述网络设备在所述视频数据上添加AR数据，生成AR视频数据，分别发送所述AR视频数据至所述两个终端。

上述方案中，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：

所述网络设备与所述核心网设备进行信息交互，交互的信息用于所述核心网设备配置初始过滤规则(iFC，initial Filter Criteria)信息，所述iFC信息用于触发所述网络设备执行AR视频业务功能。

上述方案中于，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：

所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，所述能力信息表征所述任一终端支持AR功能的相关参数。

上述方案中，所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，包括：

所述网络设备通过会话发起协议(SIP，Session Initiation Protocol)消息、经所述核心网设备接收所述两个终端中的任一终端的能力信息；其中，所述SIP消息用于建立所述两个终端之间的VoLTE视频连接。

上述方案中，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：网络设备经所述核心网设备接收来自第一终端的AR数据；所述第一终端为所述两个终端中的任一终端。

上述方案中，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：所述网络设备经所述核心网设备接收来自第一终端的第一信息，所述网络设备中存储有多个信息与AR数据的映射关系；所述第一终端为所述两个终端中的任一终端；

所述网络设备确定所述第一信息对应的AR数据。

上述方案中，所述方法包括：所述网络设备经所述核心网设备接收来自终端的第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

第二方面，本发明实施例还提供了一种增强现实AR视频通话的处理方法，所述方法包括：

第一终端发送视频数据以及接收来自第二终端的视频数据；所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送；

所述第一终端接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成。

上述方案中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送能力信息，所述能力信息表征所述第一终端支持AR功能的相关参数。

上述方案中，所述第一终端经所述核心网设备向所述网络设备发送能力信息，包括：所述第一终端通过SIP消息、经所述核心网设备发送所述第一终端的能力信息；其中，所述SIP消息用于建立所述第一终端和所述第二终端之间的VoLTE视频连接。

上述方案中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送AR数据。

上述方案中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送第一信息，所述第一信息用于指示对应的AR数据。

上述方案中，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

第三方面，本发明实施例还提供了一种AR视频通话的处理装置，所述装置包括：第一通讯单元和数据处理单元；其中，

所述第一通讯单元，用于经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；

所述数据处理单元，用于在所述视频数据上添加AR数据，生成AR视频数据；

所述第一通讯单元，还用于分别发送所述数据处理单元生成的所述AR视频数据至所述两个终端。

上述方案中，所述第一通讯单元，还用于经核心网设备接收来自终端的视频数据之前，与所述核心网设备进行信息交互，交互的信息用于所述核心网设备配置iFC信息，所述iFC信息用于触发所述网络设备执行AR视频业务功能。

上述方案中，所述第一通讯单元，还用于经核心网设备接收来自终端的视频数据之前，经所述核心网设备接收所述两个终端中的任一终端的能力信息，所述能力信息表征所述任一终端支持AR功能的相关参数。

上述方案中，所述第一通讯单元，用于通过SIP消息、经所述核心网设备接收所述两个终端中的任一终端的能力信息；其中，所述SIP消息用于建立所述两个终端之间的VoLTE视频连接。

上述方案中，所述第一通讯单元，还用于所述数据处理单元在所述视频数据上添加AR数据之前，经所述核心网设备接收来自第一终端的AR数据；所述第一终端为所述两个终端中的任一终端。

上述方案中，所述装置还包括存储单元；

所述第一通讯单元，还用于所述数据处理单元在所述视频数据上添加AR数据之前，经所述核心网设备接收来自第一终端的第一信息，

所述存储单元，用于存储多个信息与AR数据的映射关系；

所述数据处理单元，用于确定所述第一信息对应的AR数据，在所述视频数据上添加AR数据，生成AR视频数据。

上述方案中，所述第一通讯单元，还用于经所述核心网设备接收来自终端的第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

第四方面，本发明实施例还提供了一种AR视频通话的处理装置，所述装置包括：第一发送单元和第一接收单元；其中，

所述第一发送单元，用于发送视频数据；

所述第一接收单元，用于接收来自第二终端的视频数据；还用于接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成；

其中，所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送。

上述方案中，所述第一接收单元，还用于接收来自所述网络设备的AR视频数据之前，经所述核心网设备向所述网络设备发送能力信息，所述能力信息表征所述第一终端支持AR功能的相关参数。

上述方案中，所述第一发送单元，还用于通过SIP消息、经所述核心网设备发送所述第一终端的能力信息；其中，所述SIP消息用于建立所述第一终端和所述第二终端之间的VoLTE视频连接。

上述方案中，所述第一发送单元，还用于经所述核心网设备向所述网络设备发送AR数据。

上述方案中，所述第一发送单元，还用于经所述核心网设备向所述网络设备发送第一信息，所述第一信息用于指示对应的AR数据。

上述方案中，所述第一发送单元，还用于经所述核心网设备向所述网络设备发送第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例第一方面所述方法的步骤；或者，该程序被处理器执行时实现本发明实施例第二方面所述方法的步骤。

第六方面，本发明实施例还提供了一种通信设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例第一方面所述方法的步骤；或者，所述处理器执行所述程序时实现本发明实施例第二方面所述方法的步骤。

本发明实施例提供的AR视频通话的处理方法、装置及通信设备，所述方法包括：网络设备经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；所述网络设备在所述视频数据上添加AR数据，生成AR视频数据，分别发送所述AR视频数据至所述两个终端。采用本发明实施例的技术方案，基于VoLTE实现了AR视频通话，即实现在VoLTE视频通话时使用AR功能；并且将AR功能与运营商的VoLTE视频通话业务相结合，运营商从通道提供者转变为服务提供者，运营商可获得除流量以外的其他业务收入。

附图说明

图1为本发明实施例的AR视频通话的处理***的组成结构示意图；

图2为本发明实施例的AR视频通话的处理方法的流程示意图一；

图3为本发明实施例的AR视频通话的处理方法的流程示意图二；

图4为本发明实施例的AR视频通话的处理方法的交互流程示意图；

图5为本发明实施例的AR视频通话的处理装置的组成结构示意图一；

图6为本发明实施例的AR视频通话的处理装置的组成结构示意图二；

图7为本发明实施例的通信设备的硬件结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

图1为本发明实施例的AR视频通话的处理***的组成结构示意图；如图1所示，***可包括：能够进行视频通话的终端、IP多媒体子***(IMS，IP Multimedia Subsystem)核心网以及网络设备；所述网络设备为能够执行AR功能的设备，例如能够在视频数据中添加AR数据从而生成AR视频数据。示例性的，所述网络设备可以是多媒体电话(MMTEL，MultiMedia Telephony)/AR平台。当然，本实施例中的网络设备也可以是能够实现上述功能的其他网络设备。需要说明的是，图1中仅以两个终端(终端A和终端B)为例进行说明，不限于两个终端。另外，终端与IMS核心网之间，还包括例如基站的接入网，图中没有示出。

可选地，***中的核心网不限于是IMS核心网，也可以是其他通信***或通信网络的核心网。

本实施例中，如图1所示，终端A与终端B之间可通过接入网、IMS核心网进行视频通话。在需要完成AR视频业务功能时，网络设备可通过核心网设备分别获得终端A和终端B的视频数据在终端A和/或终端B的视频数据中添加AR数据，生成AR视频数据，再分别将AR视频数据通过核心网设备发送给终端A和终端B，从而基于VoLTE实现AR视频业务。

基于上述***示例，提出本发明以下各实施例。

本发明实施例提供了一种AR视频通话的处理方法，所述方法应用于网络设备。图2为本发明实施例提供的AR视频通话的处理方法的流程示意图一；如图2所示，所述方法包括：

步骤101：网络设备经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；

步骤102：所述网络设备在所述视频数据上添加AR数据，生成AR视频数据，分别发送所述AR视频数据至所述两个终端。

本实施例中，在两个终端已建立VoLTE视频连接的情况下，网络设备可通过核心网设备获得各终端的视频数据，该视频数据为原始视频数据，示例性的，该视频数据是终端的图像采集组件实时采集到的图像数据。

其中，网络设备经核心网设备接收来自终端的视频数据，可以是已建立VoLTE视频连接的两个终端中的一个终端的视频数据，也可以是两个终端各自的视频数据。示例性的，若需要在某个终端的视频数据上添加AR数据，则网络设备可通过核心网设备获得该终端的视频数据。若需要在两个终端的视频数据上均需要添加AR数据，则网络设备可通过核心网设备获得两个终端各自的视频数据。

本实施例中，网络设备可根据需求在两个终端中的至少一个终端的视频数据中添加AR数据，从而生成AR视频数据，再将AR视频数据分别通过核心网设备发送给终端。

则网络设备具体如何确定添加的AR数据，在一种实施方式中，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：网络设备经所述核心网设备接收来自第一终端的AR数据；所述第一终端为所述两个终端中的任一终端。在另一种实施方式中，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：所述网络设备经所述核心网设备接收来自第一终端的第一信息，所述网络设备中存储有多个信息与AR数据的映射关系；所述第一终端为所述两个终端中的任一终端；所述网络设备确定所述第一信息对应的AR数据。

本实施例中，作为第一种实施方式，网络设备可通过核心网设备接收来自第一终端的AR数据。示例性的，第一终端中预先存储有多个AR数据，用户可通过操作自行选择待添加的AR数据，确定AR数据后，第一终端可通过核心网设备将AR数据发送至网络设备。作为第二种实施方式，网络设备中预先存储有多个AR数据，第一终端可通过交互界面显示AR数据的图例、图样或模板；用户可通过操作选择待添加的AR数据的图例、图样或模板，确定AR数据的图例、图样或模板后，第一终端可通过核心网设备将AR数据对应的第一信息发送至网络设备，所述第一信息可以是AR数据对应的标识或序号；网络设备可根据第一信息在存储的数据中查找，确定第一信息对应的AR数据。这种方式无需受限终端本身的能力，AR数据的升级和扩展仅在网络设备上进行升级扩展即可，无需针对各终端的能力以及AR数据进行扩展，扩展性灵活。

本实施例中，网络设备可通过SIP消息、经核心网设备接收上述AR数据或第一信息；或者，网络设备也可通过新数据通道、经核心网设备接收上述AR数据或第一信息，上述新数据通道与视频数据所在的视频通道同步。

可选地，第一终端可通过核心网设备向网络设备发送第一请求，所述第一请求用于在视频数据中添加AR数据；所述第一请求中可包括上述AR数据或第一信息。示例性的，所述第一请求和通过SIP消息(SIP MESSAGE)或SIP INF0消息承载。

本实施例中，网络设备可基于终端的指示，在本端的视频数据上添加AR数据，或者在对端的视频数据上添加AR数据。可选地，上述第一请求中除可包括上述AR数据或第一信息之外，还可包括对应于本端视频数据或是对端视频数据的指示信息。示例性的，第一请求中的某个指示位可用于指示本端视频数据或是对端视频数据。

可选地，上述第一请求中除可包括上述AR数据或第一信息以及对应于本端视频数据或是对端视频数据的指示信息之外，还可包括在视频数据中添加AR数据的位置信息，以便于网络设备可基于指示的位置信息，在视频数据的相应位置处添加AR数据。

在本发明的一些可选实施例中，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：所述网络设备与所述核心网设备进行信息交互，交互的信息用于所述核心网设备配置iFC信息，所述iFC信息用于触发所述网络设备执行AR视频业务功能。

本实施例中，网络设备在执行上述如步骤101至步骤102的AR视频通话的处理方法之前，首先需要与核心网设备进行信息交互，在核心网设备配置iFC信息，配置的iFC信息用于触发所述网络设备执行AR视频业务功能，可以认为，配置iFC信息后，核心网设备可以触发接入网络设备，例如触发接入MMTEL/AR平台，或者触发MMTEL服务器支持AR视频业务功能，以使网络设备执行AR视频业务功能。示例性的，核心网设备接收到例如上述第一请求后，触发将第一请求发送至网络设备，以及触发将两个终端的视频数据发送至网络设备，由网络设备在视频数据上添加AR数据，从而生成AR视频数据。

在本发明的一些可选实施例中，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，所述能力信息表征所述任一终端支持AR功能的相关参数。

本实施例中，网络设备在执行上述如步骤101至步骤102的AR视频通话的处理方法之前，需要获知终端的能力信息，即网络设备与终端进行能力协商。

可选地，所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，包括：所述网络设备通过SIP消息、经所述核心网设备接收所述两个终端中的任一终端的能力信息；其中，所述SIP消息用于建立所述两个终端之间的VoLTE视频连接。

示例性的，两个终端按照IMS协议建立视频通话的过程中，第一终端可在SIPINVITE消息的消息头中添加上述能力信息，以使核心网设备和网络设备获知该第一终端支持AR功能以及支持的AR功能的相关参数。可选地，上述能力信息可包括终端支持AR功能的信息；进一步地，上述能力信息还可包括支持AR功能的相关参数信息。一个示例中，可通过SIP消息(消息头)中的一个特定比特位指示终端是否支持AR功能，例如“1”表示支持AR功能，“0”表示不支持AR功能等等。又一个示例中，还可通过SIP中的某些字段指示终端支持AR功能的相关参数信息，其中，所述相关参数信息可包括支持的AR数据通道、支持的AR数据格式等等。当然，本发明实施例中的相关参数信息不限于上述示例。

在本发明的一些可选实施例中，所述方法包括：所述网络设备经所述核心网设备接收来自终端的第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

本实施例中，终端可通过第一指令指示网络设备启动或终止发送AR视频数据，或者通过第一指令重新生成AR视频数据。示例性的，终端可通过SIP消息或双音多频(DTMF，Dual Tone Multi Frequency)信号发送第一指令。

基于前述实施例，本发明实施例还提供了一种AR视频通话的处理方法，所述方法应用于终端。图3为本发明实施例提供的AR视频通话的处理方法的流程示意图二；如图3所示，所述方法包括：

步骤201：第一终端发送视频数据以及接收来自第二终端的视频数据；所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送；

步骤202：所述第一终端接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成。

本实施例中，第一终端在与第二终端建立VoLTE视频连接的情况下。第一终端向第二终端发送视频数据，同时，第二终端向第一终端发送视频数据；在视频数据的发送过程中，核心网设备可接收到两个终端的视频数据，将两个终端中任一终端的视频数据发送至网络设备。其中，示例性的，若需要在某个终端的视频数据上添加AR数据，则网络设备可通过核心网设备获得该终端的视频数据。若需要在两个终端的视频数据上均需要添加AR数据，则网络设备可通过核心网设备获得两个终端各自的视频数据。

本实施例中，网络设备可根据需求在两个终端中的至少一个终端的视频数据中添加AR数据，从而生成AR视频数据，再将AR视频数据分别通过核心网设备发送给终端，也即第一终端可通过核心网设备接收到来自网络设备发送的AR视频数据。

本实施例中，第一终端(即已建立VoLTE视频连接的两个终端中的任一终端)可根据用户需求，触发AR功能，也即第一终端触发在视频数据中添加AR数据。则在一种实施方式中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送AR数据。在另一种实施方式中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送第一信息，所述第一信息用于指示对应的AR数据。

本实施例中，作为第一种实施方式，第一终端中预先存储有多个AR数据，用户可通过操作自行选择待添加的AR数据，确定AR数据后，第一终端可通过核心网设备将AR数据发送至网络设备。作为第二种实施方式，网络设备中预先存储有多个AR数据，第一终端可通过交互界面显示AR数据的图例、图样或模板；用户可通过操作选择待添加的AR数据的图例、图样或模板，确定AR数据的图例、图样或模板后，第一终端可通过核心网设备将AR数据对应的第一信息发送至网络设备，所述第一信息可以是AR数据对应的标识或序号；网络设备可根据第一信息在存储的数据中查找，确定第一信息对应的AR数据。这种方式无需受限终端本身的能力，AR数据的升级和扩展仅在网络设备上进行升级扩展即可，无需针对各终端的能力以及AR数据进行扩展，扩展性灵活。

本实施例中，第一终端可通过SIP协议、经核心网设备发送上述AR数据或第一信息；或者，第一终端也可通过新数据通道、经核心网设备发送上述AR数据或第一信息，上述新数据通道与视频数据所在的视频通道同步。

可选地，第一终端可通过核心网设备向网络设备发送第一请求，所述第一请求用于在视频数据中添加AR数据；所述第一请求中可包括上述AR数据或第一信息。示例性的，所述第一请求和通过SIP消息(SIP MESSAGE)或SIP INF0消息承载。

本实施例中，网络设备可基于终端的指示，在本端的视频数据上添加AR数据，或者在对端的视频数据上添加AR数据。可选地，上述第一请求中除可包括上述AR数据或第一信息之外，还可包括对应于本端视频数据或是对端视频数据的指示信息。示例性的，第一请求中的某个指示位可用于指示本端视频数据或是对端视频数据。

可选地，上述第一请求中除可包括上述AR数据或第一信息以及对应于本端视频数据或是对端视频数据的指示信息之外，还可包括在视频数据中添加AR数据的位置信息，以便于网络设备可基于指示的位置信息，在视频数据的相应位置处添加AR数据。

在本发明的一些可选实施例中，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送能力信息，所述能力信息表征所述第一终端支持AR功能的相关参数。

本实施例中，第一终端在执行上述如步骤201至步骤202的AR视频通话的处理方法之前，需要与网络设备进行能力协商，以告知网络设备、第一终端是否支持AR功能。

可选地，所述第一终端经所述核心网设备向所述网络设备发送能力信息，包括：所述第一终端通过SIP消息、经所述核心网设备发送所述第一终端的能力信息；其中，所述SIP消息用于建立所述第一终端和所述第二终端之间的VoLTE视频连接。

示例性的，两个终端按照IMS协议建立视频通话的过程中，第一终端可在SIPINVITE消息的消息头中添加上述能力信息，以使核心网设备和网络设备获知该第一终端支持AR功能以及支持的AR功能的相关参数。可选地，上述能力信息可包括终端支持AR功能的信息；进一步地，上述能力信息还可包括支持AR功能的相关参数信息。一个示例中，可通过SIP消息(消息头)中的一个特定比特位指示终端是否支持AR功能，例如“1”表示支持AR功能，“0”表示不支持AR功能等等。又一个示例中，还可通过SIP中的某些字段指示终端支持AR功能的相关参数信息，其中，所述相关参数信息可包括支持的AR数据通道、支持的AR数据格式等等。当然，本发明实施例中的相关参数信息不限于上述示例。

在本发明的一些可选实施例中，所述方法还包括：所述第一终端经所述核心网设备向所述网络设备发送第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

本实施例中，终端可通过第一指令指示网络设备启动或终止发送AR视频数据，或者通过第一指令重新生成AR视频数据。示例性的，终端可通过SIP消息或DTMF信号发送第一指令。

下面结合一个具体的示例对本发明实施例的AR视频通话的处理方法进行说明。本示例中，以网络设备为MMTEL/AR平台为例进行说明。

图4为本发明实施例的AR视频通话的处理方法的交互流程示意图；如图4所示，所述方法包括：

步骤300：MMTEL/AR平台与IMS核心网进行信息交互，交互的信息用于IMS核心网配置iFC信息，所述iFC信息用于触发所述MMTEL/AR平台执行AR视频业务功能。

步骤301：终端A与终端B建立VoLTE视频连接，在VoLTE视频连接建立过程中，两个终端与MMTEL/AR平台进行能力协商。

步骤302：终端B需要在终端A的原始视频数据上添加AR数据，则MMTEL/AR平台接收终端A发送的原始视频数据和终端B待添加的AR数据。

其中，一种实施方式是，终端B可直接将AR数据通过核心网设备发送至MMTEL/AR平台，终端B中预先存储有多个AR数据，用户可通过操作选择待添加的AR数据。另一种实施方式是，终端B也可将AR数据对应的第一信息通过核心网设备发送至MMTEL/AR平台，MMTEL/AR平台中存储有多个AR数据；终端B可通过交互界面显示MMTEL/AR平台中存储的AR数据对应的图例、图样或模板，用户可通过操作选择待添加的AR数据对应的图例、图样或模板，再通过核心网设备将选择的图例、图样或模板(即第一信息)发送至MMTEL/AR平台。

其中，上述AR数据或第一信息可通过SIP消息传输，也可通过新数据通道进行传输。

步骤303：MMTEL/AR平台在原始视频数据上添加AR数据，生成AR视频数据。

步骤304：MMTEL/AR平台将AR视频数据发送给终端A，终端A可呈现本端发出的原始视频数据和AR视频数据。

步骤305：MMTEL/AR平台将AR视频数据回送给终端B，以便终端B的用户检查AR效果，这里，终端B同时呈现对端(即终端A)发出的原始视频数据和AR视频数据；可选地，终端B也可呈现本端的视频数据。

本实施例中，MMTEL/AR平台可通过超文本传输协议(HTTP，Hyper Text TransferProtocol)或新数据通道将AR视频数据发送给终端A或终端B。

可选地，MMTEL/AR平台在将AR视频数据发送给终端A之前，可先向终端A发送通知消息，该通知消息用于通知AR视频数据已准备完成；MMTEL/AR平台在将AR视频数据发送给终端B之前，可先向终端B发送通知消息，该通知消息用于通知AR视频数据已准备完成。

可选地，还包括步骤306：终端B可以通过SIP消息或DTMF信令对MMTEL/AR平台发送第一指令，该第一指令可以启动或停止MMTEL/AR平台发往终端A的AR视频数据，或者停止将AR视频数据回送给终端B，或者用户B对AR效果不满意，请MMTEL/AR平台重新生成AR视频数据。

本发明实施例的AR视频通话的处理方法适用于丰富视频通话的各种场景，例如远程医疗、远程教育、远程设备控制等场景。

例如，用户A和用户B分别通过终端A和终端B进行视频通话，用户B想要通过图像指导用户A在图像中的哪个位置进行某种处理。为了更明确该位置，则用户B希望在终端A的原始视频数据中添加AR数据，则终端B可在SIP消息中，一方面指示在终端A(也即对端设备)的视频数据中添加AR数据，另一方面也可通过SIP消息携带AR数据或者AR数据对应的标识等，这样，MMTEL/AR平台可基于上述信息，一方面获得终端A的视频数据，另一方面获得终端B发送的AR数据或者AR数据对应的标识，将AR数据添加至终端A的视频数据中，生成AR视频数据，再分别将AR视频数据发送至终端A和终端B，从而使得用户A可基于AR视频数据明确用户B所指的位置，从而实现远程控制。

本发明实施例还提供了一种AR视频通话的处理装置。图5为本发明实施例的AR视频通话的处理装置的组成结构示意图一；如图5所示，所述装置包括：第一通讯单元41和数据处理单元42；其中，

所述第一通讯单元41，用于经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；

所述数据处理单元42，用于在所述视频数据上添加AR数据，生成AR视频数据；

所述第一通讯单元41，还用于分别发送所述数据处理单元42生成的所述AR视频数据至所述两个终端。

在本发明的一些可选实施例中，所述第一通讯单元41，还用于经核心网设备接收来自终端的视频数据之前，与所述核心网设备进行信息交互，交互的信息用于所述核心网设备配置iFC信息，所述iFC信息用于触发所述网络设备执行AR视频业务功能。

在本发明的一些可选实施例中，所述第一通讯单元41，还用于经核心网设备接收来自终端的视频数据之前，经所述核心网设备接收所述两个终端中的任一终端的能力信息，所述能力信息表征所述任一终端支持AR功能的相关参数。

在本发明的一些可选实施例中，所述第一通讯单元41，用于通过SIP消息、经所述核心网设备接收所述两个终端中的任一终端的能力信息；其中，所述SIP消息用于建立所述两个终端之间的VoLTE视频连接。

在本发明的一些可选实施例中，所述第一通讯单元41，还用于所述数据处理单元42在所述视频数据上添加AR数据之前，经所述核心网设备接收来自第一终端的AR数据；所述第一终端为所述两个终端中的任一终端。

在本发明的一些可选实施例中，所述装置还包括存储单元43；

所述第一通讯单元41，还用于所述数据处理单元42在所述视频数据上添加AR数据之前，经所述核心网设备接收来自第一终端的第一信息，

所述存储单元43，用于存储多个信息与AR数据的映射关系；

所述数据处理单元42，用于确定所述第一信息对应的AR数据，在所述视频数据上添加AR数据，生成AR视频数据。

在本发明的一些可选实施例中，所述第一通讯单元41，还用于经所述核心网设备接收来自终端的第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

本发明实施例中，所述AR视频通话的处理装置中的数据处理单元42，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，DigitalSignal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现；所述AR视频通话的处理装置中的第一通讯单元41，在实际应用中可通过通信模组(包含：基础通信套件、操作***、通信模块、标准化接口和协议等)及收发天线实现；所述AR视频通话的处理装置中的存储单元43，在实际应用中可通过存储器实现。

本发明实施例还提供了一种AR视频通话的处理装置。图6为本发明实施例的AR视频通话的处理装置的组成结构示意图二；如图6所示，所述装置包括：第一发送单元51和第一接收单元52；其中，

所述第一发送单元51，用于发送视频数据；

所述第一接收单元52，用于接收来自第二终端的视频数据；还用于接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成；

其中，所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送。

在本发明的一些可选实施例中，所述第一接收单元52，还用于接收来自所述网络设备的AR视频数据之前，经所述核心网设备向所述网络设备发送能力信息，所述能力信息表征所述第一终端支持AR功能的相关参数。

在本发明的一些可选实施例中，所述第一发送单元51，还用于通过SIP消息、经所述核心网设备发送所述第一终端的能力信息；其中，所述SIP消息用于建立所述第一终端和所述第二终端之间的VoLTE视频连接。

在本发明的一些可选实施例中，所述第一发送单元51，还用于经所述核心网设备向所述网络设备发送AR数据。

在本发明的一些可选实施例中，所述第一发送单元51，还用于经所述核心网设备向所述网络设备发送第一信息，所述第一信息用于指示对应的AR数据。

在本发明的一些可选实施例中，所述第一发送单元51，还用于经所述核心网设备向所述网络设备发送第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

本发明实施例中，所述AR视频通话的处理装置中的第一发送单元51和第一接收单元52，在实际应用中可通过通信模组(包含：基础通信套件、操作***、通信模块、标准化接口和协议等)及收发天线实现。

需要说明的是：上述实施例提供的AR视频通话的处理装置在进行AR视频通话的处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的AR视频通话的处理装置与AR视频通话的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种通信设备，所述通信设备具体可以是前述实施例中的网络设备或终端。图7为本发明实施例的通信设备的硬件结构示意图，如图7所示，所述通信设备包括存储器62、处理器61及存储在存储器62上并可在处理器61上运行的计算机程序，所述处理器61执行所述程序时实现本发明实施例前述应用于网络设备中的AR视频通话的处理方法的步骤，或者，所述处理器61执行所述程序时实现本发明实施例前述应用于终端中的AR视频通话的处理方法的步骤。

其中，通信设备中还可包括网络接口63。可选地，通信设备中的各个组件通过总线***64耦合在一起。可理解，总线***64用于实现这些组件之间的连接通信。总线***64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线***64。

可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，通信设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器62，上述计算机程序可由通信设备的处理器61执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例前述应用于网络设备中的AR视频通话的处理方法的步骤；或者，该程序被处理器执行时实现本发明实施例前述应用于终端中的AR视频通话的处理方法的步骤。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种增强现实AR视频通话的处理方法，其特征在于，所述方法包括：

网络设备经核心网设备接收来自终端的视频数据；所述终端为已建立长期演进语音承载VoLTE视频连接的两个终端中的任一终端；

所述网络设备在所述视频数据上添加AR数据，生成AR视频数据，分别发送所述AR视频数据至所述两个终端。

2.根据权利要求1所述的方法，其特征在于，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：

所述网络设备与所述核心网设备进行信息交互，交互的信息用于所述核心网设备配置初始过滤规则iFC信息，所述iFC信息用于触发所述网络设备执行AR视频业务功能。

3.根据权利要求1或2所述的方法，其特征在于，所述网络设备经核心网设备接收来自终端的视频数据之前，所述方法还包括：

所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，所述能力信息表征所述任一终端支持AR功能的相关参数。

4.根据权利要求3所述的方法，其特征在于，所述网络设备经所述核心网设备接收所述两个终端中的任一终端的能力信息，包括：

所述网络设备通过会话发起协议SIP消息、经所述核心网设备接收所述两个终端中的任一终端的能力信息；其中，所述SIP消息用于建立所述两个终端之间的VoLTE视频连接。

5.根据权利要求1所述的方法，其特征在于，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：

网络设备经所述核心网设备接收来自第一终端的AR数据；所述第一终端为所述两个终端中的任一终端。

6.根据权利要求1所述的方法，其特征在于，所述网络设备在所述视频数据上添加AR数据之前，所述方法还包括：

所述网络设备经所述核心网设备接收来自第一终端的第一信息，所述网络设备中存储有多个信息与AR数据的映射关系；所述第一终端为所述两个终端中的任一终端；

所述网络设备确定所述第一信息对应的AR数据。

7.根据权利要求1或2所述的方法，其特征在于，所述方法包括：

所述网络设备经所述核心网设备接收来自终端的第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

8.一种增强现实AR视频通话的处理方法，其特征在于，所述方法包括：

第一终端发送视频数据以及接收来自第二终端的视频数据；所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送；

所述第一终端接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成。

9.根据权利要求8所述的方法，其特征在于，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：

所述第一终端经所述核心网设备向所述网络设备发送能力信息，所述能力信息表征所述第一终端支持AR功能的相关参数。

10.根据权利要求9所述的方法，其特征在于，所述第一终端经所述核心网设备向所述网络设备发送能力信息，包括：

所述第一终端通过SIP消息、经所述核心网设备发送所述第一终端的能力信息；其中，所述SIP消息用于建立所述第一终端和所述第二终端之间的VoLTE视频连接。

11.根据权利要求8所述的方法，其特征在于，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：

所述第一终端经所述核心网设备向所述网络设备发送AR数据。

12.根据权利要求8所述的方法，其特征在于，所述第一终端接收来自所述网络设备的AR视频数据之前，所述方法还包括：

所述第一终端经所述核心网设备向所述网络设备发送第一信息，所述第一信息用于指示对应的AR数据。

13.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述第一终端经所述核心网设备向所述网络设备发送第一指令，所述第一指令用于启动或终止所述网络设备发送AR视频数据，或者，所述第一指令用于重新生成AR视频数据。

14.一种AR视频通话的处理装置，其特征在于，所述装置包括：第一通讯单元和数据处理单元；其中，

所述第一通讯单元，用于经核心网设备接收来自终端的视频数据；所述终端为已建立VoLTE视频连接的两个终端中的任一终端；

所述数据处理单元，用于在所述视频数据上添加AR数据，生成AR视频数据；

所述第一通讯单元，还用于分别发送所述数据处理单元生成的所述AR视频数据至所述两个终端。

15.一种AR视频通话的处理装置，其特征在于，所述装置包括：第一发送单元和第一接收单元；其中，

所述第一发送单元，用于发送视频数据；

所述第一接收单元，用于接收来自第二终端的视频数据；还用于接收来自所述网络设备的AR视频数据，所述AR视频数据由所述网络设备在所述视频数据上添加AR数据生成；

其中，所述视频数据经核心网设备发送至网络设备；所述视频数据在所述第一终端与第二终端建立VoLTE视频连接后发送。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤；或者，该程序被处理器执行时实现权利要求8至13任一项所述方法的步骤。

17.一种通信设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤；或者，所述处理器执行所述程序时实现权利要求8至13任一项所述方法的步骤。

Images