CN114466202B - 混合现实直播方法、装置、电子设备以及可读存储介质 - Google Patents

混合现实直播方法、装置、电子设备以及可读存储介质 Download PDF

Info

Publication number
CN114466202B
CN114466202B CN202011231625.0A CN202011231625A CN114466202B CN 114466202 B CN114466202 B CN 114466202B CN 202011231625 A CN202011231625 A CN 202011231625A CN 114466202 B CN114466202 B CN 114466202B
Authority
CN
China
Prior art keywords
live
video
characteristic
mixed reality
live video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011231625.0A
Other languages
English (en)
Other versions
CN114466202A (zh
Inventor
熊壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile IoT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011231625.0A priority Critical patent/CN114466202B/zh
Publication of CN114466202A publication Critical patent/CN114466202A/zh
Application granted granted Critical
Publication of CN114466202B publication Critical patent/CN114466202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种混合现实直播方法、装置、电子设备以及可读存储介质，该方法包括：采集直播场景的直播视频；渲染所述直播视频，得到虚拟视频；以及通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器。本发明将直播中不同类型的视频通过不同的切片专网进行传输，改变传输方式本质，提高传输速率，同时通过混合现实直播方式提高直播互动的娱乐性。

Description

混合现实直播方法、装置、电子设备以及可读存储介质
技术领域
本发明涉及通信领域，尤其涉及一种混合现实直播方法、装置、电子设备以及可读存储介质。
背景技术
混合现实(Mixed Reality，MR)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。
如今，随着电子信息科技的发展与计算机技术的不断进步，人们日常的娱乐活动也越来越丰富。其中，直播由于具有丰富的内容选择性和互动性，受到了广大用户的喜爱。
目前的直播方法一般仅通过视觉技术生成虚拟现实(Virtual Reality，VR)影像，通过5G承载通信，而这种直播方式也适用于4G网络，传输方式本质相同，传输速率较低，同时存在直播互动的娱乐性较差的问题。
发明内容
本发明提供一种混合现实直播方法、装置、电子设备以及可读存储介质，以解决直播传输方式本质未改变造成传输速率较低以及直播互动的娱乐性较差的问题。
根据本发明的第一方面，本发明提供一种混合现实直播方法，应用于电子设备，包括：采集直播场景的直播视频；渲染所述直播视频，得到虚拟视频；以及通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器。
在一些实施例中，在渲染所述直播视频，以得到虚拟视频的步骤中，包括：分析所述直播视频的每一帧直播图像；提取所述直播图像中物体的运动轨迹的特征值；以及根据所述特征值，得到所述虚拟视频。
在一些实施例中，在提取所述直播图像中物体的运动轨迹的特征值的步骤中，包括：将每一帧直播图像划分网格，以采集特征点；过滤无效特征点；记录每一帧的有效特征点；根据每一帧的有效特征点，获取所述物体基于时间的运动轨迹；以及基于所述运动轨迹，提取所述特征值。
根据本发明的第二方面，本发明提供一种混合现实直播方法，应用于服务器，包括：接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频；以及传输所述直播视频和所述虚拟视频至输出端的电子设备。
根据本发明的第三方面，本发明提供一种混合现实直播方法，应用于电子设备，包括：接收云端服务器传输的直播视频和虚拟视频；以及根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面。
在一些实施例中，所述虚拟画面包括以下至少一项：所述直播画面中的人物模型、物品模型以及所述电子设备用户的模型。
在一些实施例中，所述方法还包括：接收针对所述直播视频画面或所述虚拟视频画面的切换输入；以及响应于所述切换输入，在所述直播画面与所述虚拟画面之间进行切换。
根据本发明的第四方面，本发明提供一种混合现实直播装置，应用于电子设备，包括：采集模块，用于采集直播场景的直播视频；渲染模块，用于渲染所述直播视频，得到虚拟视频；以及第一传输模块，用于通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器。
根据本发明的第五方面，本发明提供一种混合现实直播装置，应用于服务器，包括：第一接收模块，用于接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频；以及第二传输模块，用于传输所述直播视频和所述虚拟视频至输出端的电子设备。
根据本发明的第六方面，本发明提供一种混合现实直播装置，应用于电子设备，包括：第二接收模块，用于接收云端服务器传输的直播视频和虚拟视频；以及显示模块，用于根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面。
根据本发明的第七方面，本发明提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述的混合现实直播方法的步骤。
根据本发明的第八方面，本发明提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上述的混合现实直播方法。
相较现有技术，本发明的有益效果：本发明将直播中不同类型的视频通过不同的切片专网进行传输，改变传输方式本质，提高传输速率，同时通过混合现实直播方式提高直播互动的娱乐性。
附图说明
图1为本发明实施例提供的一种混合现实直播方法的步骤流程示意图。
图2为本发明实施例提供的另一种混合现实直播方法的步骤流程示意图。
图3为本发明实施例提供的又一种混合现实直播方法的步骤流程示意图。
图4为本发明实施例提供的一种混合现实直播装置的结构示意图。
图5为本发明实施例提供的另一种混合现实直播装置的结构示意图。
图6为本发明实施例提供的又一种混合现实直播装置的结构示意图。
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种混合现实直播方法，应用于电子设备，该方法包括步骤S11至S13。
步骤S11，采集直播场景的直播视频。
在本发明实施例中，可选的，通过摄像机或手机等拍摄直播场景，得到直播视频。该直播场景的直播视频中包括主播和主播所在的背景环境。主播可以是人物，亦可以是物品。
步骤S12，渲染所述直播视频，得到虚拟视频。
在本发明实施例中，可选的，对直播视频进行渲染(如将直播视频通过图像引擎中重新构建)，形成人物以及物品的虚拟数据，根据虚拟数据已得到虚拟视频。
在一些实施例中，可选的，步骤S12具体包括：步骤S121至步骤步骤S123。
步骤S121，分析所述直播视频的每一帧直播图像。
步骤S122，提取所述直播图像中物体的运动轨迹的特征值。其中步骤S122具体包括步骤S1221至步骤S1225。
步骤S1221，将每一帧直播图像划分网格，以采集特征点。
在本发明实施例中，将每一帧直播图像划分为多个尺度，其中尺度为图像尺度，亦可理解为分辨率，一般为8个空间尺度，在多个空间尺度上采样能保证采样的特征点覆盖了所有空间位置和尺度。在每个尺度上通过划分网格的方式，密集采集特征点。
步骤S1222，过滤无效特征点。
在本发明实施例中，无效特征点为一些缺乏变化的无法跟踪的特征点，可以通过计算像素点自相关矩阵的特征值，过滤低于某个阈值的特征点。
步骤S1223，记录每一帧的有效特征点。
在本发明实施例中，记t帧该有效特征点为Pt＝(xt,yt)，则t+1帧，有效特征点为Pt+1＝(xt+1,yt+1)。
步骤S1224，根据每一帧的有效特征点，获取所述物体基于时间的运动轨迹。
在本发明实施例中，某个特征点在连续的若干帧直播图像上的位置即构成了一段轨迹。
步骤S1225，基于所述运动轨迹，提取所述特征值。
在本发明实施例中，后续的特征点提取根据该运动轨迹进行，提取特征点后，计算该特征点的特征值。
步骤S123，根据所述特征值，得到所述虚拟视频。
在本发明实施例中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码，即可得到虚拟视频。
步骤S13，通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器。
在本发明实施例中，可选的，第一切片专网和第二切片专网均为5G切片专网，所谓切片即一种按需组网的方式，在基础设施上切出多个虚拟的端到端网络，每个网络从接入网到承载网再到核心网在逻辑上隔离。通过不同的切片专网分别传输直播视频和虚拟视频，改变了传输方式本质，提高了传输速率。另外，传输直播视频和虚拟视频还经过5G基站以及核心网。
如图2所示，本发明提供另一种混合现实直播方法，应用于服务器，该方法包括步骤S21至S22。
步骤S21，接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频。
步骤S22，传输所述直播视频和所述虚拟视频至输出端的电子设备。
在本发明实施例中，该服务器保存有直播视频和虚拟视频的数据，如输入端的人物以及物品的虚拟数据，甚至输出端用户的人物数据。另外，服务器不进负责直播视频和虚拟视频的分发，还负责直播的打赏功能。
如图3所示，本发明提供又一种混合现实直播方法，应用于电子设备，该方法包括步骤S31至S32。
步骤S31，接收云端服务器传输的直播视频和虚拟视频。
在本发明实施例中，可以直接通过传统网络接收直播视频以及虚拟视频，亦可通过切片专网接收直播视频以及虚拟视频。
步骤S32，根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面。
在本发明实施例中，所述虚拟画面包括以下至少一项：所述直播画面中的人物模型、物品模型以及所述电子设备用户的模型。
在一些实施例中，可选的，步骤S32具体包括步骤S321至步骤S322。
步骤S321，接收针对所述直播视频画面或所述虚拟视频画面的切换输入。
步骤S322，响应于所述切换输入，在所述直播画面与所述虚拟画面之间进行切换。
在本发明实施例中，电子设备用户通过直播画面观看直播视频，通过虚拟画面进行虚拟操作，如卖货直播中的换装等，提高直播互动的娱乐性。
如图4所示，本发明提供一种混合现实直播装置，该装置包括采集模块41、渲染模块42以及第一传输模块43。
采集模块41用于采集直播场景的直播视频。
在本发明实施例中，通过摄像机或手机等拍摄直播场景，得到直播视频。该直播场景的直播视频中包括主播和主播所在的背景环境。主播可以是人物，亦可以是物品。
渲染模块42用于渲染所述直播视频，得到虚拟视频。
在本发明实施例中，对直播视频进行渲染(如将直播视频通过图像引擎中重新构建)，形成人物以及物品的虚拟数据，根据虚拟数据已得到虚拟视频。
渲染模块42通过分析所述直播视频的每一帧直播图像；然后提取所述直播图像中物体的运动轨迹的特征值；再根据所述特征值，得到所述虚拟视频。
具体的，提取所述直播图像中物体的运动轨迹的特征值参见下述。
将每一帧直播图像划分网格，以采集特征点。将每一帧直播图像划分为多个尺度，一般为8个空间尺度，在多个空间尺度上采样能保证采样的特征点覆盖了所有空间位置和尺度。在每个尺度上通过划分网格的方式，密集采集特征点。
过滤无效特征点。无效特征点为一些缺乏变化的无法跟踪的特征点，可以通过计算像素点自相关矩阵的特征值，过滤低于某个阈值的特征点。
记录每一帧的有效特征点。记t帧该有效特征点为Pt＝(xt,yt)，则t+1帧，有效特征点为Pt+1＝(xt+1,yt+1)。
根据每一帧的有效特征点，获取所述物体基于时间的运动轨迹。某个特征点在连续的若干帧直播图像上的位置即构成了一段轨迹。
基于所述运动轨迹，提取所述特征值。后续的特征点提取根据该运动轨迹进行，提取特征点后，计算该特征点的特征值。对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码，即可得到虚拟视频。
第一传输模块43用于通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器。
在本发明实施例中，第一切片专网和第二切片专网均为5G切片专网，所谓切片即一种按需组网的方式，在基础设施上切出多个虚拟的端到端网络，每个网络从接入网到承载网再到核心网在逻辑上隔离。通过不同的切片专网分别传输直播视频和虚拟视频，改变了传输方式本质，提高了传输速率。另外，传输直播视频和虚拟视频还经过5G基站以及核心网。
如图5所示，本发明提供另一种混合现实直播装置，该装置包括第一接收模块51以及第二传输模块52。
第一接收模块51用于接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频。
第二传输模块52用于传输所述直播视频和所述虚拟视频至输出端的电子设备。
在本发明实施例中，该服务器保存有直播视频和虚拟视频的数据，如输入端的人物以及物品的虚拟数据，甚至输出端用户的人物数据。另外，服务器不进负责直播视频和虚拟视频的分发，还负责直播的打赏功能。
如图6所示，本发明提供又一种混合现实直播装置，该装置包括第二接收模块61以及显示模块62。
第二接收模块61用于接收云端服务器传输的直播视频和虚拟视频。
在本发明实施例中，可以直接通过传统网络接收直播视频以及虚拟视频，亦可通过切片专网接收直播视频以及虚拟视频。
显示模块62用于根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面。
在本发明实施例中，所述虚拟画面包括以下至少一项：所述直播画面中的人物模型、物品模型以及所述电子设备用户的模型。
显示模块62还用于接收针对所述直播视频画面或所述虚拟视频画面的切换输入；响应于所述切换输入，在所述直播画面与所述虚拟画面之间进行切换。
在本发明实施例中，电子设备用户通过直播画面观看直播视频，通过虚拟画面进行虚拟操作，如卖货直播中的换装等，提高直播互动的娱乐性。
参阅图7，本发明实施例还提供一种电子设备700，该电子设备700可以是手机、平板、电脑以及服务器等设备。如图7所示，电子设备700包括处理器701、存储器702。其中，处理器701与存储器702电性连接。
处理器701是电子设备700的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，该电子设备700设有多个存储分区，该多个存储分区包括***分区和目标分区，电子设备700中的处理器701会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，用于执行上述图1所示的混合现实直播方法实施例的各个过程，且能达到相同的技术效果，或者，用于执行上述图2所示的混合现实直播方法实施例的各个过程，且能达到相同的技术效果，或者，用于执行上述图3所示的混合现实直播方法实施例的各个过程，且能达到相同的技术效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读的可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种混合现实直播方法中的步骤。
其中，该可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种混合现实直播方法中的步骤，因此，可以实现本发明实施例所提供的任一种混合现实直播方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本发明的有益效果：本发明将直播中不同类型的视频通过不同的切片专网进行传输，改变传输方式本质，提高传输速率，同时通过混合现实直播方式提高直播互动的娱乐性。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本发明实施例所提供的一种混合现实直播方法、***、可读存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。

Claims (12)

1.一种混合现实直播方法，其特征在于，应用于电子设备，包括：
采集直播场景的直播视频；
渲染所述直播视频，得到虚拟视频；以及
通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
2.如权利要求1所述的混合现实直播方法，其特征在于，在渲染所述直播视频，以得到虚拟视频的步骤中，包括：
分析所述直播视频的每一帧直播图像；
提取所述直播图像中物体的运动轨迹的特征值；以及
根据所述特征值，得到所述虚拟视频。
3.如权利要求2所述的混合现实直播方法，其特征在于，在提取所述直播图像中物体的运动轨迹的特征值的步骤中，包括：
将每一帧直播图像划分网格，以采集特征点；
过滤无效特征点；
记录每一帧的有效特征点；
根据每一帧的有效特征点，获取所述物体基于时间的运动轨迹；以及
基于所述运动轨迹，提取所述特征值。
4.一种混合现实直播方法，其特征在于，应用于服务器，包括：
接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频；以及
传输所述直播视频和所述虚拟视频至输出端的电子设备；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
5.一种混合现实直播方法，其特征在于，应用于电子设备，包括：
接收云端服务器传输的直播视频和虚拟视频；以及
根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
6.如权利要求5所述的混合现实直播方法，其特征在于，所述虚拟视频画面包括以下至少一项：所述直播视频画面中的人物模型、物品模型以及所述电子设备用户的模型。
7.如权利要求5所述的混合现实直播方法，其特征在于，所述方法还包括：
接收针对所述直播视频画面或所述虚拟视频画面的切换输入；以及
响应于所述切换输入，在所述直播视频画面与所述虚拟视频画面之间进行切换。
8.一种混合现实直播装置，其特征在于，应用于电子设备，包括：
采集模块，用于采集直播场景的直播视频；
渲染模块，用于渲染所述直播视频，得到虚拟视频；以及
第一传输模块，用于通过第一切片专网和第二切片专网分别传输所述直播视频和所述虚拟视频至云端服务器；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
9.一种混合现实直播装置，其特征在于，应用于服务器，包括：
第一接收模块，用于接收输入端的电子设备通过第一切片专网和第二切片专网分别传输的直播视频和虚拟视频；以及
第二传输模块，用于传输所述直播视频和所述虚拟视频至输出端的电子设备；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
10.一种混合现实直播装置，其特征在于，应用于电子设备，包括：
第二接收模块，用于接收云端服务器传输的直播视频和虚拟视频；以及
显示模块，用于根据所述直播视频和所述虚拟视频，显示直播视频画面或虚拟视频画面；
其中，对于一段直播视频存在大量的运动轨迹，每段运动轨迹都对应着一组特征值，对所有的特征值组进行特征编码得到虚拟视频；这其中，提取直播视频中物体的运动轨迹的特征值包括：
将每一帧直播图像划分为多个空间尺度，在每个空间尺度上通过划分网格的方式，密集采集特征点，以及，过滤无效特征点，无效特征点为一些缺乏变化的无法跟踪的特征点。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至3任一项所述的混合现实直播方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求4所述的混合现实直播方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求5-7任一项所述的混合现实直播方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至3任一项所述的混合现实直播方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求4所述的混合现实直播方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求5-7任一项所述的混合现实直播方法的步骤。
CN202011231625.0A 2020-11-06 2020-11-06 混合现实直播方法、装置、电子设备以及可读存储介质 Active CN114466202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011231625.0A CN114466202B (zh) 2020-11-06 2020-11-06 混合现实直播方法、装置、电子设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231625.0A CN114466202B (zh) 2020-11-06 2020-11-06 混合现实直播方法、装置、电子设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN114466202A CN114466202A (zh) 2022-05-10
CN114466202B true CN114466202B (zh) 2023-12-12

Family

ID=81404717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231625.0A Active CN114466202B (zh) 2020-11-06 2020-11-06 混合现实直播方法、装置、电子设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN114466202B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396688B (zh) * 2022-10-31 2022-12-27 北京玩播互娱科技有限公司 一种基于虚拟场景的多人互动网络直播方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201109590D0 (en) * 2011-06-08 2011-07-20 Cubicspace Ltd System for viewing and interacting with a virtual 3-D scene
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放***
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和***
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及***
CN107845129A (zh) * 2017-11-07 2018-03-27 深圳狗尾草智能科技有限公司 三维重构方法及装置、增强现实的方法及装置
CN108629301A (zh) * 2018-04-24 2018-10-09 重庆大学 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法
WO2019017579A1 (ko) * 2017-07-21 2019-01-24 삼성전자주식회사 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
CN109963163A (zh) * 2017-12-26 2019-07-02 阿里巴巴集团控股有限公司 网络视频直播方法、装置及电子设备
CN111200859A (zh) * 2018-11-19 2020-05-26 华为技术有限公司 一种网络切片的选择方法、网络设备及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11058950B2 (en) * 2019-03-15 2021-07-13 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in virtual reality views

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201109590D0 (en) * 2011-06-08 2011-07-20 Cubicspace Ltd System for viewing and interacting with a virtual 3-D scene
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和***
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放***
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及***
WO2019017579A1 (ko) * 2017-07-21 2019-01-24 삼성전자주식회사 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
CN107845129A (zh) * 2017-11-07 2018-03-27 深圳狗尾草智能科技有限公司 三维重构方法及装置、增强现实的方法及装置
CN109963163A (zh) * 2017-12-26 2019-07-02 阿里巴巴集团控股有限公司 网络视频直播方法、装置及电子设备
CN108629301A (zh) * 2018-04-24 2018-10-09 重庆大学 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法
CN111200859A (zh) * 2018-11-19 2020-05-26 华为技术有限公司 一种网络切片的选择方法、网络设备及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
5G网络中的移动VR应用;刘洁 等;《电信科学》;第34卷(第10期);全文 *
Data-Centric Video for Mixed Reality;Peter Gusev 等;《2019 28th International Conference on Computer Communication and Networks (ICCCN)》;全文 *
面向VR探视业务的5G SA医疗专网方案研究;黄山松 等;《电子技术应用》(第6期);全文 *

Also Published As

Publication number Publication date
CN114466202A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN108010037B (zh) 图像处理方法、装置及存储介质
CN105847718B (zh) 基于场景识别的直播视频弹幕显示方法及其显示装置
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及***
CN108632632B (zh) 一种网络直播的数据处理方法和装置
CN104363475B (zh) 一种观众分组关联的方法、装置和***
WO2019214371A1 (zh) 图像的显示方法、生成方法、装置、存储介质及电子装置
CN108635863B (zh) 一种网络直播的数据处理方法和装置
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
CN108880983B (zh) 一种虚拟三维空间的语音实时处理方法及装置
CN114245028B (zh) 图像展示方法、装置、电子设备及存储介质
CN110740290A (zh) 监控录像预览方法及装置
CN114466202B (zh) 混合现实直播方法、装置、电子设备以及可读存储介质
CN113259764A (zh) 视频的播放方法、播放装置、电子设备及***
CN113891105A (zh) 画面显示方法和装置、存储介质及电子设备
CN112492231A (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
CN113365130A (zh) 直播显示方法、直播视频获取方法及相关装置
CN116489424A (zh) 直播背景的生成方法、装置、电子设备及计算机可读介质
CN115690664A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113014745B (zh) 视频图像降噪方法及装置、存储介质及电子设备
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
CN110166825B (zh) 视频数据处理方法及装置、视频播放方法及装置
CN110662099B (zh) 用于显示弹幕的方法和装置
CN112261422A (zh) 适用于广电领域的仿真远程直播流数据处理方法
CN116600070B (zh) 全息视频的存储方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant