CN115174942A - 一种自由视角切换方法及交互式自由视角播放*** - Google Patents

一种自由视角切换方法及交互式自由视角播放*** Download PDF

Info

Publication number
CN115174942A
CN115174942A CN202210798544.1A CN202210798544A CN115174942A CN 115174942 A CN115174942 A CN 115174942A CN 202210798544 A CN202210798544 A CN 202210798544A CN 115174942 A CN115174942 A CN 115174942A
Authority
CN
China
Prior art keywords
visual angle
video stream
view
switching
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210798544.1A
Other languages
English (en)
Inventor
胡强
何其涵
钟后强
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Plex VR Digital Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plex VR Digital Technology Shanghai Co Ltd filed Critical Plex VR Digital Technology Shanghai Co Ltd
Priority to CN202210798544.1A priority Critical patent/CN115174942A/zh
Publication of CN115174942A publication Critical patent/CN115174942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种自由视角切换方法及交互式自由视角播放***。其中，该方法包括：获取多视角视频流；根据用户触发的交互指令，获取视角切换信号；根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并传输单视角视频流。本发明提出的方法仅需传输一路视频，利用这种方法，客户端始终请求解码和播放一路视频流，并将用户的交互指令通过信号服务传输给计算服务器，按需重组视频流并分发给对应客户端在不增加计算复杂度的情况下最大程度地减少传输比特的浪费，缩短切换延时，从而实现视角间无缝切换。

Description

一种自由视角切换方法及交互式自由视角播放***
技术领域
本发明属于数字图像处理领域，尤其涉及一种自由视角切换方法及交互式自由视角播放***。
背景技术
随着网络通信技术和多媒体技术的快速发展，人们对信息处理能力的要求也越来越高。信息传输的载体也从文字、图像发展到视频。同时，人们对视频服务质量和内容多样性的要求也越来越高，视频的表现形式和呈现方式也越来越多样化。传统的单视角视频已经不能有效满足用户追求的视觉、触觉、听觉三位一体的享受，沉浸式视频是在终端计算能力和摄像采集技术大幅提升的技术背景下诞生的。
传统的视频直播、点播基本上都是导播视频画面推送到用户端进行观看，用户无法自由选择自己想要观看的画面视角，缺乏新鲜感和娱乐性。乘着5G的春风，自由视点技术突破了传统的被动观看体验，让不可思议的互动直播成为现实，用户通过滑动手机屏幕的实时互动方式，围绕直播屏幕自由旋转，选择最适合自己的观看角度，享受全场景的沉浸式体验。自由视点视频的生成需要大规模布置摄像机，形成阵列，以采集场景的部分视场的大量视点信息。根据收集的视点数量可分为两类：超级多视角视频和自由巡航视频。
在超级多视角视频中，摄像机排列紧密，采集的视点数量很多。在播放端，由于捕获的视点分布密集，在摄像机阵列构成的视点范围内不需要进行视点合成渲染，只有切换视点才能提供更平滑的运动视差。
另一方面，对于自由巡航视频来说，摄像机的排列很稀疏，采集的视角数量也相对较少。在播放端，为了在视图切换时提供连续的运动视差，有必要利用视图合成技术对虚拟视图进行合成渲染。为了提高虚拟视点的图像质量，通常需要额外传输相应视点的深度图。当用户与自由视点视频互动时，不仅需要保证视点切换的连续性，还需要保证视点切换响应的及时性，在如此大的数据量下要实现低延迟并不是一件容易的事情，在编码器和解码器两端都存在巨大的计算复杂性。如何根据用户的交互内容和实际带宽来优化优质内容的编码和传输，成为沉浸式视频交互传输中的关键问题。
发明内容
为了解决现有技术中传输带宽及终端计算压力过重的技术问题，本发明旨在提供一种自由视角切换方法及交互式自由视角播放***。通过使用本申请的自由视角切换方法及交互式自由视角播放***，用户通过滑动手机屏幕实时交互方式，围绕直播画面自由旋转，选择最合适自己的观看角度，随心所欲畅享全场景、沉浸式体验。该***通过精确的同步控制、压缩编码、多视角同步、WebRTC低延时传输等技术实现了多视角画面间进行流畅自如的实时画面切换，并产生动态子弹时间效果，从而使用户从“被动接受内容的观众”转变到“掌握控制权的导演”，满足了用户观看场景自主化、文化表达多元化的需求。
本申请提出一种自由视角切换方法，所述方法包括：
获取多视角视频流；
根据用户触发的交互指令，获取视角切换信号；
根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并传输单视角视频流。
根据本申请的一个实施方式，所述获取多视角视频流之后，还包括：
获取所述多视角视频流中每个所述单视角视频流中每个帧图像的时间戳；
根据时间戳对所述多个单视角视频流进行帧同步。
根据本申请的一个实施方式，所述根据用户触发的交互指令，获取视角切换信号包括：
根据用户滑动、输入、手势或点击操作，确定切换后的目标视角信息；
根据用户滑动、输入、手势或点击操作，确定发生切换的时间信息。
根据本申请的一个实施方式，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息；
当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
根据本申请的一个实施方式，所述根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并输出单视角视频流，包括：
在切换发生时，在所述原视角视频流之后接入所述随机接入参考帧；
直至切换结束时，在所述随机接入参考帧之后接入所述目标视角视频流，获得所述单视角视频流。
根据本申请的一个实施方式，在所述原视角视频流之后接入所述随机接入参考帧，包括：
创建一个实例；
根据所述切换视角信息，从所述多视角视频流中从原视角切换至目标视角之间预选取一个或多个单视角视频流的随机接入码流；
从预选取的所述随机接入码流中提取对应的随机接入参考帧；
将所述对应的随机接入参考帧接入在所述原视角视频流之后。
根据本申请的一个实施方式，所述随机接入码流由与之对应的所述单视角视频流的关键帧按时间戳先后依序构成。
根据本申请的一个实施方式，基于WebRTC协议传输所述单视角视频流。
本申请提出的一种交互式自由视角播放***，包括：
视频流采集装置，其与所述计算服务器通信连接；
一个以上计算服务器，其用于获取多视角视频流；
信号服务器，其与所述计算服务器通信连接；
流媒体服务器，其与所述计算服务器通信连接；
一个以上客户端，其与所述信令服务器通信连接；
其中，所述计算服务器从所述视频流采集装置中获取多视角视频流；所述客户端通过所述信号服务器向所述计算服务器传输交互指令；所述计算服务器根据交互指令输出单路视频流至所述流媒体服务器，所述流媒体服务器向所述客户端发送所述单路视频流。
根据本申请的一个实施方式，所述视频流采集装置包括：
一个以上用于采集多视角视频流的视频数据采集模块；
一个以上用于图像数据校正的图像校正模块；
一个以上视频编码推流模块；及
RTMP流媒体服务器。
本发明的有益效果：
本发明提出的方法仅需传输一路视频，利用这种方法，客户端始终请求解码和播放一路视频流，并将用户的交互指令通过信号服务传输给计算服务器，按需重组视频流并分发给对应客户端在不增加计算复杂度的情况下最大程度地减少传输比特的浪费，缩短切换延时，从而实现视角间无缝切换。
利用本发明方法的交互式自由视角播放***结合具有低延时通信的WebRTC技术来实现自由视角视频的传输，在不增加计算复杂度的情况下尽可能减少传输比特的浪费，缩短切换延时，从而实现视角间无缝切换，采用该方法的播放***仅需传输一路视频，能最大限度减少传输带宽和终端的计算压力，同时提高视角切换时画面的质量和分辨率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本实施例中自由视角切换方法的流程示意图；
图2示出了本实施例中各个视角码流的结构示意图；
图3示出了本实施例中各个视角码流及其随机接入码流结构示意图；
图4示出了本实施例中自由视角切换方法中单视角视频流的结构示意图。
图5示出了本实施例中交互式自由视角播放***的结构示意图。
附图标号说明：
1-视频流采集装置；
2-计算服务器；
3-信号服务器；
4-流媒体服务器；
5-客户端；
11-视频数据采集模块；
12-图像校正模块；
13-视频编码推流模块；
14-RTMP流媒体服务器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“中心”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“相连”等应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过中间媒介间接相连，或者两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1示出了本实施例中自由视角切换方法的流程示意图。其中，所述方法包括：
S1：获取多视角视频流；
本方法中，多视角视频流的其他获取来源包括但不限于：一、由多台摄像机捕获后直接发送至计算服务器2内被获取。二、由多台摄像机捕获后发送至RTMP流媒体服务器内存储，并由RTMP流媒体服务器转发至计算服务器2内。
在一种可能的实施方式中，第一种来源是通过利用不同摄像机对同一场景进行实时拍摄的直播视频。在又一种可能的实施方式中，第二种来源是预先利用不同视角下摄像机对同一场景进行拍摄后获得的点播视频。
为了方便后续对多视角画面做时间同步，在编码封装的时候记录了每帧画面的显示时间戳。计算服务器2将从流媒体服务器中拉取所有多视角的视频流，为了保证用户切换视角时，视频画面的连续性，计算服务器2必须要保证拉取的多视角画面的同步性，计算服务器2通过各个多视角视频流中的时间戳信息进行同步。相同时间戳的画面即为同一时刻采集的不同视角的画面。
S2：根据用户触发的交互指令，获取视角切换信号；
用户触发的交互指令包括但不限于滑动、输入、手势或点击操作，基于客户端5设备的本体功能或外设功能还应包括：由肢体动作捕捉的肢体动作、由眼球运动捕捉的眼球动作等。为了便于描述，交互指令是指用户通过智能手机、平板电脑等便携设备产生的交互指令，包括：用户向不同方向滑动屏幕的滑动操作，在各种文本框或提示出输入的文字或数值的输入操作，通过摄像头或屏幕捕获的手势操作，以及用户手指点击屏幕上按键的电机操作等。
在一种可能的实施方式中，当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息。当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
具体的，根据用户触发的交互指令所获取的视角切换信号包括发生切换后的目标视角信息以及发生切换的时间信息。
S3：根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并传输单视角视频流。
图2示出了本实施例中各视角码流结构示意图。图中每个视角单独为一路视频流，并没有拼接在一起，图像组(Group of Picture，GoP)大小为30，即每个GoP包括30帧数据。GoP中的可独立解码帧在H.265/HEVC中称之为随机接入点(Random Access Point，RAP)，也就是I帧。
图3示出了本实施例中各视角码流及其随机接入码流的结构示意图。从图3中可以看到，每个视角的码流由原来的一个通用码流变成了两个码流，一个与原来一样为通用码流，另外一个是全I帧的版本，又叫做随机接入码流。随机接入码流中的I帧均与通用码流中对应I帧、P帧一一对应。当用户切换视角的时候，这些I帧会替换其对应的P帧作为后面P帧的新的参考帧，称之为随机接入参考帧(Random Access Reference，RARF)。
当用户视角发生变化时，计算服务器2会基于用户视角的变化组合对应的数据包发送给用户，但这仅限于在RAP位置进行视角间切换。在视频编码的时候，I帧对其之前的视频帧没有帧间预测依赖性且不需要参考帧，仅需要做帧内预测编码。因此I帧可以实现独立解码。但由于编码结构的限制，P帧需要依赖其之前已解码的参考帧进行解码，所以用户切换视角时无法在P帧位置完成视角间快速切换，必须要到下一个I帧才能正常切换到新视角。I帧的距离会影响到视角切换响应速度及用户的沉浸式体验，是用户切换视角时延的关键因素之一。但如果减少I帧的距离或者全I帧编码将会大幅降低视频编码的压缩率，同时视频的码率会增大，造成网络阻塞。事实上，用户在视角切换的过程中仅需要保证下个视角为I帧即可，而对于切换前和切换后只需要复用原始多视角视频流的数据包即可。
因此，基于上述原理，在切换发生时，在所述原视角视频流之后接入所述随机接入参考帧；直至切换结束时，在所述随机接入参考帧之后接入所述目标视角视频流，获得所述单视角视频流。具体参阅图4，图4示出了本实施例中自由视角切换方法的单视角视频流结构示意图。假设用户当前的视角为View i，用户在视角切换前，计算服务器2直接使用Viewi的通用流中的原始帧作为包重组后的输出帧。当计算服务器2收到了用户切换视角信号从View i切换到View M，计算服务器2会零延时的切换到View i+1的RARF流中同步的I帧上去，从View i+1到View M的RARF流中根据时间各取一帧I帧用户包重组后的输出帧。当视角切换结束后，计算服务器2接着复用View M的通用流中的帧作为重组后的输出帧。
图5示出了本申请中采用上述自由视角切换方法的交互式自由视角播放***。该***包括：视频流采集装置1，其与所述计算服务器2通信连接；一个以上计算服务器2，其用于获取多视角视频流；信号服务器，其与所述计算服务器2通信连接；流媒体服务器，其与所述计算服务器2通信连接；及一个以上客户端5，其与所述信号服务器通信连接；其中，所述计算服务器2从所述视频流采集装置1中获取多视角视频流；所述客户端5通过所述信号服务器向所述计算服务器2传输交互指令；所述计算服务器2根据交互指令输出单路视频流至所述流媒体服务器，所述流媒体服务器向所述客户端5发送所述单路视频流。
本实施例中的交互式自由视角***是根据用户交互信号，基于WebRTC按需传输对应的视频帧给用户端进行显示播放。WebRTC，名称源自网页实时通信(Web Real-TimeCommunication)的缩写，是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(Peer-to-Peer)的连接，实现视频流和(或)音频流或者其他任意数据的传输，支持网页浏览器进行实时语音对话或视频对话。
具体的，所述视频流采集装置1包括：一个以上用于采集多视角视频流的视频数据采集模块11；一个以上用于图像数据校正的图像校正模块12；一个以上视频编码推流模块13；及RTMP流媒体服务器。
视频数据擦剂模块、图像校正模块12采用环形相机阵列采集***，采集后的多视角视频被各个视角画面编码传输到RTMP流媒体服务器中，为了方便后续对多视角画面做时间同步，在编码封装的时候记录了每帧画面的显示时间戳。RTMP流媒体服务器是基于实时消息传输协议(Real Time Messaging Protocol)的流媒体服务器，计算服务器2将从RTMP流媒体服务器中拉取所有多视角的视频流，为了保证用户切换视角时，视频画面的连续性，计算服务器2必须要保证拉取的多视角画面的同步性，为此该***通过各个多视角视频流中的时间戳信息进行同步。相同时间戳的画面即为同一时刻采集的不同视角的画面。
计算服务器2会为每个用户提供一个应用实例，当收到用户的交互指令后，该用户的应用实例会从时间同步后多视角数据的队列里取出该用户请求的视角画面，并通过WebRTC协议传输给用户进行解码显示。
由于计算服务器2会为每个用户创建单独的应用实例来服务该用户，当用户数量剧增的时候，用户实例也会相应增加，即需要的计算资源也会增多。因此应用实例的计算复杂度不能很高。由于用户只有在切换视角的时候才具有差异性，而在视角不动的情况下，可以复用原始的多视角视频码流，无需为每个用户进行编解码计算。因此，本***采用上述参考帧替换的自由视角切换方法，该方法中应用实例仅对多视角视频流进行数据包的重组操作，不进行编解码操作，从而大幅降低了计算复杂度，有利于该应用的横向扩展。
计算服务器2会为每个用户提供一个应用实例，当收到用户的交互指令后，该用户的应用实例会从时间同步后多视角数据的队列里取出该用户请求的视角画面，在所述原视角视频流之后接入所述随机接入参考帧；直至切换结束时，在所述随机接入参考帧之后接入所述目标视角视频流，获得所述单视角视频流。具体参阅图4，图4示出了本实施例中基于参考帧替换的快速视角切换示意图。假设用户当前的视角为View i，用户在视角切换前，计算服务器2直接使用View i的通用流中的原始帧作为包重组后的输出帧。当计算服务器2收到了用户切换视角信号从View i切换到View M，计算服务器2会零延时的切换到View i+1的RARF流中同步的I帧上去，从View i+1到View M的RARF流中根据时间各取一帧I帧用户包重组后的输出帧。当视角切换结束后，计算服务器2接着复用View M的通用流中的帧作为重组后的输出帧。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、改进、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自由视角切换方法，其特征在于，所述方法包括：
获取多视角视频流；
根据用户触发的交互指令，获取视角切换信号；
根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并传输单视角视频流。
2.根据权利要求1所述的自由视角切换方法，其特征在于，所述获取多视角视频流之后，还包括：
获取所述多视角视频流中每个所述单视角视频流中每个帧图像的时间戳；
根据时间戳对所述多个单视角视频流进行帧同步。
3.根据权利要求1所述的自由视角切换方法，其特征在于，所述根据用户触发的交互指令，获取视角切换信号包括：
根据用户滑动、输入、手势或点击操作，确定切换后的目标视角信息；
根据用户滑动、输入、手势或点击操作，确定发生切换的时间信息。
4.根据权利要求3所述的自由视角切换方法，其特征在于，
当用户向左或向上滑动屏幕，则将当前视角沿一方向的上一视角作为目标视角切换后的目标视角信息；
当用户向右或向下滑动屏幕，则将当前视角沿一方向的下一视角作为目标视角切换后的目标视角信息。
5.根据权利要求1所述的自由视角切换方法，其特征在于，所述根据视角切换信号在原视角视频流和目标视角视频流之间切入随机接入参考帧，生成并输出单视角视频流，包括：
在切换发生时，在所述原视角视频流之后接入所述随机接入参考帧；
直至切换结束时，在所述随机接入参考帧之后接入所述目标视角视频流，获得所述单视角视频流。
6.根据权利要求5所述的自由视角切换方法，其特征在于，在所述原视角视频流之后接入所述随机接入参考帧，包括：
创建一个实例；
根据所述切换视角信息，从所述多视角视频流中从原视角切换至目标视角之间预选取一个或多个单视角视频流的随机接入码流；
从预选取的所述随机接入码流中提取对应的随机接入参考帧；
将所述对应的随机接入参考帧接入在所述原视角视频流之后。
7.根据权利要求6所述的自由视角切换方法，其特征在于，所述随机接入码流由与之对应的所述单视角视频流的关键帧按时间戳先后依序构成。
8.根据权利要求1至7任一项所述的自由视角切换方法，其特征在于，基于WebRTC协议传输所述单视角视频流。
9.一种交互式自由视角播放***，其特征在于，包括：
视频流采集装置，其与所述计算服务器通信连接；
一个以上计算服务器，其用于获取多视角视频流；
信号服务器，其与所述计算服务器通信连接；
流媒体服务器，其与所述计算服务器通信连接；
一个以上客户端，其与所述信令服务器通信连接；
其中，所述计算服务器从所述视频流采集装置中获取多视角视频流；所述客户端通过所述信号服务器向所述计算服务器传输交互指令；所述计算服务器根据交互指令输出单路视频流至所述流媒体服务器，所述流媒体服务器向所述客户端发送所述单路视频流。
10.根据权利要求9所述的交互式自由视角播放***，其特征在于，所述视频流采集装置包括：
一个以上用于采集多视角视频流的视频数据采集模块；
一个以上用于图像数据校正的图像校正模块；
一个以上视频编码推流模块；及
RTMP流媒体服务器。
CN202210798544.1A 2022-07-08 2022-07-08 一种自由视角切换方法及交互式自由视角播放*** Pending CN115174942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798544.1A CN115174942A (zh) 2022-07-08 2022-07-08 一种自由视角切换方法及交互式自由视角播放***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798544.1A CN115174942A (zh) 2022-07-08 2022-07-08 一种自由视角切换方法及交互式自由视角播放***

Publications (1)

Publication Number Publication Date
CN115174942A true CN115174942A (zh) 2022-10-11

Family

ID=83490852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798544.1A Pending CN115174942A (zh) 2022-07-08 2022-07-08 一种自由视角切换方法及交互式自由视角播放***

Country Status (1)

Country Link
CN (1) CN115174942A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116614648A (zh) * 2023-04-18 2023-08-18 天翼数字生活科技有限公司 一种基于视场角补偿***的自由视角视频显示方法和***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155298A (zh) * 2006-09-25 2008-04-02 华为技术有限公司 一种实现网络电视频道快速切换的方法及***
CN102510541A (zh) * 2011-12-30 2012-06-20 Tcl数码科技（深圳）有限责任公司 多屏互动的音视频内容切换方法及媒体播放器
CN102761773A (zh) * 2012-07-03 2012-10-31 Ut斯达康通讯有限公司 一种利用i帧改善iptv业务的用户体验的方法
CN103856806A (zh) * 2012-11-28 2014-06-11 腾讯科技（北京）有限公司 视频流切换方法、装置及***
CN111355954A (zh) * 2018-12-20 2020-06-30 皇家Kpn公司 为视频播放器装置处理视频数据
CN111355967A (zh) * 2020-03-11 2020-06-30 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、***、装置及介质
CN111818347A (zh) * 2020-06-01 2020-10-23 深圳市佳创视讯技术股份有限公司 一种基于参考帧替换的快速视角切换方法
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN111935557A (zh) * 2019-05-13 2020-11-13 华为技术有限公司 视频处理方法、装置及***
CN112437319A (zh) * 2020-11-10 2021-03-02 杭州叙简科技股份有限公司 一种基于webrtc切换多视频流的方法
CN113256491A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 自由视角数据处理方法、装置、设备及存储介质
CN114035672A (zh) * 2020-07-20 2022-02-11 华为技术有限公司 一种虚拟现实vr场景的视频处理方法及相关设备
CN114222156A (zh) * 2021-12-14 2022-03-22 中国建设银行股份有限公司 视频剪辑方法、装置、计算机设备和存储介质
CN114584769A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种视角切换方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155298A (zh) * 2006-09-25 2008-04-02 华为技术有限公司 一种实现网络电视频道快速切换的方法及***
CN102510541A (zh) * 2011-12-30 2012-06-20 Tcl数码科技（深圳）有限责任公司 多屏互动的音视频内容切换方法及媒体播放器
CN102761773A (zh) * 2012-07-03 2012-10-31 Ut斯达康通讯有限公司 一种利用i帧改善iptv业务的用户体验的方法
CN103856806A (zh) * 2012-11-28 2014-06-11 腾讯科技（北京）有限公司 视频流切换方法、装置及***
CN111355954A (zh) * 2018-12-20 2020-06-30 皇家Kpn公司 为视频播放器装置处理视频数据
CN111935557A (zh) * 2019-05-13 2020-11-13 华为技术有限公司 视频处理方法、装置及***
CN111355967A (zh) * 2020-03-11 2020-06-30 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、***、装置及介质
CN111818347A (zh) * 2020-06-01 2020-10-23 深圳市佳创视讯技术股份有限公司 一种基于参考帧替换的快速视角切换方法
CN114035672A (zh) * 2020-07-20 2022-02-11 华为技术有限公司 一种虚拟现实vr场景的视频处理方法及相关设备
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN112437319A (zh) * 2020-11-10 2021-03-02 杭州叙简科技股份有限公司 一种基于webrtc切换多视频流的方法
CN114584769A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种视角切换方法及装置
CN113256491A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 自由视角数据处理方法、装置、设备及存储介质
CN114222156A (zh) * 2021-12-14 2022-03-22 中国建设银行股份有限公司 视频剪辑方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张文杰: "基于Tile的全景视频自适应传输技术研究", 《中国优秀硕士学位论文全文数据库》, pages: 49 - 55 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116614648A (zh) * 2023-04-18 2023-08-18 天翼数字生活科技有限公司 一种基于视场角补偿***的自由视角视频显示方法和***
CN116614648B (zh) * 2023-04-18 2024-06-07 天翼数字生活科技有限公司 一种基于视场角补偿***的自由视角视频显示方法和***

Similar Documents

Publication Publication Date Title
US11284055B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP2234406A1 (en) A three dimensional video communication terminal, system and method
CN110149542B (zh) 传输控制方法
JP2020519094A (ja) ビデオ再生方法、デバイス、およびシステム
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
CN112219403B (zh) 沉浸式媒体的渲染视角度量
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和***
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
WO2021218573A1 (zh) 视频播放方法、装置及***、计算机存储介质
CN109451293B (zh) 一种自适应立体视频传输***和方法
CN115174942A (zh) 一种自由视角切换方法及交互式自由视角播放***
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
CN102843566A (zh) 一种3d视频数据的通讯方法和设备
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
CN115174943B (zh) 一种边云协同及客户端自适应的自由视角播放方法及***
Fautier Next-generation video compression techniques
CN107454463A (zh) 一种基于有线连接的跨屏同步播放视频资源的方法及装置
Debono et al. 3D video coding and transmission
WO2022222533A1 (zh) 视频播放方法、装置及***、计算机可读存储介质
CA2824708A1 (en) Video content generation
CN116980688A (zh) 视频处理方法、装置、计算机、可读存储介质及程序产品
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221011