CN106060513B - 一种用于柱面立体全景视频网络播放的码流缓存方法 - Google Patents

一种用于柱面立体全景视频网络播放的码流缓存方法 Download PDF

Info

Publication number
CN106060513B
CN106060513B CN201610496916.XA CN201610496916A CN106060513B CN 106060513 B CN106060513 B CN 106060513B CN 201610496916 A CN201610496916 A CN 201610496916A CN 106060513 B CN106060513 B CN 106060513B
Authority
CN
China
Prior art keywords
cylinder
visual angle
code stream
panoramic video
dimensional panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610496916.XA
Other languages
English (en)
Other versions
CN106060513A (zh
Inventor
罗文峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youxiang Computing Technology Co Ltd
Original Assignee
Shenzhen Youxiang Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youxiang Computing Technology Co Ltd filed Critical Shenzhen Youxiang Computing Technology Co Ltd
Priority to CN201610496916.XA priority Critical patent/CN106060513B/zh
Publication of CN106060513A publication Critical patent/CN106060513A/zh
Application granted granted Critical
Publication of CN106060513B publication Critical patent/CN106060513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种用于柱面立体全景视频网络播放的码流缓存机制，涉及计算机视觉领域。本发明针对柱面立体全景视频数据量大，在网络播放中难以实现实时观看的现状，提出将柱面立体全景视频划分为多个块，并对这些块进行独立编码，网络传输时只传送用户选择视角以及其左右两侧视角的数据块；在客户端建立三个缓冲区，分别存放观看视角方向数据块的码流和观看视角左右两边数据块的码流，让用户在改变观看视角时仍然能够实时观看视频。本发明方法能够大大减少柱面立体全景视频在网络传输中的数据量，并能有效解决柱面立体全景视频网络播放的延时和卡顿问题，提高用户体验。

Description

一种用于柱面立体全景视频网络播放的码流缓存方法
技术领域
本发明涉及计算机视觉领域，特指一种用于柱面立体全景视频网络播放的码流缓存方法。
背景技术
立体视频是一种能够提供立体感的视频技术，通常所说的立体视频是双目立体视频，这种视频包含有左视频和右视频。双目立体视觉是模仿人眼的视差原理，利用成像设备从不同的位置获取被测物体的两幅图像，然后通过特殊的设备，让我们的眼睛分别只能看到一个视角的图像，然后通过大脑对两幅视差图像的分析与融合，产生具有立体感的图像。
全景视频是一种具有开阔视野的视频。柱面全景视频是由水平面360度范围的空间信息构成的图像序列组成的。柱面全景视频可以在水平面360度的范围内选择任意角度观看动态视频，并可以实时调整观看的角度。
柱面立体全景视频是把立体视频技术与柱面全景视频技术融合在一起形成的一种新形态的视频。柱面立体全景视频由两幅具有视差且时间同步的柱面全景图像组成。通过柱面立体全景视频播放器以及特定的头戴设备，我们就可以观看到柱面立体全景视频画面效果。
柱面立体全景视频在很多领域均有广泛运用，如虚拟校园、虚拟旅游、网上商业产品展示、军事仿真等。与传统视频相比较，柱面立体全景视频在提供大视野的同时，网络传输成了一道难题。普通的平面视频只给用户提供一个视角范围的信息，而全景视频的视野范围是普通视频视野范围的5～6倍，加之又是立体视屏，如果要给用户提供和普通视频一样的视觉质量，那柱面立体全景视频的数据量是普通视频的10～12倍，这个数量是惊人的。按照传统的视频传输方案，柱面立体全景视频要在网络环境下使用变得几乎不可能，客户体验会非常差。
由于在同一时刻，用户只能看到柱面立体全景视频的某一部分信息，我们在传输的时候也可以先只传输需要观看的这一部分信息，利用这一特点，我们可以通过分块编码与码流缓存方法来提高柱面立体全景视频的传输效率，提高用户体验。
发明内容
本发明针对柱面立体全景视频在网络播放中传输数据量大，难以实现实时观看的情况，提出了一种柱面立体全景视频码流缓存方法，实现柱面立体全景视频在网络播放中实时流畅的观看。
本发明的具体技术方案如下：一种用于柱面立体全景视频网络播放的码流缓存方法，所述码流缓存方法具体流程包括以下步骤：
1、将柱面立体全景视频的左视频和右视频分别以视角为0时作为起点，平均分成10块；
2、对每个块进行独立编码；
3、在客户端分配3个缓存区，一个主缓存区和两个次缓存区，所述主缓存区存放用户选择的视角范围数据块的码流，所述两个次缓存区分别存放与主缓存区同一时间的左右相邻数据块的码流；
4、将用户选择观看视角的数据通过网络传输预存一段即将播放的数据存入所述主缓存区，并将观看视角两边的相邻数据块同步预存一段数据存入所述两个次缓存区；
5、当观看视角发生改变时，将需要观看的其中一个次缓存区作为主缓存区，同时将前一个主缓存区降为次缓存区，并用当前观看视角相邻没有被缓存的数据码流替换另一个次缓存区的数据码流。
与现有技术相比，本发明的有益效果在于：
通过对柱面立体全景视频进行分块编码，并创建3个缓存区分别缓存观看视角与观看视角相邻两边的数据块，使得用户不管是在选择视角还是转向左右两侧的相邻视角，网络都不会跟不上用户需要的观看数据，从而实现柱面立体全景视频在网络端的实时观看。
附图说明
图1是本发明柱面立体全景视频分块示意图；
图2是本发明柱面立体全景视频网络播放示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
先确定柱面立体全景视频的分块划分。研究证明，人单眼的水平视角最大可以达到156度，双眼的水平视角最大可达到188度，而两眼重合的视域为124度，人眼只有在124度视角范围内观看到的物体才会形成立体感。事实上，人眼在观看时并没有用到所有的视域范围，通常，人的视觉在10度是敏感区，10:20度可以正确识别信息，20:30度对动态东西比较敏感，当图像垂直方向视角为20度，水平方向的视角为36度时，就会有很好的视觉临场感，眼球也不会因为频繁转动而造成疲倦，是一个非常舒适的视角范围。基于此原理，本发明把36度视角范围作为柱面立体全景视频编码分块的基础，将左右视角的360度柱面全景视频分别对应分成10块，得到10组不同视角的立体视频。具体放方法为：对左右视角全景图像分别先确定视角为0度的边界，然后以0度边界为起点，每36度划分为一块，依次划分出10块，最后得到10组视角范围为36度的不同视角立体视频。图1为柱面立体全景视频的分块示意图。
根据上述的分块策略，对每个块进行独立编码，得到不同的数据块。由于用户观看的时候同一时间只需要观看一个视角范围信息，所以我们不用把整个的柱面立体全景信息全部进行传送，理论上只需要传送用户观看视角的信息即可，事实上，观看柱面立体全景视频的用户会随时的向左或是向右切换视角，如果用户切换视角之后不能及时的提供视频数据，那用户光看时就会出现卡顿现象，用户体验会非常差，根据这种现象，本发明在客户端设计了一种应对的码流缓存方法。
图2为本发明的柱面立体全景视频网络播放示意图，数据通过网络传输之后保存到了客户端的缓存区中，接下来讲述数据在缓存区的具体缓存方法。先在客户端开辟出三个缓存空间，一个为主缓存区，另外两个为次缓存区，主缓存区存放用户选择的视角范围数据块的码流，两个次缓存区分别存放与主缓存区同一时间的左右相邻数据块的码流。当用户选择视角不发生变化时，对三个缓存区的码流替换策略为：将缓存码流之后的部分码流替换已经播放的数据块的码流；当用户视角向左发生变化时，把缓存了这部分码流的次缓存区作为主缓存区，原来的主缓存区降为次缓存区，对于另外一个次缓存区，用当前视角左边的码流去替换原来存放的码流；当用户视角向右发生变化时，把缓存了需要视角码流的次缓存区作为主缓存区，原来的主缓存区降为次缓存区，并用当前视角右边的同步码流替换另一次缓存区的码流。
确定主缓存区后，将主缓存区存储视角的立体视频码流进行解码，得到待播放的左视频流的连续帧和右视频流的连续帧，通过投影变换将柱面视图变换为平面视图，并通过帧同步控制左视频和右视频同时播放。
本发明的柱面立体全景视频网络播放在客户端建立三个线程，分别为数据接收线程、解码显示线程和管理线程。数据接收线程负责接收来自网络的数据，并把接收数据放入相应的缓存区中，解码显示线程负责控制待播放码流的解码、投影变换和显示，管理线程负责完成客户端的资源管理，包括缓存数据替换管理和各线程间的同步管理。
以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现***和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (1)

1.一种用于柱面立体全景视频网络播放的码流缓存方法，其特征在于，所述码流缓存方法具体流程包括如下步骤：
(1)将柱面立体全景视频的左视频和右视频分别以视角为0时作为起点，平均分成10块；
(2)对每个块进行独立编码；
(3)在客户端分配3个缓存区，一个主缓存区和两个次缓存区，所述主缓存区存放用户选择的视角范围数据块的码流，所述两个次缓存区分别存放与主缓存区同一时间的左右相邻数据块的码流；
(4)将用户选择观看视角的数据通过网络传输预存一段即将播放的数据存入所述主缓存区，并将观看视角两边的相邻数据块同步预存一段数据存入所述两个次缓存区；
(5)当观看视角发生改变时，将需要观看的其中一个次缓存区作为主缓存区，同时将前一个主缓存区降为次缓存区，并用当前观看视角相邻没有被缓存的数据码流替换另一个次缓存区的数据码流。
CN201610496916.XA 2016-06-29 2016-06-29 一种用于柱面立体全景视频网络播放的码流缓存方法 Active CN106060513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610496916.XA CN106060513B (zh) 2016-06-29 2016-06-29 一种用于柱面立体全景视频网络播放的码流缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610496916.XA CN106060513B (zh) 2016-06-29 2016-06-29 一种用于柱面立体全景视频网络播放的码流缓存方法

Publications (2)

Publication Number Publication Date
CN106060513A CN106060513A (zh) 2016-10-26
CN106060513B true CN106060513B (zh) 2017-11-21

Family

ID=57166181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610496916.XA Active CN106060513B (zh) 2016-06-29 2016-06-29 一种用于柱面立体全景视频网络播放的码流缓存方法

Country Status (1)

Country Link
CN (1) CN106060513B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106604041B (zh) * 2016-12-01 2020-05-22 深圳市梦网视讯有限公司 一种基于视觉连续性的全景视频分发方法和***
CN106851212B (zh) * 2017-03-03 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于用户特性的全景视频分发方法和***
CN106961622B (zh) * 2017-03-30 2020-09-25 联想(北京)有限公司 一种显示处理方法及装置
CN107197318A (zh) * 2017-06-19 2017-09-22 深圳市望尘科技有限公司 一种基于多摄像头光场拍摄的实时自由视点直播方法
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN112445727B (zh) * 2020-11-27 2023-08-25 鹏城实验室 基于视口特征的边缘缓存置换方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127911A (zh) * 2007-09-29 2008-02-20 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
CN101345843A (zh) * 2008-08-28 2009-01-14 中兴通讯股份有限公司 可视移动终端全景视频的实现方法及***
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、***和移动终端
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127911A (zh) * 2007-09-29 2008-02-20 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
CN101345843A (zh) * 2008-08-28 2009-01-14 中兴通讯股份有限公司 可视移动终端全景视频的实现方法及***
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、***和移动终端
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和***

Also Published As

Publication number Publication date
CN106060513A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106060513B (zh) 一种用于柱面立体全景视频网络播放的码流缓存方法
US11575876B2 (en) Stereo viewing
CN106464854B (zh) 图像编码和显示
KR101095392B1 (ko) 3-ｄ 영상 디스플레이 스크린상에 3-ｄ 영상들을렌더링하는 시스템 및 방법
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
CN107071384B (zh) 虚拟主动视差计算补偿的双目渲染方法及***
CN106303573A (zh) 一种3d视频图像处理方法及服务器和客户端
CN102577401A (zh) 用于立体多用户显示的方法和设备
CN105894567A (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
CN105472308A (zh) 多视角裸眼3d视频会议***
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
CN100486140C (zh) 基于因特网的立体视频监视方法及***
US11010923B2 (en) Image encoding method and technical equipment for the same
CN102917176A (zh) 一种三维立体视差字幕的产生方法
Kara et al. The couch, the sofa, and everything in between: discussion on the use case scenarios for light field video streaming services
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
Hast 3D Stereoscopic Rendering: An Overview of Implementation Issues
CN107547889B (zh) 一种基于即时通信进行立体视频的方法及装置
CN106034232A (zh) 显示控制方法和装置
US9609313B2 (en) Enhanced 3D display method and system
Turner et al. Distributing Stereoscopic Views on Thin Client Displays.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant