CN106851212B - 一种基于用户特性的全景视频分发方法和*** - Google Patents

一种基于用户特性的全景视频分发方法和*** Download PDF

Info

Publication number
CN106851212B
CN106851212B CN201710124230.2A CN201710124230A CN106851212B CN 106851212 B CN106851212 B CN 106851212B CN 201710124230 A CN201710124230 A CN 201710124230A CN 106851212 B CN106851212 B CN 106851212B
Authority
CN
China
Prior art keywords
stream
code stream
panoramic video
path
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710124230.2A
Other languages
English (en)
Other versions
CN106851212A (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co Ltd
Original Assignee
Shenzhen Monternet Encyclopedia Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Monternet Encyclopedia Information Technology Co Ltd filed Critical Shenzhen Monternet Encyclopedia Information Technology Co Ltd
Priority to CN201710124230.2A priority Critical patent/CN106851212B/zh
Publication of CN106851212A publication Critical patent/CN106851212A/zh
Application granted granted Critical
Publication of CN106851212B publication Critical patent/CN106851212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种基于用户特性的全景视频分发方法和***。属于全景视频分发技术领域，本发明方法利用用户观看特性的连续性，对全景视频拼接的多路码流进行自适应分发，从而使得全景视频能在网络拥塞时按需分发码流，在不影响观众的观看效果，同时提升全景视频播放的流畅度。

Description

一种基于用户特性的全景视频分发方法和***
技术领域
本发明涉及全景视频分发技术领域，尤其涉及一种基于用户特性的全景视频分发方法和***。
背景技术
全景视频在提供全方位的视觉信息的同时，能够提供动态的实时的视频信息，使得人们可以看到环绕在摄像机周围的整个动态景象。全景图一般都是大分辨率的图像，它的生成需要大量的计算工作。而全景视频相比全景图，增加了一个新的时间维度。因此，计算量和数据量都将会是数十倍于全景图，这对硬件***的处理能力和软件***的工作效率都是极大的挑战。而当全景视频的码流进行分发传输时，对网络的带宽将形成极大地压力，对带宽极其有限的移动网络，更是极大地挑战。
发明内容
本发明实施例的目的在于提出一种基于用户特性的全景视频分发方法，旨在解决现有技术当全景视频的码流进行分发传输时,网络带宽压力过大的问题。
本发明实施例是这样实现的，一种基于用户特性的全景视频分发方法，，所述方法包括：
步骤A：将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}；
步骤B：发送const秒全景视频多路码流streamn；
步骤C：在const秒时间窗内，发送该时间窗内的标志视角
Figure BDA0001237973630000011
步骤D：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入步骤E；否则，结束全景视频多路码流的分发；
步骤E：如果
Figure BDA0001237973630000021
存在，则进入步骤F；否则，则令nt＝nt+1，确定const，
Figure BDA0001237973630000022
的值，重新进入步骤B；
步骤F：如果用户惯性参数signuse绝对值等于1，则不计算用户惯性参数signuse，直接进入步骤G；否则，则首先计算用户惯性参数signuse，然后进入步骤G；
步骤G：根据用户惯性参数signuse，自适应分发全景视频多路码流；
步骤H：令nt＝nt+1，确定const，
Figure BDA0001237973630000023
的值，重新进入步骤C。
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；
const表示时间窗时长参数；nt表示时间窗标号；
Figure BDA0001237973630000024
称为第nt个时间窗标志视角，
Figure BDA0001237973630000025
称为第nt-1个时间窗标志视角；
Figure BDA0001237973630000026
分别表示第nt个时间窗的时间上限和时间下限。
本发明实施例的另一目的在于提出一种基于用户特性的全景视频分发***，所述***包括：
拼接码流排列模块，用于将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为
{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}；
码流发送模块，用于发送const秒全景视频多路码流streamn；
标志视角发送模块，用于在const秒时间窗内，发送该时间窗内的标志视角
Figure BDA0001237973630000027
第一判断处理模块，用于判断如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入第二判断处理模块；否则，结束全景视频多路码流的分发；
第二判断处理模块，用于判断如果
Figure BDA0001237973630000031
存在，则进入第三判断处理模块；否则，则进入令第一设置模块；
第一设置模块，用于设置nt＝nt+1，确定const，
Figure BDA0001237973630000032
的值，重新进入码流发送模块；
第三判断处理模块，用于判断如果用户惯性参数signuse绝对值等于1，则直接进入码流自适应分发装置；否则进入用户惯性参数计算模块；
用户惯性参数计算模块，用于首先计算用户惯性参数signuse，然后进入码流自适应分发装置；
码流自适应分发装置，用于根据用户惯性参数signuse，自适应分发全景视频多路码流；
第二设置模块，用于令nt＝nt+1，确定const，
Figure BDA0001237973630000033
的值，重新进入标志视角发送模块；
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；
const表示时间窗时长参数；nt表示时间窗标号；
Figure BDA0001237973630000034
称为第nt个时间窗标志视角，
Figure BDA0001237973630000035
称为第nt-1个时间窗标志视角；
Figure BDA0001237973630000036
分别表示第nt个时间窗的时间上限和时间下限。
本发明的有益效果
本发明提出一种基于用户特性的全景视频分发方法和***。本发明方法利用用户观看特性的连续性，对全景视频拼接的多路码流进行自适应分发。从而使得全景视频能在网络拥塞时按需分发码流，在不影响观众的观看效果，同时提升全景视频播放的流畅度。
附图说明
图1是本发明优选实施例一种基于用户特性的全景视频分发方法流程图；
图2是图1中Step6的详细方法流程图；
图3是本发明优选实施例一种基于用户特性的全景视频分发***机构图；
图4是图3中码流自适应分发装置详细结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明实施例提出一种基于用户特性的全景视频分发方法和***。本发明实施例方法利用用户观看特性的连续性，对全景视频拼接的多路码流进行自适应分发。从而使得全景视频能在网络拥塞时按需分发码流，在不影响观众的观看效果，同时提升全景视频播放的流畅度。
实施例一
图1是本发明优选实施例一种基于用户特性的全景视频分发方法流程图；所述方法包括以下步骤：
Step0：将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为
{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}。
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；“按摄像机采集视角顺序排列”可按升序排列，也可按降序排列，为方便表述，文中采用升序排列模式，即θ1<θ2<......<θN-1<θN。
Step1：发送const秒全景视频多路码流streamn，n＝1,2,...,N。
其中，
Figure BDA0001237973630000041
const表示时间窗时长参数；t0表示发送码流初始缓冲时长，一般可取3-6秒；tc表示发送码流缓冲时长；nt表示时间窗标号，初始值为1。
Step2：在const秒时间窗内，发送该时间窗内的标志视角
Figure BDA0001237973630000051
其中，
Figure BDA0001237973630000052
称为第nt个时间窗标志视角，
Figure BDA0001237973630000053
表示第nt个时间窗的视觉角度上限和下限，
Figure BDA0001237973630000054
Figure BDA0001237973630000055
max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；t表示时间变量；
Figure BDA0001237973630000056
分别表示第nt个时间窗的时间上限和时间下限，
Figure BDA0001237973630000057
Figure BDA0001237973630000058
Step3：如果全景视频多路码流streamn(n＝1,2,...,N)第nt+1时间窗内的码流存在，则进入Step4；否则，结束全景视频多路码流的分发。
Step4：如果
Figure BDA0001237973630000059
存在，则进入Step5；否则，则令nt＝nt+1，确定const，
Figure BDA00012379736300000510
的值，重新进入Step1。
其中，
Figure BDA00012379736300000511
称为第nt-1个时间窗标志视角。
Step5：如果用户惯性参数signuse绝对值等于1，则不计算用户惯性参数signuse，直接进入Step6；否则，则首先计算用户惯性参数signuse，然后进入Step6。
“计算用户惯性参数signuse”的方法如下：
步骤1：如果
Figure BDA00012379736300000512
且
Figure BDA00012379736300000513
则令tempu＝tempu+1；否则如果
Figure BDA00012379736300000514
且
Figure BDA00012379736300000515
则令tempd＝tempd+1；否则，直接进入步骤2；
步骤2：计算
Figure BDA0001237973630000061
其中，Thres1、Thres2分别表示第一、第二判定阈值；abs(变量)表示对变量求绝对值；tempu、tempd分别表示第一、第二角度变换统计量，初始值均为0；signuse表示用户惯性参数，初始值为0。
Step6：根据用户惯性参数signuse，自适应分发全景视频多路码流。
图2是图1中Step6的详细方法流程图；具体包括以下步骤：
Step61：计算角度差序列，记为
Figure BDA0001237973630000062
Step62：首先计算dθminu＝min(dθn|dθn>0，n＝1,2,...,N)，然后找到dθminu对应的摄像机采集角度，记为θnow，对应的码流记为streamnow；dθminu为临时变量；
Step63：将streamnow及streamnow之后的码流顺序放入右侧码流序列表，记为tableu＝{streamnow,streamnow+1,streamnow+2,...,streamN}，然后将streamnow之前的码流倒序放入左侧码流序列表，记为tabled＝{streamnow-1,streamnow-2,streamnow-3,...,stream1}
Step64：如果signuse＝1，则按第一方向构建全景视频多路码流分发序列表；否则，如果signuse＝-1，则按第二方向构建全景视频多路码流分发序列表；否则，按第三方向构建全景视频多路码流分发序列表。
其中，“按第一方向构建全景视频多路码流分发序列表”方法如下：
按照先numu个tableu码流后numd个tabled码流的结构规律，构建全景视频多路码流分发序列表，其中要求numu>numd，举例说明：numu＝2、numd＝1
Figure BDA0001237973630000071
“按第二方向构建全景视频多路码流分发序列表”方法如下：
按照先numd个tabled码流后numu个tableu码流的结构规律，构建全景视频多路码流分发序列表，其中要求numd>numu，举例说明：numd＝2、numu＝1
Figure BDA0001237973630000072
“按第三方向构建全景视频多路码流分发序列表”方法如下：
按照先1个tabled码流后1个tableu码流的结构规律，构建全景视频多路码流分发序列表或者按照先1个tableu码流后1个tabled码流的结构规律，构建全景视频多路码流分发序列表；举例说明：
Figure BDA0001237973630000073
Step65：按全景视频多路码流分发序列表的顺序，依次发送全景视频多路码流对应nt+1时间窗内的码流。
Step7：令nt＝nt+1，确定const，
Figure BDA0001237973630000074
的值，重新进入Step2。
实施例二
图3是本发明优选实施例一种基于用户特性的全景视频分发***机构图；所述***包括：
拼接码流排列模块，用于将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为
{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}。
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；“按摄像机采集视角顺序排列”可按升序排列，也可按降序排列，为方便表述，文中采用升序排列模式，即θ1<θ2<......<θN-1<θN。
码流发送模块，用于发送const秒全景视频多路码流streamn，n＝1,2,...,N。
其中，
Figure BDA0001237973630000081
const表示时间窗时长参数；t0表示发送码流初始缓冲时长，一般可取3-6秒；tc表示发送码流缓冲时长；nt表示时间窗标号，初始值为1。
标志视角发送模块，用于在const秒时间窗内，发送该时间窗内的标志视
角
Figure BDA0001237973630000082
其中，
Figure BDA0001237973630000083
称为第nt个时间窗标志视角，
Figure BDA0001237973630000084
表示第nt个时间窗的视觉角度上限和下限，
Figure BDA0001237973630000085
Figure BDA0001237973630000086
max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；t表示时间变量；
Figure BDA0001237973630000087
分别表示第nt个时间窗的时间上限和时间下限，
Figure BDA0001237973630000088
Figure BDA0001237973630000089
第一判断处理模块，用于判断如果全景视频多路码流streamn(n＝1,2,...,N)第nt+1时间窗内的码流存在，则进入第二判断处理模块；否则，结束全景视频多路码流的分发。
第二判断处理模块，用于判断如果
Figure BDA00012379736300000810
存在，则进入第三判断处理模块；否则，则进入令第一设置模块；
其中，
Figure BDA0001237973630000091
称为第nt-1个时间窗标志视角。
第一设置模块，用于设置nt＝nt+1，确定const，
Figure BDA0001237973630000092
的值，重新进入码流发送模块。
第三判断处理模块，用于判断如果用户惯性参数signuse绝对值等于1，则直接进入码流自适应分发装置；否则进入用户惯性参数计算模块；
用户惯性参数计算模块，用于首先计算用户惯性参数signuse，然后进入码流自适应分发装置。
“计算用户惯性参数signuse”的方法如下：
步骤1：如果
Figure BDA0001237973630000093
且
Figure BDA0001237973630000094
则令tempu＝tempu+1；否则如果
Figure BDA0001237973630000095
且
Figure BDA0001237973630000096
则令tempd＝tempd+1；否则，直接进入步骤2；
步骤2：计算
Figure BDA0001237973630000097
其中，Thres1、Thres2分别表示第一、第二判定阈值；abs(变量)表示对变量求绝对值；tempu、tempd分别表示第一、第二角度变换统计量，初始值均为0；signuse表示用户惯性参数，初始值为0。
码流自适应分发装置，用于根据用户惯性参数signuse，自适应分发全景视频多路码流。
第二设置模块，用于令nt＝nt+1，确定const，
Figure BDA0001237973630000098
的值，重新进入标志视角发送模块。
进一步地，图4是图3中码流自适应分发装置详细结构图，所述码流自适应分发装置还包括：
角度差序列计算模块，用于计算角度差序列，记为
Figure BDA0001237973630000099
n＝1,2,...,N；
临时摄像机采集角度及对应码流获取模块，用于首先计算dθminu＝min(dθn|dθn>0，n＝1,2,...,N)，然后找到dθminu对应的摄像机采集角度，记为θnow，对应的码流记为streamnow；dθminu为临时变量；
码流序列表设置模块，用于将streamnow及streamnow之后的码流顺序放入右侧码流序列表，记为
tableu＝{streamnow,streamnow+1,streamnow+2,...,streamN}，然后将streamnow之前的码流倒序放入左侧码流序列表，记为
tabled＝{streamnow-1,streamnow-2,streamnow-3,...,stream1}
码流分发序列表构建模块，用于如果signuse＝1，则按第一方向构建全景视频多路码流分发序列表；否则，如果signuse＝-1，则按第二方向构建全景视频多路码流分发序列表；否则，按第三方向构建全景视频多路码流分发序列表。
其中，“按第一方向构建全景视频多路码流分发序列表”方法如下：
按照先numu个tableu码流后numd个tabled码流的结构规律，构建全景视频多路码流分发序列表，其中要求numu>numd，举例说明：numu＝2、numd＝1
Figure BDA0001237973630000101
“按第二方向构建全景视频多路码流分发序列表”方法如下：
按照先numd个tabled码流后numu个tableu码流的结构规律，构建全景视频多路码流分发序列表，其中要求numd>numu，举例说明：numd＝2、numu＝1
Figure BDA0001237973630000111
“按第三方向构建全景视频多路码流分发序列表”方法如下：
按照先1个tabled码流后1个tableu码流的结构规律，构建全景视频多路码流分发序列表或者按照先1个tableu码流后1个tabled码流的结构规律，构建全景视频多路码流分发序列表；举例说明：
table＝{streamnow,streamnow-1,
streamnow+1,streamnow-2,
,...,}
码流发送模块，用于按全景视频多路码流分发序列表的顺序，依次发送全景视频多路码流对应nt+1时间窗内的码流。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于用户特性的全景视频分发方法，其特征在于，所述方法包括：
步骤A：将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}；
步骤B：发送const秒全景视频多路码流streamn；
步骤C：在const秒时间窗内，发送该时间窗内的标志视角
Figure FDA0002314378450000011
步骤D：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入步骤E；否则，结束全景视频多路码流的分发；
步骤E：如果
Figure FDA0002314378450000012
存在，则进入步骤F；否则，则令nt＝nt+1，确定const，
Figure FDA0002314378450000013
的值，重新进入步骤B；
步骤F：如果用户惯性参数signuse绝对值等于1，则不计算用户惯性参数signuse，直接进入步骤G；否则，则首先计算用户惯性参数signuse，然后进入步骤G；其中，所述“计算用户惯性参数signuse”的方法如下：
步骤a：如果
Figure FDA0002314378450000014
且
Figure FDA0002314378450000015
则令tempu＝tempu+1；否则如果
Figure FDA0002314378450000016
且
Figure FDA0002314378450000017
则令tempd＝tempd+1；否则，直接进入步骤a；
步骤b：计算
Figure FDA0002314378450000018
其中，Thres1、Thres2分别表示第一、第二判定阈值；abs(变量)表示对变量求绝对值；tempu、tempd分别表示第一、第二角度变换统计量，初始值均为0；signuse表示用户惯性参数，初始值为0；
步骤G：根据用户惯性参数signuse，自适应分发全景视频多路码流；其中，所述根据用户惯性参数signuse，自适应分发全景视频多路码流具体为：
计算角度差序列，记为
Figure FDA0002314378450000021
首先计算dθminu＝min(dθn|dθn>0，n＝1,2,...,N)，然后找到dθminu对应的摄像机采集角度，记为θnow，对应的码流记为streamnow；dθminu为临时变量；
将streamnow及streamnow之后的码流顺序放入右侧码流序列表，记为tableu＝{streamnow,streamnow+1,streamnow+2,...,streamN}，然后将streamnow之前的码流倒序放入左侧码流序列表，记为tabled＝{streamnow-1,streamnow-2,streamnow-3,...,stream1}
判断如果signuse＝1，则按第一方向构建全景视频多路码流分发序列表；否则，如果signuse＝-1，则按第二方向构建全景视频多路码流分发序列表；否则，按第三方向构建全景视频多路码流分发序列表；其中，所述“按第一方向构建全景视频多路码流分发序列表”方法如下：
按照先numu个tableu码流后numd个tabled码流的结构规律，构建全景视频多路码流分发序列表，其中numu>numd；
所述“按第二方向构建全景视频多路码流分发序列表”方法如下：
按照先numd个tabled码流后numu个tableu码流的结构规律，构建全景视频多路码流分发序列表，其中要求；
所述“按第三方向构建全景视频多路码流分发序列表”方法如下：
按照先1个tabled码流后1个tableu码流的结构规律，构建全景视频多路码流分发序列表或者按照先1个tableu码流后1个tabled码流的结构规律，构建全景视频多路码流分发序列表；
按全景视频多路码流分发序列表的顺序，依次发送全景视频多路码流对应nt+1时间窗内的码流；
步骤H：令nt＝nt+1，确定const，
Figure FDA0002314378450000022
的值，重新进入步骤C；
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；
const表示时间窗时长参数；nt表示时间窗标号；
Figure FDA0002314378450000031
称为第nt个时间窗标志视角，
Figure FDA0002314378450000032
称为第nt-1个时间窗标志视角；
Figure FDA0002314378450000033
分别表示第nt个时间窗的时间上限和时间下限。
2.如权利要求1所述的基于用户特性的全景视频分发方法，其特征在于，
其中，
Figure FDA0002314378450000034
t0表示发送码流初始缓冲时长，范围取3-6秒；tc表示发送码流缓冲时长。
3.如权利要求2所述的基于用户特性的全景视频分发方法，其特征在于，
Figure FDA0002314378450000035
其中，
Figure FDA0002314378450000036
表示第nt个时间窗的视觉角度上限和下限，
Figure FDA00023143784500000310
Figure FDA00023143784500000311
分别表示对求满足条件的变量求最小值、最大值；t表示时间变量；
Figure FDA0002314378450000038
4.一种基于用户特性的全景视频分发***，其特征在于，所述***包括：
拼接码流排列模块，用于将全景视频多路拼接码流，按摄像机采集视角顺序排列，然后将排序以后的全景视频多路拼接码流序列记为{stream1,stream2,...,streamN-1,streamN}，对应的摄像头采集视角序列记为{θ1,θ2,...,θN-1,θN}；
码流发送模块，用于发送const秒全景视频多路码流streamn；
标志视角发送模块，用于在const秒时间窗内，发送该时间窗内的标志视角
Figure FDA0002314378450000039
第一判断处理模块，用于判断如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入第二判断处理模块；否则，结束全景视频多路码流的分发；
第二判断处理模块，用于判断如果
Figure FDA0002314378450000041
存在，则进入第三判断处理模块；否则，则进入令第一设置模块；
第一设置模块，用于设置nt＝nt+1，确定const，
Figure FDA0002314378450000042
的值，重新进入码流发送模块；
第三判断处理模块，用于判断如果用户惯性参数signuse绝对值等于1，则直接进入码流自适应分发装置；否则进入用户惯性参数计算模块；
用户惯性参数计算模块，用于首先计算用户惯性参数signuse，然后进入码流自适应分发装置；其中，所述“计算用户惯性参数signuse”的方法如下：
步骤a：如果
Figure FDA0002314378450000043
且
Figure FDA0002314378450000044
则令tempu＝tempu+1；否则如果
Figure FDA0002314378450000045
且
Figure FDA0002314378450000046
则令tempd＝tempd+1；否则，直接进入步骤a；
步骤b：计算
Figure FDA0002314378450000047
其中，Thres1、Thres2分别表示第一、第二判定阈值；abs(变量)表示对变量求绝对值；tempu、tempd分别表示第一、第二角度变换统计量，初始值均为0；signuse表示用户惯性参数，初始值为0；
码流自适应分发装置，用于根据用户惯性参数signuse，自适应分发全景视频多路码流；其中，码流自适应分发装置包括：
角度差序列计算模块，用于计算角度差序列，记为
Figure FDA0002314378450000048
Figure FDA0002314378450000049
临时摄像机采集角度及对应码流获取模块，用于首先计算dθminu＝min(dθn|dθn>0，n＝1,2,...,N)，然后找到dθminu对应的摄像机采集角度，记为θnow，对应的码流记为streamnow；dθminu为临时变量；
码流序列表设置模块，用于将streamnow及streamnow之后的码流顺序放入右侧码流序列表，记为tableu＝{streamnow,streamnow+1,streamnow+2,...,streamN}，然后将streamnow之前的码流倒序放入左侧码流序列表，记为tabled＝{streamnow-1,streamnow-2,streamnow-3,...,stream1}
码流分发序列表构建模块，用于如果signuse＝1，则按第一方向构建全景视频多路码流分发序列表；否则，如果signuse＝-1，则按第二方向构建全景视频多路码流分发序列表；否则，按第三方向构建全景视频多路码流分发序列表；其中，所述“按第一方向构建全景视频多路码流分发序列表”方法如下：
按照先numu个tableu码流后numd个tabled码流的结构规律，构建全景视频多路码流分发序列表，其中numu>numd；
所述“按第二方向构建全景视频多路码流分发序列表”方法如下：
按照先numd个tabled码流后numu个tableu码流的结构规律，构建全景视频多路码流分发序列表，其中要求；
所述“按第三方向构建全景视频多路码流分发序列表”方法如下：
按照先1个tabled码流后1个tableu码流的结构规律，构建全景视频多路码流分发序列表或者按照先1个tableu码流后1个tabled码流的结构规律，构建全景视频多路码流分发序列表；
码流发送模块，用于按全景视频多路码流分发序列表的顺序，依次发送全景视频多路码流对应nt+1时间窗内的码流；
第二设置模块，用于令nt＝nt+1，确定const，
Figure FDA0002314378450000051
的值，重新进入标志视角发送模块；
其中，streamn表示按摄像机采集视角顺序排列后的第n个拼接码流，N表示拼接码流的个数，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；
const表示时间窗时长参数；nt表示时间窗标号；
Figure FDA0002314378450000052
称为第nt个时间窗标志视角，
Figure FDA0002314378450000053
称为第nt-1个时间窗标志视角；
Figure FDA0002314378450000054
分别表示第nt个时间窗的时间上限和时间下限。
5.如权利要求4所述的基于用户特性的全景视频分发***，其特征在于，
其中，
Figure FDA0002314378450000061
t0表示发送码流初始缓冲时长，范围取3-6秒；tc表示发送码流缓冲时长；
Figure FDA0002314378450000062
其中，
Figure FDA0002314378450000063
表示第nt个时间窗的视觉角度上限和下限，
Figure FDA0002314378450000064
Figure FDA0002314378450000065
分别表示对求满足条件的变量求最小值、最大值；t表示时间变量；
Figure FDA0002314378450000066
CN201710124230.2A 2017-03-03 2017-03-03 一种基于用户特性的全景视频分发方法和*** Active CN106851212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710124230.2A CN106851212B (zh) 2017-03-03 2017-03-03 一种基于用户特性的全景视频分发方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710124230.2A CN106851212B (zh) 2017-03-03 2017-03-03 一种基于用户特性的全景视频分发方法和***

Publications (2)

Publication Number Publication Date
CN106851212A CN106851212A (zh) 2017-06-13
CN106851212B true CN106851212B (zh) 2020-03-17

Family

ID=59138064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710124230.2A Active CN106851212B (zh) 2017-03-03 2017-03-03 一种基于用户特性的全景视频分发方法和***

Country Status (1)

Country Link
CN (1) CN106851212B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348291B (zh) * 2018-11-16 2021-05-18 深圳市梦网视讯有限公司 一种基于运动分析的全景视频码流分发方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600099A (zh) * 2009-04-09 2009-12-09 上海交通大学 多视角视频码流的实时传输同步控制方法
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN106060513A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 一种用于柱面立体全景视频网络播放的码流缓存机制
JP2016213810A (ja) * 2015-05-01 2016-12-15 株式会社リコー 画像表示システム、情報処理装置、プログラム、画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600099A (zh) * 2009-04-09 2009-12-09 上海交通大学 多视角视频码流的实时传输同步控制方法
JP2016213810A (ja) * 2015-05-01 2016-12-15 株式会社リコー 画像表示システム、情報処理装置、プログラム、画像表示方法
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN106060513A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 一种用于柱面立体全景视频网络播放的码流缓存机制

Also Published As

Publication number Publication date
CN106851212A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
TWI826321B (zh) 提高影像品質的方法
US20230334616A1 (en) Virtual lens simulation for video and photo cropping
US10938725B2 (en) Load balancing multimedia conferencing system, device, and methods
WO2017215295A1 (zh) 一种摄像机参数调整方法、导播摄像机及***
EP3271865A1 (en) Detecting segments of a video program
US10250803B2 (en) Video generating system and method thereof
CN111612842A (zh) 生成位姿估计模型的方法和装置
US11599974B2 (en) Joint rolling shutter correction and image deblurring
CN111079588B (zh) 一种图像处理方法、装置及存储介质
CA3182110A1 (en) Reinforcement learning based rate control
CN106851212B (zh) 一种基于用户特性的全景视频分发方法和***
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
WO2024032494A1 (zh) 图像处理方法、装置、计算机、可读存储介质及程序产品
CN113923378A (zh) 视频处理方法、装置、设备及存储介质
WO2021057926A1 (zh) 一种神经网络模型训练方法及装置
WO2021037174A1 (zh) 一种神经网络模型训练方法及装置
CN106604041B (zh) 一种基于视觉连续性的全景视频分发方法和***
CN106791886B (zh) 一种基于视觉特性的全景视频分发方法和***
US10818264B2 (en) Generating virtual reality and augmented reality content for a live event
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN106973282B (zh) 一种全景视频沉浸感增强方法和***
CN104320663A (zh) 一种视频压缩方法及装置和视频传输***
WO2021068729A1 (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
WO2023051245A1 (zh) 视频处理方法、装置、设备及存储介质
CN109348291B (zh) 一种基于运动分析的全景视频码流分发方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen Monternet encyclopedia Information Technology Co. Ltd.

Address before: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit

Applicant before: BAC Information Technology Co., Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Patentee after: Shenzhen mengwang video Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Patentee before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder