CN113473172B - Vr视频缓存方法、装置、缓存服务装置以及存储介质 - Google Patents

Vr视频缓存方法、装置、缓存服务装置以及存储介质 Download PDF

Info

Publication number
CN113473172B
CN113473172B CN202010238749.5A CN202010238749A CN113473172B CN 113473172 B CN113473172 B CN 113473172B CN 202010238749 A CN202010238749 A CN 202010238749A CN 113473172 B CN113473172 B CN 113473172B
Authority
CN
China
Prior art keywords
heat
content
visual angle
view
caching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010238749.5A
Other languages
English (en)
Other versions
CN113473172A (zh
Inventor
陈步华
梁洁
唐宏
庄一嵘
陈戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202010238749.5A priority Critical patent/CN113473172B/zh
Publication of CN113473172A publication Critical patent/CN113473172A/zh
Application granted granted Critical
Publication of CN113473172B publication Critical patent/CN113473172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种VR视频缓存方法、装置、缓存服务装置以及存储介质,涉及计算机技术领域,其中方法包括:获取与在缓存装置中缓存的第二视角内容相对应的访问热度信息和第二视角内容与其他视角内容进行合成处理的合成热度信息;根据预设的热度预测规则并基于访问热度信息和合成热度信息,获取第二视角内容的未来热度信息;基于未来热度信息对第二视角内容进行删除处理;根据预设的命中率增益最大化规则缓存视角内容。本公开的VR视频缓存方法、装置、缓存服务装置以及存储介质,可以避免用户体验质量受到影响,提高了VR缓存内容的命中率,能够优化网络的资源利用,节约建设和维护成本。

Description

VR视频缓存方法、装置、缓存服务装置以及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种VR视频缓存方法、装置、缓存服务装置以及存储介质。
背景技术
虚拟现实(Virtual Reality,简称VR)是一种人机界面技术,它能够使用户在虚拟环境中与三维空间进行交互。VR视频基于VR所产生,其有别于传统视频单一的观看视角,可以为用户展示360度的全景镜头,使用户感觉身在其中。VR视频为利用多相机阵列获得多角度(多视角)的视频,这些视频经过一系列处理后保存在源站服务器上,当需要使用时,VR终端会请求提取视频流,经过追踪和渲染操作呈现用户需要的视角内容。现有的对于多视角视频进行缓存的技术方案,需要较大的存储空间,并且增加用户访问时延,使用户的体验质量受到影响。
发明内容
有鉴于此,本发明要解决的一个技术问题是提供一种VR视频缓存方法、装置、缓存服务装置以及存储介质。
根据本公开的一个方面,提供一种VR视频缓存方法,包括:接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足;如果是,获取与在所述缓存装置中缓存的第二视角内容相对应的访问热度信息和所述第二视角内容与其他视角内容进行合成处理的合成热度信息;根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息;基于所述未来热度信息对所述第二视角内容进行删除处理;根据预设的命中率增益最大化规则缓存视角内容。
可选地,所述根据预设的命中率增益最大化规则缓存视角内容包括:获取合成所述第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值;基于所述最大允许视角间隔阈值缓存视角内容。
可选地,所述基于所述最大允许视角间隔阈值缓存视角内容包括:获取与所述第一视角内容相对应的视角内容集合;基于所述最大允许视角间隔阈值,在所述视角内容集合中获取分别位于所述第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合;如果未缓存有位于所述左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存所述第一视角内容;如果已缓存位于所述左候选缓存集合和位于右候选缓存集合中的第二视角内容,则基于所述最大允许视角间隔阈值确定与所述第一视角内容相对应的左侧最大间距视角内容和右侧最大间距视角内容,并对左侧最大间距视角内容和右侧最大间距视角内容进行缓存处理。
可选地,所述访问热度信息包括:访问统计数据;所述合成热度信息包括:合成统计数据;所述根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息包括:基于所述访问统计数据和所述合成统计数据计算综合加权热度;根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息。
可选地,所述根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息包括:基于历史综合加权热度和历史未来热度生成训练样本;使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练,获得热度预测模型;将所述预设的深度学习模型更新为所述热度预测模型,通过将所述综合加权热度输入所述热度预测模型,获得所述未来热度。
可选地,所述基于所述访问统计数据和所述合成统计数据计算综合加权热度包括:计算所述综合加权热度=α*所述访问统计数据+(1-α)*所述合成统计数据,其中,α为加权参数且α∈[0,1]。
根据本公开的另一方面,提供一种VR视频缓存装置,包括:缓存空间确定模块,用于接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足;热度数据获取模块,用于如果是,获取与在所述缓存装置中缓存的第二视角内容相对应的访问热度信息和所述第二视角内容与其他视角内容进行合成处理的合成热度信息;热度预测模块,用于根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息;缓存内容删除模块,用于基于所述未来热度信息对所述第二视角内容进行删除处理;视角内容缓存模块,用于根据预设的命中率增益最大化规则缓存视角内容。
可选地,所述视角内容缓存模块,包括:命中率增益处理单元,用于获取合成所述第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值;缓存处理单元,用于基于所述最大允许视角间隔阈值缓存视角内容。
可选地,所述命中率增益处理单元,用于获取与所述第一视角内容相对应的视角内容集合;基于所述最大允许视角间隔阈值,在所述视角内容集合中获取分别位于所述第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合;所述缓存处理单元,用于如果未缓存有位于所述左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存所述第一视角内容;如果已缓存位于所述左候选缓存集合和位于右候选缓存集合中的第二视角内容,则基于所述最大允许视角间隔阈值确定与所述第一视角内容相对应的左侧最大间距视角内容和右侧最大间距视角内容,并对左侧最大间距视角内容和右侧最大间距视角内容进行缓存处理。
可选地,所述访问热度信息包括:访问统计数据;所述合成热度信息包括:合成统计数据;所述热度数据获取模块,包括:加权热度确定单元,用于基于所述访问统计数据和所述合成统计数据计算综合加权热度;未来热度预测单元,用于根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息。
可选地,所述未来热度预测单元,用于基于历史综合加权热度和历史未来热度生成训练样本;使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练,获得热度预测模型;将所述预设的深度学习模型更新为所述热度预测模型,通过将所述综合加权热度输入所述热度预测模型,获得所述未来热度。
可选地,所述加权热度确定单元,用于计算所述综合加权热度=α*所述访问统计数据+(1-α)*所述合成统计数据,其中,α为加权参数且α∈[0,1]。
根据本公开的又一方面,提供一种VR视频缓存装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上所述的方法。
根据本公开的又一方面,提供一种缓存服务装置,包括:如上所述的VR视频缓存装置。
根据本公开的再一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如上所述的方法。
本公开的VR视频缓存方法、装置、缓存服务装置以及存储介质,基于访问统计数据和合成统计数据计算综合加权热度,通过热度预测模型获得未来热度,基于未来热度进行第二视角内容删除并根据命中率增益最大化规则缓存视角内容;可以避免用户体验质量受到影响,提高了VR缓存内容的命中率,能够优化网络的资源利用,节约建设和维护成本。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本公开的VR视频缓存方法的一个实施例的流程示意图;
图2为根据本公开的VR视频缓存方法的一个实施例中的缓存视角内容的流程示意图;
图3为根据本公开的VR视频缓存方法的一个实施例中的基于最大允许视角间隔阈值缓存视角内容的流程示意图;
图4为根据本公开的VR视频缓存方法的一个实施例中的获取未来热度信息的流程示意图;
图5为根据本公开的VR视频缓存方法的一个实施例中的基于综合加权热度获取未来热度信息的流程示意图;
图6为根据本公开的VR视频缓存装置的一个实施例的模块示意图;
图7为根据本公开的VR视频缓存装置的一个实施例中的视角内容缓存模块的模块示意图;
图8为根据本公开的VR视频缓存装置的一个实施例中的热度数据获取模块的模块示意图;
图9为根据本公开的VR视频缓存装置的另一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述,其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。
下文中的“第一”、“第二”等仅用于描述上相区别,并没有其它特殊的含义。
视频业务是建立在宽带互联网和移动互联网之上的、向社会公众开放的一种新的视频业务,是集图像、数据等为一体的多媒体交互式服务的技术。对于多视角内容而言,相邻的视点之间存在很多相似部分,因此,一个视角内容能够通过它附近的(一定间隔范围内的)左右视角来合成当前视角内容,本公开提供一种多视角视频的缓存策略,避免从源站服务器提取视频流带来的传输和处理时延,并且,可以优化缓存服务器的存储利用情况,提升VR用户服务质量。
图1为根据本公开的VR视频缓存方法的一个实施例的流程示意图,如图1所示:
步骤101,接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足。每个VR视频可以包含有多个视角内容。
步骤102,如果是,获取与在缓存装置中缓存的第二视角内容相对应的访问热度信息和第二视角内容与其他视角内容进行合成处理的合成热度信息。访问热度信息可以包括访问统计数据等,合成热度信息可以包括合成统计数据等。
步骤103,根据预设的热度预测规则并基于访问热度信息和合成热度信息,获取第二视角内容的未来热度信息。热度预测规则可以有多种。
步骤104,基于未来热度信息对第二视角内容进行删除处理。可以在缓存服务器空间不足时,删除未来热度最低的已缓存的第二视角内容,避免用户体验受到影响。
步骤105,根据预设的命中率增益最大化规则缓存视角内容。命中率增益最大化规则可以有多种。
图2为根据本公开的VR视频缓存方法的一个实施例中的缓存视角内容的流程示意图,如图2所示:
步骤201,获取合成第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值。
VR视频通常是三维多视图,可以从一个VR视频中提取出6、9或更多个不同的视角内容;VR视频的每个视角(内容)可以由左右相邻的视角(内容)合成得到,即基于左右相邻视角(内容)可以合成当前视角(内容)。
步骤202,基于最大允许视角间隔阈值缓存视角内容。
图3为根据本公开的VR视频缓存方法的一个实施例中的基于最大允许视角间隔阈值缓存视角内容的流程示意图,如图3所示:
步骤301,获取与第一视角内容相对应的视角内容集合。
步骤302,基于最大允许视角间隔阈值,在视角内容集合中获取分别位于第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合。
步骤303,如果已经缓存有位于左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存第一视角内容。将第一视角内容缓存在缓存设备中。
步骤304,如果未缓存位于左候选缓存集合、位于右候选缓存集合中的第二视角内容,则基于最大允许视角间隔阈值确定与第一视角内容相对应的左侧最大间距视角内容、右侧最大间距视角内容,并对左侧最大间距视角内容、右侧最大间距视角内容进行缓存处理。将左侧最大间距视角内容、右侧最大间距视角内容缓存在缓存设备中。
图4为根据本公开的VR视频缓存方法的一个实施例中的获取未来热度信息的流程示意图,如图4所示:
步骤401,基于访问统计数据和合成统计数据计算综合加权热度。
计算综合加权热度可以有多种计算方法。例如,计算综合加权热度=α*访问统计数据+(1-α)*合成统计数据,其中,α为加权参数且α∈[0,1]。
步骤402,根据热度预测规则并基于综合加权热度,获取未来热度信息。热度预测规则可以有多种。
图5为根据本公开的VR视频缓存方法的一个实施例中的基于综合加权热度获取未来热度信息的流程示意图,如图5所示:
步骤501,基于历史综合加权热度和历史未来热度生成训练样本。
步骤502,使用深度学习方法并基于训练样本对预设的深度学习模型进行训练,获得热度预测模型。热度预测模型可以有多种,例如为神将网络模型等。
步骤503,将预设的深度学习模型更新为热度预测模型,通过将综合加权热度输入热度预测模型,获得未来热度。
上述实施例中的VR视频缓存方法,基于访问统计数据和合成统计数据计算综合加权热度,通过热度预测模型获得未来热度,将未来热度最低的第二视角内容删除,克服了传统二维视频缓存替换方法只考虑内容访问热度,而误删除对其他视点内容合成有贡献的VR视角内容的问题。
本公开的VR视频缓存方法不直接缓存用户请求的VR视角内容,而是采用一定间隔范围内的临近视角内容合成当前视角的策略,并利用缓存命中率最大化原则,克服了传统二维视频缓存替换方法会造成额外VR视点渲染和处理时延、传输时延以及带宽要求高的缺陷。
在一个实施例中,接收到用户VR终端发送的第一视角内容的请求,对于在缓存设备中已缓存的第二视角内容,采集各个时间段内用户请求访问视角内容热度(访问统计数据)和视角内容用于合成其他视角内容的合成热度(合成统计数据)统计。
已缓存的第二视角内容的综合加权热度=α*用户访问热度(访问统计数据)+(1-α)*合成其他视角热度(合成统计数据),其中,α为可调参数且α∈[0,1]。将获取的综合加权热度作为热度预测模型的输入,热度预测模型输出未来热度。
深度学习回归模型可以有多种,例如为RNN、LSTM等。深度学习模型通常包括三层神经元模型,三层神经元模型包括输入层神经元模型、中间层神经元模型和输出层神经元模型,每层神经元模型的输出作为下一层神经元模型的输入。基于历史综合加权热度和历史未来热度生成训练样本,可以采用现有的训练方法,使用深度学习方法并基于所述训练样本对深度学习模型进行训练,获得训练好的热度预测模型。
删除预测出的未来热度最低的已缓存的第二视角内容。对于第一VR视角内容,在一定间隔范围内,该第一视角内容可以用左右邻近(一定间隔范围内)的视角内容合成。例如,假设用左右邻近视角内容合成当前视角内容的最大允许视角间隔阈值L=3。
当前缓存服务器里只缓存了视角内容V2,用户请求播放的第一视角内容为V3。视角间隔可以为视角内容序号的差值,例如,第一视角内容为V3与视角内容V2的视角间隔为3-2=1,第一视角内容为V3与视角内容V5的视角间隔为5-3=2。为了满足命中率最大化(满足命中率增益最大化规则),利用左右视角内容合成的特性,则缓存服务器缓存视角内容V5(不缓存视角内容V3),最大化地满足了视角间隔|V5-V2|≤L=3,且缓存服务器内可以合成视角内容V3,V4,V5,使得更多视角内容本地缓存命中,显著提高了缓存命中率,降低访问时延。由此,缓存满足命中率最大化的新视角内容。
与普通视频相比,VR视频具有以下特性:VR视频通常是三维多视图,可以从一个VR视频中提取出6、9或更多个不同的视角内容;VR视频的每个视角可以由左右相邻的视角合成得到。对于普通二维视频的缓存,用户请求的内容是唯一的数据文件,而对于具有基于深度图像渲染技术的多视点视频而言,相邻的视点之间存在很多相似部分,因此,一个视点内容能够通过它附近的左右视点来合成。如果缓存服务器没有存储用户请求的视点,可以传输其临近的左右视点来合成用户需要的内容。为了保证合成视点的质量,在传输左右视点来合成的时候两者之间的间隔不能超过L。
视点合成技术是基于多视点视颊编码中左右相邻的视点之间存在高度相关性而提出的,利用这一技术可以合成两个视点之间任意一虚拟视点的图像。视点合成技术依据相机之间的摆放位置的关系并结合相机内部各项参数的设置等情况,将各个视点拍摄获得的图像信息和视差信息进行综合处理,合成出两个视点之间的任意一个虚拟视点所看到的图像。
多视点视频数据通常采用深度图加纹理图的表示格式。深度信息是描述场景中物体与摄像机距离的数据,该结构对于需要同时处理深度和纹理信息的应用有着较大的优势。在解码端,基于深度和纹理信息,采用warping变换,能够从已有视点合成另一个视点的虚拟视点。
通过左右视角合成新视角(虚拟视角)的方法可以使用现有的多种方法。以第一摄像机和第二摄像机提供的两幅视点图像(左右临近视点)作为参考视点图像,并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像;再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像;再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后,得到最终需要合成的虚拟视点图像。可以先分别对目标视点左右相邻视点及其深度图进行3D变换,得到两幅合成视点图像,然后使用现有的多种公式对两幅合成图像进行融合,得到新的合成图像。
在一个实施例中,如图6所示,本公开提供一种VR视频缓存装置60,包括:缓存空间确定模块61、热度数据获取模块62、热度预测模块63、缓存内容删除模块64和视角内容缓存模块65。
缓存空间确定模块61接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足;如果是,热度数据获取模块62获取与在缓存装置中缓存的第二视角内容相对应的访问热度信息和第二视角内容与其他视角内容进行合成处理的合成热度信息。
热度预测模块63根据预设的热度预测规则并基于访问热度信息和合成热度信息,获取第二视角内容的未来热度信息。缓存内容删除模块64基于未来热度信息对第二视角内容进行删除处理。视角内容缓存模块65根据预设的命中率增益最大化规则缓存视角内容。
在一个实施例中,如图7所示,视角内容缓存模块65包括:命中率增益处理单元651和缓存处理单元652。命中率增益处理单元651获取合成第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值;缓存处理单元652基于最大允许视角间隔阈值缓存视角内容。
命中率增益处理单元651获取与第一视角内容相对应的视角内容集合。命中率增益处理单元651基于最大允许视角间隔阈值,在视角内容集合中获取分别位于第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合。
如果已经缓存有位于左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存处理单元652缓存第一视角内容;如果未缓存位于左候选缓存集合和/或位于右候选缓存集合中的第二视角内容,则缓存处理单元652基于最大允许视角间隔阈值确定与第一视角内容相对应的左侧最大间距视角内容和/或右侧最大间距视角内容,并对左侧最大间距视角内容和/或右侧最大间距视角内容进行缓存处理。
在一个实施例中,访问热度信息包括:访问统计数据等;合成热度信息包括:合成统计数据等;如图8所示,热度数据获取模块62包括:加权热度确定单元621和未来热度预测单元622。加权热度确定单元621基于访问统计数据和合成统计数据计算综合加权热度。未来热度预测单元622根据热度预测规则并基于综合加权热度,获取未来热度信息。
未来热度预测单元622基于历史综合加权热度和历史未来热度生成训练样本。未来热度预测单元622使用深度学习方法并基于训练样本对预设的深度学习模型进行训练,获得热度预测模型。未来热度预测单元622将预设的深度学习模型更新为热度预测模型,通过将综合加权热度输入热度预测模型,获得未来热度。加权热度确定单元622计算综合加权热度=α*访问统计数据+(1-α)*合成统计数据,其中,α为加权参数且α∈[0,1]。
图9为根据本公开的VR视频缓存装置的另一个实施例的模块示意图。如图9所示,该装置可包括存储器91、处理器92、通信接口93以及总线94。存储器91用于存储指令,处理器92耦合到存储器91,处理器92被配置为基于存储器91存储的指令执行实现上述的VR视频缓存方法。
存储器91可以为高速RAM存储器、非易失性存储器(non-volatile memory)等,存储器91也可以是存储器阵列。存储器91还可能被分块,并且块可按一定的规则组合成虚拟卷。处理器92可以为中央处理器CPU,或专用集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本公开的VR视频缓存方法的一个或多个集成电路。
在一个实施例中,本公开提供一种缓存服务装置,包括:如上任一实施例的VR视频缓存装置。
在一个实施例中,本公开提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如上任一个实施例中的VR视频缓存方法。
上述实施例中的VR视频缓存方法、装置、缓存服务装置以及存储介质,能够删除热度最低的已缓存视角内容,避免用户体验质量受到影响;提高了VR内容分发网络的命中率,能够优化VR内容分发网络的资源利用,节约建设和维护成本,保障用户视频体验质量。
可能以许多方式来实现本公开的方法和***。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (15)

1.一种VR视频缓存方法,包括:
接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足;
如果是,获取与在缓存装置中缓存的第二视角内容相对应的访问热度信息和所述第二视角内容与其他视角内容进行合成处理的合成热度信息;
根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息;
基于所述未来热度信息对所述第二视角内容进行删除处理;
根据预设的命中率增益最大化规则缓存视角内容。
2.如权利要求1所述的方法,所述根据预设的命中率增益最大化规则缓存视角内容包括:
获取合成所述第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值;
基于所述最大允许视角间隔阈值缓存视角内容。
3.如权利要求2所述的方法,所述基于所述最大允许视角间隔阈值缓存视角内容包括:
获取与所述第一视角内容相对应的视角内容集合;
基于所述最大允许视角间隔阈值,在所述视角内容集合中获取分别位于所述第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合;
如果未缓存有位于所述左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存所述第一视角内容;
如果已缓存位于所述左候选缓存集合和位于右候选缓存集合中的第二视角内容,则基于所述最大允许视角间隔阈值确定与所述第一视角内容相对应的左侧最大间距视角内容和右侧最大间距视角内容,并对左侧最大间距视角内容和右侧最大间距视角内容进行缓存处理。
4.如权利要求1所述的方法,所述访问热度信息包括:访问统计数据;所述合成热度信息包括:合成统计数据;所述根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息包括:
基于所述访问统计数据和所述合成统计数据计算综合加权热度;
根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息。
5.如权利要求4所述的方法,所述根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息包括:
基于历史综合加权热度和历史未来热度生成训练样本;
使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练,获得热度预测模型;
将所述预设的深度学习模型更新为所述热度预测模型,通过将所述综合加权热度输入所述热度预测模型,获得所述未来热度。
6.如权利要求4所述的方法,所述基于所述访问统计数据和所述合成统计数据计算综合加权热度包括:
计算所述综合加权热度=α*所述访问统计数据+(1-α)*所述合成统计数据,其中,α为加权参数且α∈[0,1]。
7.一种VR视频缓存装置,包括:
缓存空间确定模块,用于接收终端发送的视角内容请求,判断被请求的第一视角内容是否未被缓存并且缓存空间不足;
热度数据获取模块,用于如果是,获取与在所述缓存装置中缓存的第二视角内容相对应的访问热度信息和所述第二视角内容与其他视角内容进行合成处理的合成热度信息;
热度预测模块,用于根据预设的热度预测规则并基于所述访问热度信息和所述合成热度信息,获取所述第二视角内容的未来热度信息;
缓存内容删除模块,用于基于所述未来热度信息对所述第二视角内容进行删除处理;
视角内容缓存模块,用于根据预设的命中率增益最大化规则缓存视角内容。
8.如权利要求7所述的装置,其中,
所述视角内容缓存模块,包括:
命中率增益处理单元,用于获取合成所述第一视角内容所需要使用的相邻视角内容的最大允许视角间隔阈值;
缓存处理单元,用于基于所述最大允许视角间隔阈值缓存视角内容。
9.如权利要求8所述的装置,其中,
所述命中率增益处理单元,用于获取与所述第一视角内容相对应的视角内容集合;基于所述最大允许视角间隔阈值,在所述视角内容集合中获取分别位于所述第一视角内容左、右两侧的左候选缓存集合和右候选缓存集合;
所述缓存处理单元,用于如果未缓存有位于所述左候选缓存集合和位于右候选缓存集合内的第二视角内容,则缓存所述第一视角内容;如果已缓存位于所述左候选缓存集合和位于右候选缓存集合中的第二视角内容,则基于所述最大允许视角间隔阈值确定与所述第一视角内容相对应的左侧最大间距视角内容和右侧最大间距视角内容,并对左侧最大间距视角内容和右侧最大间距视角内容进行缓存处理。
10.如权利要求7所述的装置,所述访问热度信息包括:访问统计数据;所述合成热度信息包括:合成统计数据;
所述热度数据获取模块,包括:
加权热度确定单元,用于基于所述访问统计数据和所述合成统计数据计算综合加权热度;
未来热度预测单元,用于根据所述热度预测规则并基于所述综合加权热度,获取所述未来热度信息。
11.如权利要求10所述的装置,其中,
所述未来热度预测单元,用于基于历史综合加权热度和历史未来热度生成训练样本;使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练,获得热度预测模型;将所述预设的深度学习模型更新为所述热度预测模型,通过将所述综合加权热度输入所述热度预测模型,获得所述未来热度。
12.如权利要求10所述的装置,其中,
所述加权热度确定单元,用于计算所述综合加权热度=α*所述访问统计数据+(1-α)*所述合成统计数据,其中,α为加权参数且α∈[0,1]。
13.一种VR视频缓存装置,包括:
存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至6中任一项所述的方法。
14.一种缓存服务装置,包括:
如权利要求7至13任一项所述的VR视频缓存装置。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如权利要求1至6中任一项所述的方法。
CN202010238749.5A 2020-03-30 2020-03-30 Vr视频缓存方法、装置、缓存服务装置以及存储介质 Active CN113473172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238749.5A CN113473172B (zh) 2020-03-30 2020-03-30 Vr视频缓存方法、装置、缓存服务装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238749.5A CN113473172B (zh) 2020-03-30 2020-03-30 Vr视频缓存方法、装置、缓存服务装置以及存储介质

Publications (2)

Publication Number Publication Date
CN113473172A CN113473172A (zh) 2021-10-01
CN113473172B true CN113473172B (zh) 2023-03-24

Family

ID=77866137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238749.5A Active CN113473172B (zh) 2020-03-30 2020-03-30 Vr视频缓存方法、装置、缓存服务装置以及存储介质

Country Status (1)

Country Link
CN (1) CN113473172B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866797B (zh) * 2022-05-07 2023-10-27 湖南正好物联网科技有限公司 360度视频缓存方法及装置
CN115103023B (zh) * 2022-06-14 2024-04-05 北京字节跳动网络技术有限公司 视频缓存方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN108777802A (zh) * 2018-06-05 2018-11-09 网宿科技股份有限公司 一种缓存vr视频的方法和装置
CN113766269A (zh) * 2020-06-02 2021-12-07 ***通信有限公司研究院 视频缓存策略确定、视频数据处理方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362151A1 (en) * 2016-09-14 2019-11-28 Koninklijke Kpn N.V. Streaming virtual reality video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN108777802A (zh) * 2018-06-05 2018-11-09 网宿科技股份有限公司 一种缓存vr视频的方法和装置
CN113766269A (zh) * 2020-06-02 2021-12-07 ***通信有限公司研究院 视频缓存策略确定、视频数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN113473172A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US11551408B2 (en) Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
Park et al. Rate-utility optimized streaming of volumetric media for augmented reality
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
Dai et al. A view synthesis-based 360° VR caching system over MEC-enabled C-RAN
JP2020512772A (ja) Vrビデオ用に画像解像度を最適化してビデオストリーミングの帯域幅を最適化する画像処理のための方法及び装置
US10893261B2 (en) Positional zero latency
CN113811920A (zh) 分布式姿势估计
Hamza et al. Adaptive streaming of interactive free viewpoint videos to heterogeneous clients
CN113473172B (zh) Vr视频缓存方法、装置、缓存服务装置以及存储介质
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN112584119B (zh) 一种基于强化学习的自适应全景视频传输方法及***
JP7493496B2 (ja) 画像合成
CA2821830A1 (en) Moving image distribution server, moving image playback apparatus, control method, program, and recording medium
US20200286293A1 (en) Temporal Hole Filling for Depth Image Based Video Rendering
CN107211081A (zh) 基于独立编码的背景更新的视频传输
CN113905221A (zh) 一种立体全景视频非对称传输流自适应方法及***
EP2391135B1 (en) Method and device for processing depth image sequence
Wu et al. ZGaming: Zero-latency 3D cloud gaming by image prediction
Li et al. Utility-driven joint caching and bitrate allocation for real-time immersive videos
CN112672227B (zh) 基于边缘节点的业务处理方法、装置、节点以及存储介质
Ueberheide et al. Web-based interactive free-viewpoint streaming: A framework for high quality interactive free viewpoint navigation
US20240064360A1 (en) Distribution control apparatus, distribution control system, distribution control method and program
CN116320551B (zh) 一种基于多个多球面图像的多视点视频自适应传输方法
Pan et al. Mobile edge assisted multi-view light field video system: Prototype design and empirical evaluation
CN115209164B (zh) 基于区块链的多视点视频发送方法、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant