CN113645500A - 虚拟现实视频流数据处理*** - Google Patents

虚拟现实视频流数据处理*** Download PDF

Info

Publication number
CN113645500A
CN113645500A CN202111200449.9A CN202111200449A CN113645500A CN 113645500 A CN113645500 A CN 113645500A CN 202111200449 A CN202111200449 A CN 202111200449A CN 113645500 A CN113645500 A CN 113645500A
Authority
CN
China
Prior art keywords
region
sub
client
code rate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111200449.9A
Other languages
English (en)
Other versions
CN113645500B (zh
Inventor
许晓明
郭建君
李鑫
孙华庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weiling Times Technology Co Ltd
Original Assignee
Beijing Weiling Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weiling Times Technology Co Ltd filed Critical Beijing Weiling Times Technology Co Ltd
Priority to CN202111200449.9A priority Critical patent/CN113645500B/zh
Publication of CN113645500A publication Critical patent/CN113645500A/zh
Application granted granted Critical
Publication of CN113645500B publication Critical patent/CN113645500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种虚拟现实视频流数据处理***，包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率。本发明在保证图像质量的前提下，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。

Description

虚拟现实视频流数据处理***
技术领域
本发明涉及数据处理技术领域，尤其涉及一种虚拟现实视频流数据处理***。
背景技术
虚拟现实技术(Virtual Reality,简称VR)是通过计算机、电子信息、仿真技术等产生的一个虚拟三维世界，给用户以对应的视觉、听觉和触觉反馈，使用户沉浸其中，就像在真实世界一样。随着虚拟现实技术的发展，由此衍生出虚拟现实视频实时交互程序也因此受到越来越多用户的欢迎，为了营造更加逼真的效果，用于虚拟现实的设备需要很高的配置，极大的提高了虚拟现实视频实时交互的体验成本。视频实时交互程序具体可以为云游戏程序。以虚拟现实云游戏为例，基于云游戏技术，云端渲染游戏画面，通过在客户端连接一台普通配置的虚拟现实眼镜设备,就可以使得用户体验到原本只能在高配置的虚拟现实设备上的才能运行的虚拟现实效果。
当前应用于PC桌面或移动端的云游戏，通常采用不高于1080p的分辨率，不高于60的帧率(FPS)，所需网络带宽通常为0-8Mbps。但是，在虚拟现实云游戏中，若要获得流畅的游戏交互体验，至少需要在2K分辨率下以90FPS运行云游戏，若低于该分辨率，用户会看到晶格，低于该帧率，就会出现卡顿。基于此标准，一般至少需要的带宽=2560(分辨率宽)x1440(分辨率高)x90（帧率）/102（编码率x8(bit)=24.81Mbps。这高于普通云游戏数倍以上的带宽，当本地用户网速不够或不稳定时，会感到明显的卡顿，无法获得良好的体验，同时高带宽也增加了服务器的运营成本。虽然虚拟现实云游戏使用户通过普通设备体验虚拟现实大作成为了可能，但由于带宽的限制，输出给用户的画面不够清晰，帧率低，很难达到2k,90FPS的最低标准，极大的降低了用户的视觉体验。由此可知，如何在不牺牲图像质量的前提下，减小图像编码后数据大小，进而降低带宽需求成了亟待解决的技术问题。
发明内容
本发明目的在于，提供一种虚拟现实视频流数据处理***，在保证图像质量的前提下，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
根据本发明一方面，提供了一种虚拟现实视频流数据处理***，包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率，所述服务器包括所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、基于客户端发送的实时交互程序启动指令启动实时交互程序；
步骤S2、接收所述客户端发送的实时交互指令和当前眼球聚焦点位置信息，所述当前眼球聚焦位置信息基于所述客户端所连接的虚拟现实设备获取；
步骤S3、基于所述实时交互指令生成当前帧渲染画面；
步骤S4、根据所述客户端对应的画面切割参数切割所述当前帧渲染画面，根据所述客户端对应的区域划分参数和当前眼球聚焦位置信息，将切割后的当前帧渲染画面划分为聚焦区域和边缘区域；
步骤S5、将所述聚焦区域的图像按照所述客户端对应的第一编码压缩码率编码压缩，将所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，基于所述聚焦区域的图像和所述边缘区域的图像编码压缩结果生成当前帧压缩数据；
步骤S6、将所述当前帧压缩数据发送给对应的客户端，并在所述客户端所连接的虚拟现实设备上进行显示。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种虚拟现实视频流数据处理***可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明在保证图像质量的前提下，将帧图像分块，并采用不同的码率分别压缩编码，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的虚拟现实视频流数据处理***示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种虚拟现实视频流数据处理***的具体实施方式及其功效，详细说明如后。
根据本发明实施例提供了一种虚拟现实视频流数据处理***，如图1所示，包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率，优选的，第一编码压缩码率通常为客户端默认的编码率，即采用现有的编码率算法直接计算得到的编码压缩码率，现有的编码率算法在此不再赘述。所述第一编码压缩码率为C1，所述第二编码压缩码率为C2， C2=a*C2,优选的，a的取值范围为[0.3,0.7]。所述服务器包括所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、基于客户端发送的实时交互程序启动指令启动实时交互程序；
其中，实时交互成具体可以为云游戏程序，对应的，实时交互程序启动指令为云游戏启动指令。
步骤S2、接收所述客户端发送的实时交互指令和当前眼球聚焦点位置信息，所述当前眼球聚焦位置信息基于所述客户端所连接的虚拟现实设备获取；
其中，所述实时交互指令包括输入设备按键输入指令、虚拟现实设备旋转指令等。虚拟现实设备具体可以为虚拟现实眼镜，现有的虚拟现实设备可以通过眼镜追踪，定位得到眼球聚焦点位置信息，在此不再赘述体获取过程。
步骤S3、基于所述实时交互指令生成当前帧渲染画面；
步骤S4、根据所述客户端对应的画面切割参数切割所述当前帧渲染画面，根据所述客户端对应的区域划分参数和当前眼球聚焦位置信息，将切割后的当前帧渲染画面划分为聚焦区域和边缘区域；
步骤S5、将所述聚焦区域的图像按照所述客户端对应的第一编码压缩码率编码压缩，将所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，基于所述聚焦区域的图像和所述边缘区域的图像编码压缩结果生成当前帧压缩数据；
步骤S6、将所述当前帧压缩数据发送给对应的客户端，并在所述客户端所连接的虚拟现实设备上进行显示。
本发明实施例所述***，在保证图像质量的前提下，将帧图像分块，将帧图像划分为人眼聚焦对应的聚焦区域和非聚焦区域的边缘区域，并采用不同的码率分别压缩编码，将人眼聚焦的区域采用高码率编码，非聚焦的边缘区域采用低码率编码，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
作为一种实施例，所述处理器在执行所述计算机程序时，还实现以下步骤：
步骤S10、接收每一客户端发送的配置参数压缩包，所述配置参数压缩包通过所述客户端的配置界面获取的用户输入的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，进行压缩后生成；
可理解的是，每一客户端可以根据自身配置需求，通过客户端的配置界面来设置对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率。
步骤S20、从所述配置参数压缩保重解析得到所述客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，存储在所述数据库中。
通过步骤S20，基于客户端输入的配置参数，对应在云服务器上配置。
作为一种实施例，所述云服务器中预先配置有实时交互程序的输入事件信息，所述步骤S3包括：
步骤S31、将所述实时交互指令应用到对应的输入事件信息中，生成当前帧渲染画面信息；
步骤S32、渲染所述当前帧渲染画面信息，生成所述当前帧渲染画面。
需要说明是，通过步骤S31-步骤S32，能够基于实时交互指令获取到对应的当前帧渲染画面，具体渲染操作直接采用现有技术即可，在此不再赘述。
作为一种实施例，所述画面切割参数为N，N为大于等于2的正整数；区域划分参数为R，R为大于等于1的正整数，
Figure 729565DEST_PATH_IMAGE001
，其中，m为正奇数，且m小于等于N-2，L为帧渲染画面的分辨率长，W为帧渲染画面的分辨率宽。L和W可以相等，也可以不相等。所述步骤S4包括：
步骤S41、将所述当前帧渲染画面的分辨率宽均分为N份，将分辨率高均分为N份，从而将所述当前帧渲染画面划分为N*N份子区域；
步骤S42、根据所述当前眼球聚焦位置信息在所述N*N份子区域中确定目标中心点；
其中，所述步骤S42可进一步包括：
步骤S421、将所述当前眼球聚焦位置信息所在的子区域的四个顶点位置点确定为候选中心点；
步骤S422、将所述候选中心点中距离当前眼球聚焦位置最近的位置点确定为所述目标中心点。
步骤S43、基于所述目标中心点和所述客户端对应的区域划分参数R，将子区域中心点距离所述目标中心点在R范围内的子区域确定为聚焦区域，将N*N份子区域中除所述聚焦区域之外的所有其他子区域确定为所述边缘区域。
通过步骤S41-步骤S43，将当前帧渲染画划分为了人眼聚焦对应的聚焦区域，和非聚焦区域，即边缘区域，基于不同的区域，采用不同的码率编码压缩，即可减小压缩后数据的大小，通常能够将压缩后的数据降低正常压缩的[0.4,1)倍，而整个过程中的帧率和分辨率是无需做调整的，且本身人眼所看到的非人眼聚焦区域的图像都是模糊的，因此，后续通过较低编码压缩码率编码压缩边缘区域的图像，既不会影响视觉体验，还能够减小压缩后数据大小，从而降低带宽需求。
为了进一步减小压缩后数据的大小，可以将边缘区域进一步划分为多个区域，采用不同的编码压缩码率进行压缩，作为一种实施例，所述第二编码压缩码率包括依次减小的第一子编码压缩码率、第二子编码压缩码率，…第M子编码压缩码率，M为大于1的正整数；区域划分参数为还包括{R1，R2，…RM-1},Ri为第i边缘区域划分半径，i的取值范围为1到M-1，R1，R2，…RM-1依次变大，所述步骤S43还包括：
步骤S431、将子区域中心点距离所述目标中心点大于Ri-1小于等于Ri的子区域确定为第i边缘区域，R0的值为R，将大于RM-1的子区域确定为第M边缘区域；从而将所述边缘区域划分为第一边缘区域，第二边缘区域，…第M边缘区域，第j边缘区域对应的编码压缩码率为第j子编码压缩率，j的取值范围为1到M；
对应的，所述步骤S5中，所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，包括：
步骤S511、将每一第j边缘区域按照所述客户端的第二编码压缩码率中的第j子编码压缩率编码压缩。
通过步骤S431和步骤S511能够将边缘区域进一步切分，并按照距离聚焦区域从近到远的顺序，采用逐渐减少的编码压缩码率来编码压缩对应的边缘区域图像，能够进一步减小压缩后的数据大小。
作为一种实施例，所述***还包括预设的子区域压缩数据结构，所述子区域压缩数据结构包括数据头子结构和压缩数据子结构，所述数据头子结构包括子区域位置数据段、子区域编码压缩码率数据段和子区域编码压缩后数据大小数据段，所述压缩数据子结构用于存储压缩后的子区域数据，所述步骤S5中，基于所述聚焦区域的图像和所述边缘区域的图像编码结果生成当前帧压缩数据，包括：
步骤S51、将所述聚焦区域的每一聚焦子区域按照所述客户端对应的第一编码压缩码率编码压缩，获取压缩后的聚焦子区域数据大小、聚焦子区域位置信息，基于所述聚焦子区域数据大小、聚焦子区域位置信息、第一编码压缩码率和压缩后的聚焦子区域数据，按照所述子区域压缩数据结构生成聚焦子区域压缩数据；
步骤S52、将所述边缘区域的每一边缘子区域按照所述客户端对应的第二编码压缩码率编码压缩，获取压缩后的边缘子区域数据大小、边缘子区域位置信息，基于所述边缘子区域数据大小、边缘子区域位置信息、第二编码压缩码率和压缩后的边缘子区域数据，按照所述子区域压缩数据结构生成边缘子区域压缩数据；
需要说明的是，如果通过步骤S431和步骤S511能够将边缘区域进一步切分，则采用与步骤S52中相同的逻辑对每一第j边缘区域种对应的子区域按照第j子编码压缩率编码压缩，并按照所述子区域压缩数据结构生成对应的第j边缘区域种对应的子区域压缩数据即可，在此不再赘述，所有的第j边缘区域种对应的子区域压缩数据合成对应的边缘子区域压缩数据。
步骤S53、将所有聚焦子区域压缩数据和边缘子区域压缩数据合成所述当前帧压缩数据。
需要说明的是，直接采用现有的将多个数据合成一个整体数据的方式实现步骤S53即可，在此不再赘述。通过将同一帧数据合成一个整体数据发送给客户端，能够保证同一帧图像的数据同时到达对应客户端，避免因为网络不稳定等因素造成部分数据延迟或丢包。
作为一种实施例，所述步骤S6中，所述客户端将接收的当前帧压缩数据进行解析，并按照每一子区域的数据头中的子区域数据大小将解析后的当前帧压缩数据切分为N*N份，将每一子区域按照对应的数据头中的编码压缩码率进行解码，将所有子区域解码后的数据发送给所述客户端所连接的虚拟现实设备上进行显示。
需要说明的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，部分步骤的顺序可以被重新安排，例如步骤S51和步骤S52可以互换顺序。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种虚拟现实视频流数据处理***，其特征在于，
包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率，所述服务器包括所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、基于客户端发送的实时交互程序启动指令启动实时交互程序；
步骤S2、接收所述客户端发送的实时交互指令和当前眼球聚焦点位置信息，所述当前眼球聚焦位置信息基于所述客户端所连接的虚拟现实设备获取；
步骤S3、基于所述实时交互指令生成当前帧渲染画面；
步骤S4、根据所述客户端对应的画面切割参数切割所述当前帧渲染画面，根据所述客户端对应的区域划分参数和当前眼球聚焦位置信息，将切割后的当前帧渲染画面划分为聚焦区域和边缘区域；
步骤S5、将所述聚焦区域的图像按照所述客户端对应的第一编码压缩码率编码压缩，将所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，基于所述聚焦区域的图像和所述边缘区域的图像编码压缩结果生成当前帧压缩数据；
步骤S6、将所述当前帧压缩数据发送给对应的客户端，并在所述客户端所连接的虚拟现实设备上进行显示。
2.根据权利要求1所述的***，其特征在于，
所述处理器在执行所述计算机程序时，还实现以下步骤：
步骤S10、接收每一客户端发送的配置参数压缩包，所述配置参数压缩包通过所述客户端的配置界面获取的用户输入的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，进行压缩后生成；
步骤S20、从所述配置参数压缩保重解析得到所述客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，存储在所述数据库中。
3.根据权利要求1所述的***，其特征在于，
所述云服务器中预先配置有实时交互程序的输入事件信息，所述步骤S3包括：
步骤S31、将所述实时交互指令应用到对应的输入事件信息中，生成当前帧渲染画面信息；
步骤S32、渲染所述当前帧渲染画面信息，生成所述当前帧渲染画面。
4.根据权利要求1所述的***，其特征在于，
所述画面切割参数为N，N为大于等于2的正整数；区域划分参数为R，R为大于等于1的正整数，
Figure DEST_PATH_IMAGE001
，其中，m为正奇数，且m小于等于N-2，L为帧渲染画面的分辨率长，W为帧渲染画面的分辨率宽。
5.根据权利要求4所述的***，其特征在于，
所述步骤S4包括：
步骤S41、将所述当前帧渲染画面的分辨率宽均分为N份，将分辨率高均分为N份，从而将所述当前帧渲染画面划分为N*N份子区域；
步骤S42、根据所述当前眼球聚焦位置信息在所述N*N份子区域中确定目标中心点；
步骤S43、基于所述目标中心点和所述客户端对应的区域划分参数R，将子区域中心点距离所述目标中心点在R范围内的子区域确定为聚焦区域，将N*N份子区域中除所述聚焦区域之外的所有其他子区域确定为所述边缘区域。
6.根据权利要求5所述的***，其特征在于，
所述步骤S42包括，
步骤S421、将所述当前眼球聚焦位置信息所在的子区域的四个顶点位置点确定为候选中心点；
步骤S422、将所述候选中心点中距离当前眼球聚焦位置最近的位置点确定为所述目标中心点。
7.根据权利要求5所述的***，其特征在于，
所述***还包括预设的子区域压缩数据结构，所述子区域压缩数据结构包括数据头子结构和压缩数据子结构，所述数据头子结构包括子区域位置数据段、子区域编码压缩码率数据段和子区域编码压缩后数据大小数据段，所述压缩数据子结构用于存储压缩后的子区域数据，所述步骤S5中，基于所述聚焦区域的图像和所述边缘区域的图像编码结果生成当前帧压缩数据，包括：
步骤S51、将所述聚焦区域的每一聚焦子区域按照所述客户端对应的第一编码压缩码率编码压缩，获取压缩后的聚焦子区域数据大小、聚焦子区域位置信息，基于所述聚焦子区域数据大小、聚焦子区域位置信息、第一编码压缩码率和压缩后的聚焦子区域数据，按照所述子区域压缩数据结构生成聚焦子区域压缩数据；
步骤S52、将所述边缘区域的每一边缘子区域按照所述客户端对应的第二编码压缩码率编码压缩，获取压缩后的边缘子区域数据大小、边缘子区域位置信息，基于所述边缘子区域数据大小、边缘子区域位置信息、第二编码压缩码率和压缩后的边缘子区域数据，按照所述子区域压缩数据结构生成边缘子区域压缩数据；
步骤S53、将所有聚焦子区域压缩数据和边缘子区域压缩数据合成所述当前帧压缩数据。
8.根据权利要求7所述的***，其特征在于，
所述步骤S6中，所述客户端将接收的当前帧压缩数据进行解析，并按照每一子区域的数据头中的子区域数据大小将解析后的当前帧压缩数据切分为N*N份，将每一子区域按照对应的数据头中的编码压缩码率进行解码，将所有子区域解码后的数据发送给所述客户端所连接的虚拟现实设备上进行显示。
9.根据权利要求5所述的***，其特征在于，
所述第二编码压缩码率包括依次减小的第一子编码压缩码率、第二子编码压缩码率，…第M子编码压缩码率，M为大于1的正整数；区域划分参数为还包括{R1，R2，…RM-1},Ri为第i个边缘区域划分半径，i的取值范围为1到M-1，R1，R2，…RM-1依次变大，所述步骤S43还包括：
步骤S431、将子区域中心点距离所述目标中心点大于Ri-1小于等于Ri的子区域确定为第i边缘区域，R0的值为R，将大于RM-1的子区域确定为第M边缘区域；从而将所述边缘区域划分为第一边缘区域，第二边缘区域，…第M边缘区域，第j边缘区域对应的编码压缩码率为第j子编码压缩率，j的取值范围为1到M；
所述步骤S5中，所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，包括：
步骤S511、将每一第j边缘区域按照所述客户端的第二编码压缩码率中的第j子编码压缩率编码压缩。
10.根据权利要求1所述的***，其特征在于，
所述第一编码压缩码率为C1，所述第二编码压缩码率为C2，其中，C2=a*C2,a的取值范围为[0.3,0.7]。
CN202111200449.9A 2021-10-15 2021-10-15 虚拟现实视频流数据处理*** Active CN113645500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111200449.9A CN113645500B (zh) 2021-10-15 2021-10-15 虚拟现实视频流数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111200449.9A CN113645500B (zh) 2021-10-15 2021-10-15 虚拟现实视频流数据处理***

Publications (2)

Publication Number Publication Date
CN113645500A true CN113645500A (zh) 2021-11-12
CN113645500B CN113645500B (zh) 2022-01-07

Family

ID=78426939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111200449.9A Active CN113645500B (zh) 2021-10-15 2021-10-15 虚拟现实视频流数据处理***

Country Status (1)

Country Link
CN (1) CN113645500B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235719A (ja) * 2005-02-22 2006-09-07 Matsushita Electric Ind Co Ltd 撮像方法及び撮像装置
CN101282479A (zh) * 2008-05-06 2008-10-08 武汉大学 基于感兴趣区域的空域分辨率可调整编解码方法
CN102036073A (zh) * 2010-12-21 2011-04-27 西安交通大学 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和***
CN106131615A (zh) * 2016-07-25 2016-11-16 北京小米移动软件有限公司 视频播放方法及装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN106791854A (zh) * 2016-11-22 2017-05-31 北京疯景科技有限公司 图像编码、解码方法及装置
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放***
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN108322781A (zh) * 2018-02-08 2018-07-24 武汉噢易云计算股份有限公司 提升虚拟桌面中播放高清视频效果的方法及***
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN109862019A (zh) * 2019-02-20 2019-06-07 联想(北京)有限公司 数据处理方法、装置以及***
CN110545430A (zh) * 2018-05-28 2019-12-06 北京松果电子有限公司 视频传输方法和装置
CN110856019A (zh) * 2019-11-20 2020-02-28 广州酷狗计算机科技有限公司 码率分配的方法、装置、终端及存储介质
CN111787398A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 视频压缩方法、装置、设备及存储装置
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及介质
CN113012174A (zh) * 2021-04-26 2021-06-22 中国科学院苏州生物医学工程技术研究所 一种图像融合方法、***及设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235719A (ja) * 2005-02-22 2006-09-07 Matsushita Electric Ind Co Ltd 撮像方法及び撮像装置
CN101282479A (zh) * 2008-05-06 2008-10-08 武汉大学 基于感兴趣区域的空域分辨率可调整编解码方法
CN102036073A (zh) * 2010-12-21 2011-04-27 西安交通大学 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和***
CN106131615A (zh) * 2016-07-25 2016-11-16 北京小米移动软件有限公司 视频播放方法及装置
CN106791854A (zh) * 2016-11-22 2017-05-31 北京疯景科技有限公司 图像编码、解码方法及装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放***
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN108322781A (zh) * 2018-02-08 2018-07-24 武汉噢易云计算股份有限公司 提升虚拟桌面中播放高清视频效果的方法及***
CN110545430A (zh) * 2018-05-28 2019-12-06 北京松果电子有限公司 视频传输方法和装置
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN109862019A (zh) * 2019-02-20 2019-06-07 联想(北京)有限公司 数据处理方法、装置以及***
CN110856019A (zh) * 2019-11-20 2020-02-28 广州酷狗计算机科技有限公司 码率分配的方法、装置、终端及存储介质
CN111787398A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 视频压缩方法、装置、设备及存储装置
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及介质
CN113012174A (zh) * 2021-04-26 2021-06-22 中国科学院苏州生物医学工程技术研究所 一种图像融合方法、***及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CONGXIA DAI: "Geometry-Adaptive Block Partitioning for Intra Prediction in Image & Video Coding", 《2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
汪大勇: "一种基于人类视觉***的视频编码方法", 《计算机应用研究》 *
滕晓斌: "高清道口监控***中的视频编码方案选择", 《信息技术》 *

Also Published As

Publication number Publication date
CN113645500B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN109902767B (zh) 模型训练方法、图像处理方法及装置、设备和介质
US5926575A (en) Model-based coding/decoding method and system
CN107979763B (zh) 一种虚拟现实设备生成视频、播放方法、装置及***
JP2023548921A (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
CN101622876A (zh) 用于提供个人视频服务的***和方法
JP7390454B2 (ja) 画像生成方法、装置、電子機器及び記憶媒体
CN111402399A (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
CN115601484B (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
JP2023001926A (ja) 画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN113469292A (zh) 视频合成模型的训练方法、合成方法、装置、介质和设备
CN113012270A (zh) 一种立体显示的方法、装置、电子设备及存储介质
CN117274491A (zh) 三维重建模型的训练方法、装置、设备和介质
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
CN113645500B (zh) 虚拟现实视频流数据处理***
WO2021245326A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN114765689A (zh) 视频编码方法、装置、设备及存储介质
WO2023143349A1 (zh) 一种面部视频编码方法、解码方法及装置
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
RU2236751C2 (ru) Способы и устройство для сжатия и восстановления траектории анимации с использованием линейной аппроксимации
CN113411587B (zh) 视频压缩方法、装置及计算机可读存储介质
CN114339190B (zh) 通讯方法、装置、设备及存储介质
CN115439610A (zh) 模型的训练方法、训练装置、电子设备和可读存储介质
CN112866715B (zh) 一种支持人机混合智能的通用视频压缩编码***
CN113810755A (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN113486787A (zh) 一种脸部驱动和直播方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant