CN114071116A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114071116A
CN114071116A CN202010762409.2A CN202010762409A CN114071116A CN 114071116 A CN114071116 A CN 114071116A CN 202010762409 A CN202010762409 A CN 202010762409A CN 114071116 A CN114071116 A CN 114071116A
Authority
CN
China
Prior art keywords
image
texture
map
depth map
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010762409.2A
Other languages
English (en)
Inventor
王荣刚
蔡砚刚
顾嵩
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Alibaba Group Holding Ltd
Original Assignee
Peking University Shenzhen Graduate School
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School, Alibaba Group Holding Ltd filed Critical Peking University Shenzhen Graduate School
Priority to CN202010762409.2A priority Critical patent/CN114071116A/zh
Priority to PCT/CN2021/108640 priority patent/WO2022022501A1/zh
Publication of CN114071116A publication Critical patent/CN114071116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频处理方法、装置、电子设备及存储介质，其中，一种视频处理方法包括：将帧同步的多个视点的纹理图拼接为纹理图拼接图像；将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。上述方案能够降低对解码端解码能力的要求，并减少压缩损失。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本说明书实施例涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
视频数据是支持视频播放，以供用户观看的数据，通常，视频数据仅支持用户从一个视角进行观看，用户无法调整观看的视角。自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
为实现自由视点视频数据的存储、传输及播放，需要对视频图像进行编码及封装等处理，目前通常采用的编码方式是：将同步的多个视点的纹理图和对应的深度图进行拼接，得到拼接图像，并将拼接图像采用统一进行编码。
然而，上述编码方式存在诸多局限性。比如，上述编码方式可能会对拼接图像造成压缩损失，进而影响重建得到的自由视点视频的图像质量；又如，由于拼接图像的分辨率较大，解码端的解码能力可能难以满足要求。
发明内容
有鉴于此，本说明书实施例提供视频处理方法、装置、电子设备及存储介质，能够降低对解码端解码能力的要求，并减少压缩损失。
本说明书实施例提供了一种视频处理方法，包括：
将帧同步的多个视点的纹理图拼接为纹理图拼接图像；
将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
可选地，所述方法还包括：将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道的视频压缩帧。
可选地，将所述深度图压缩图像封装在所述视频压缩帧的帧头区域。
可选地，将所述深度图拼接图像采用基于感兴趣区域的编码方式进行编码，得到对应的深度图压缩图像。
可选地，对于所述深度图拼接图像中的ROI像素区域，基于预设的恒定量化参数进行编码，得到对应的深度图压缩图像。
可选地，对于所述深度图拼接图像中包含的各视点对应的深度图子区域中的前景边缘像素区域采用第一恒定量化参数进行编码，对于各视点对应的深度图子区域中非前景边缘像素区域采用第二恒定量化参数进行编码，所述第一恒定量化参数的参数值小于所述第二恒定量化参数的参数值。
可选地，所述深度图拼接图像中包含的各视点对应的深度图子区域的像素点为纹理图拼接图像中与对应视点的纹理图子区域中的像素点一一对应的像素点集合中的全部或部分像素点。
本说明书实施例还提供了另一种视频处理方法，包括：
确定编码方式所属编码类别；
若确定编码方式属于深度图自定义编码，则将所述编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
可选地，所述方法还包括：
将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道。
可选地，所述将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道，包括：
将所述深度图压缩图像封装至所述同一视频通道的视频压缩帧的帧头中的深度图区域。
可选地，所述方法还包括：
若确定编码方式属于多视联合编码，则获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域；以及将所述帧同步的多个视点的纹理图和深度图分别采用采用预设的多视联合编码方式进行编码，得到纹理图压缩图像和深度图压缩图像。
可选地，所述方法还包括：
将所述纹理图压缩图像和所述深度图压缩图像作为图像组合，封装至同一视频通道，得到包含所述纹理图压缩图像和所述深度图压缩图像的视频压缩帧。
可选地，所述获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域，包括：
将所述编码方式对应的编码类别标识存储至视频通道的通道头中编码类别区域；
将所述编码标识信息存储至视频压缩帧帧头中的编码信息区域；
将所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识按照获取顺序存储于所述视频压缩帧帧头中的图像信息区域。
可选地，所述将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，包括：
按照光栅扫描方式扫描所述帧同步的多个视点的纹理图，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述纹理图拼接图像；
按照所述光栅扫描方式扫描所述帧同步的多个视点的纹理图对应的深度图，并按照光栅扫描顺序将所述多个视点的深度图进行拼接，得到所述深度图拼接图像。
本说明书实施例还提供了另一种视频处理方法，包括：
对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息；
基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
可选地，所述对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像，包括：
对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和所述深度图压缩图像的编码标识信息；
采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到所述深度图拼接图像；
采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到所述纹理图拼接图像。
可选地，所述对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像，包括：
利用第一解码资源对所述纹理图压缩图像进行解码，得到纹理图拼接图像；
利用第二解码资源对所述深度图压缩图像进行解码，得到深度图拼接图像。
可选地，所述方法还包括：
从所述视频压缩帧的帧头中获取视点的参数数据；
获取虚拟视点，基于所述视点的参数数据，选择所述纹理图拼接图像和所述深度图拼接图像中与虚拟视点位置匹配的相应纹理图子区域中的纹理图和深度图子区域中的深度图作为参考纹理图和参考深度图；
基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
可选地，所述方法还包括：
基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
可选地，所述对所述视频压缩帧中的联合压缩图像解码，得到同步的多个视点的纹理图以及对应的深度图，包括：
对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识；
采用与所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识对应的多视联合解码方式对所述纹理图压缩图像和深度图压缩图像进行解码，得到所述同步的多个视点的纹理图以及对应的深度图。
可选地，所述方法还包括：
从所述视频压缩帧的帧头中获得视点的标识及所述视频压缩帧的帧标识和各视点的参数数据；
获取虚拟视点，基于各视点的标识和参数数据，从所述同步的多个视点的纹理图以及对应的深度图中选择与所述虚拟视点匹配的纹理图和深度图作为参考纹理图和参考深度图；
基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
本说明书实施例还提供了另一种视频处理方法，包括：
解码视频压缩帧的帧头，从所述帧头中获得所述视频压缩帧中包括的深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息；
采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图；
采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
本说明书实施例还提供了一种视频处理装置，包括：
纹理图拼接单元，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像；
深度图拼接单元，适于将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
第一编码单元，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
第二编码单元，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
本说明书实施例还提供了另一种视频处理装置，包括：
编码类别确定单元，适于确定编码方式所属编码类别；
第一编码处理单元，适于在确定编码方式属于深度图自定义编码时，将所述编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
可选地，所述装置还包括：
封装单元，适于将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道。
本说明书实施例还提供了另一种视频处理装置，包括：
解封装单元，适于对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息；
第一解码单元，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
可选地，所述装置还包括：
第二解码单元，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的联合压缩图像采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
本说明书实施例还提供了另一种视频处理装置，包括：
指示信息解码单元，适于解码所述视频压缩帧的帧头，从所述帧头中获得所述视频压缩帧中包括的深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息；
纹理图解码单元，适于采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述深度图拼接图像包括同步的多个视点的纹理图；
深度图解码单元，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
本说明书实施例还提供了一种电子设备，包括：
图像处理装置，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像，以及将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
第一编码装置，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
第二编码装置，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
本说明书实施例还提供了另一种电子设备，包括：第一解码装置和第二解码装置，其中：
所述第一解码装置，适于解码视频压缩帧的帧头，并当从所述帧头的图像集用户信息中获得所述视频压缩帧中获得编码标识信息包括深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息时，采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图，以及触发所述第二解码装置对所述深度图压缩图像进行解码；
所述第二解码装置，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
本说明书实施例还提供了另一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行前述任一实施例所述方法的步骤。
本说明书实施例还提供来一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤。
与现有技术相比，本说明书实施例的技术方案具有以下有益效果：
一方面，采用本说明书实施例的视频处理方法，通过将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，并将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像，这一视频处理过程由于对纹理图拼接图像和深度图拼接图像分别进行编码，因而可以基于纹理图和深度图的特征采用相应的编码方法进行编码压缩，从而可以减少压缩损失，进而可以提高基于所述纹理图拼接图像和深度图拼接图像重建得到的自由视点视频的图像质量。
进一步地，通过将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道，也即纹理图压缩图像和深度图压缩图像可以复用一个视频通道，从而可以复用已有硬件设备的硬件接口，并符合现有开源框架的规范，也便于深度图与纹理图进行同步。
将所述深度图压缩图像封装在所述视频压缩帧的帧头区域，在解码端采用不同的解码资源分别对所述纹理图压缩图像和深度图压缩图像进行解码时，可以减少用于深度图压缩图像解码过程中无关数据的读取，从而可以提高数据处理效率，节约处理资源。
进一步地，对于深度图拼接图像采用基于感兴趣区域的编码方式进行编码，从而能够按照深度图拼接图像的图像特征进行压缩编码，从而可以减少深度图的压缩损失，进而可以提高基于深度图重建得到的自由视点视频的图像质量。
进一步地，对于所述深度图拼接图像中的ROI像素区域，基于预设的恒定量化参数进行编码，得到对应的深度图压缩图像，可以减少所述ROI像素区域的压缩损失。
进一步地，对于所述深度图拼接图像中包含的各视点对应的深度图子区域中的前景边缘像素区域采用第一恒定量化参数进行编码，对于各视点对应的深度图子区域中非前景边缘像素区域采用第二恒定量化参数进行编码，由于深度图拼接图像中深度图子区域中的前景边缘像素区域对于自由视点视频的重建质量非常关键，故对于深度图子区域中的前景边缘像素区域采用的第一恒定量化参数的参数值小于对于所述深度图子区域中非前景边缘像素区域采用的第二量化参数的参数值，可以减小深度图拼接图像的压缩损失，进而可以提高重建得到的自由视点视频的重建质量。
进一步地，所述深度图拼接图像中包含的各视点对应的深度图子区域的像素点为纹理图拼接图像中与对应视点的纹理图子区域中的像素点一一对应的像素点集合中的部分像素点，可以降低深度图拼接图像的分辨率，从而可以进一步节约传输资源。
在本说明书实施例的另一视频处理方法中，通过确定编码方式所属编码类别，在确定编码方式属于深度图自定义编码时，将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像；将所述编码方式对应的编码类别标识及编码标识信息存储至图像集用户信息，通过这一视频处理过程，可以实现纹理图和深度图的分别单独拼接以及分别编码压缩，从而可以基于纹理图和深度图的不同图像特征采用相应的编码方式，减少压缩损失，并降低对解码端解码性能的要求。
进一步地，通过将所述扫描方式对应的扫描方式标识信息存储至所述视频压缩帧帧头中的扫描方式信息区域，使得视频压缩帧帧头中无须存储纹理图拼接图像和深度图拼接图像具体的拼接规则和视点标识，从而可以节约传输资源。
本说明书实施例的另一方面，通过对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息，基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。由这一视频处理过程可知，在确定所述视频压缩帧采用深度图自定义编码时，可以对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，从而可以采用不同的解码资源对所述纹理图压缩图像和深度图压缩图像分别解码，从而可以充分地利用解码端的资源，避免受到一种解码资源的解码性能和解码能力的限制。
此外，采用多视联合编码，可以去除视点间的冗余信息，提高编码效率。
附图说明
图1是本说明书实施例中一种自由视点视频展示的具体应用***示意图；
图2是本说明书实施例中一种终端设备交互界面示意图；
图3是本说明书实施例中一种采集设备设置方式的示意图；
图4是本说明书实施例中另一种终端设备交互界面示意图；
图5是本说明书实施例中一种自由视点视频数据生成过程的示意图；
图6是本说明书实施例中一种6DoF视频数据的生成及处理的示意图；
图7是本说明书实施例中一种数据头文件的结构示意图；
图8是本说明书实施例中一种用户侧对6DoF视频数据处理的示意图；
图9是本说明书实施例中一种视频帧的拼接图像的结构示意图；
图10是本说明书实施例中一种视频处理方法的流程图；
图11是本说明书实施例中一具体应用场景的纹理图拼接过程示意图；
图12是本说明书实施例中一具体应用场景的深度图拼接过程示意图；
图13是本说明书实施例中一种光栅扫描方式示意图；
图14是本说明书实施例中一种光栅扫描方式对应的视点标识设定方法的示意图；
图15是本说明书实施例中另一种视频处理方法的流程图；
图16是本说明书实施例中一种采用深度图自定义编码进行编码的过程示意图；
图17是本说明书实施例中一种采用多视联合编码进行编码的过程示意图；
图18是本说明书实施例中一种多媒体通道的结构示意图；
图19是本说明书实施例中一种图像集用户信息的具体类型及区域分布示意图；
图20是本说明书实施例中一种视频通道中视频压缩帧的格式示意图；
图21是本说明书实施例中一种视频处理方法的流程图；
图22是本说明书实施例中一种解码方法的流程图；
图23是本说明书实施例中另一种解码方法的流程图；
图24是本说明书实施例中另一种视频处理方法的流程图；
图25是本说明书实施例中另一种视频处理方法的流程图；
图26是本说明书实施例中另一种视频处理方法的流程图；
图27是本说明书实施例中一种视频处理装置的结构示意图；
图28是本说明书实施例中另一种视频处理装置的结构示意图；
图29是本说明书实施例中另一种视频处理装置的结构示意图；
图30是本说明书实施例中另一种视频处理装置的结构示意图；
图31是本说明书实施例中一种电子设备的结构示意图；
图32是本说明书实施例中另一种电子设备的结构示意图；
图33是本说明书实施例中另一种电子设备的结构示意图；
图34是本说明书实施例中一种视频处理***的结构示意图。
具体实施方式
为使本领域技术人员更好地理解和实施本说明书中的实施例，以下首先结合附图及具体应用场景对自由视点视频的实现方式进行示例性介绍。
参考图1，本发明实施例中一种自由视点视频展示的具体应用***，可以包括多个采集设备的采集***11、服务器12和显示设备13，其中采集***11，可以对待观看区域进行图像采集；采集***11或者服务器12，可以对获取到的同步的多个纹理图进行处理，生成能够支持显示设备13进行虚拟视点切换的多角度自由视角数据。显示设备13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。
在具体实现中，进行图像重建，得到重建图像的过程可以由显示设备13实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实施。可以理解的是，图1仅为示例，并非对采集***、服务器、终端设备以及具体实现方式的限制。
继续参考图1，用户可以通过显示设备13对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。
举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图2，用户手指沿D22方向滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图3，滑动前的虚拟视点的位置可以是VP1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP2。结合参考图4，在滑动屏幕后，屏幕展示的重建图像可以如图4所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建得到的。
可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另外，根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。
在具体实施中，视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向
Figure BDA0002613437770000121
相应地，基于6自由度的坐标，可以确定虚拟视点，包括位置和视角。
虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度图数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度图数据的数据量较小。
在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点的位置以及视角。
多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。终端设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。
此外，多角度自由视角的范围与采集设备的空间分布相关。可以基于采集设备的空间分布关系设置多角度自由视角的范围以及在终端侧与显示设备的交互方式。
本领域技术人员可以理解的是，上述各实施例以及对应的附图仅为举例示意性说明，并非对采集设备的设置以及多角度自由视角范围之间关联关系的限定，也并非对交互方式以及显示设备展示效果的限定。
结合参照图5，为进行自由视点视频重建，需要进行纹理图的采集和深度图计算，包括了三个主要步骤，分别为多摄像机视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth MapCalculation)。对于多摄像机视频采集来说，要求各个摄像机采集的视频可以帧级对齐。其中，通过多摄像机的视频采集可以得到纹理图(Texture Image)；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，摄像机参数可以包括摄像机内部参数数据和外部参数数据；通过深度图计算，可以得到深度图(Depth Map)，多个同步的纹理图及对应视角的深度图和摄像机参数，形成6DoF视频数据。
在本说明书实施例方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。
在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有摄像机的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。
结合参考图6，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，其中，视频数据包括多摄像机对应的各视点的纹理图和深度图数据，纹理图和深度图可以按照一定的拼接规则或拼接模式进行拼接，形成拼接图像。
结合参考图7，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个纹理图的像素数据以及深度图数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图7所示，或者以其它顺序存储。
结合参考图8，用户侧得到了6DoF视频数据，其中包括了摄像机参数，拼接图像(纹理图以及深度图)，以及描述元数据(元数据)，除此之外，还有用户端的交互行为数据。通过这些数据，用户侧可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。
目前，通常将同步的多个视点的纹理图和对应的深度图进行拼接，得到拼接图像，并将拼接图像采用统一进行编码并传输，参照图9所示的拼接图像的结构示意图，将视点1至视点8的纹理图和视点1至视点8的深度图拼接在一起，形成拼接图像90，之后可以将拼接图像90可以采用一编码方式进行编码，得到视频压缩帧，之后可以将视频压缩帧进行传输。
发明人经研究发现，上述视频处理方法虽然具有很强的应用普适性，然而，由于纹理图和深度图本身的特性具有较大的差异，对于拼接得到的包含纹理图和深度图的拼接图像，难以采用差异化的编码工具和策略等进行处理，因此会对拼接图像造成压缩损失，进而影响重建得到的自由视点视频的图像质量。又如，拼接后得到拼接图像分辨率较大，解码端的解码能力可能难以满足要求。
综上可知，现有的视频处理方式存在诸多局限性。
针对上述问题，本说明书实施例提供了一种视频处理方式，其中，基于纹理图和深度图不同的图像特性，对同步的多个视点的纹理图和对应的深度图分别进行拼接，得到纹理图拼接图像和深度图拼接图像，并将纹理图拼接图像和深度图拼接图像分别进行编码，从而可以得到对应的纹理图压缩图像和深度图压缩图像。
由于对纹理图拼接图像和深度图拼接图像分别进行编码，因而可以基于纹理图和深度图的特征采用相应的编码方法进行编码压缩，从而可以减少压缩损失，进而可以提高基于所述纹理图拼接图像和深度图拼接图像重建得到的自由视点视频的图像质量。
为使本领域技术人员更好地理解和实现本说明书实施例，以下分别参照附图，通过从编码侧和解码侧两侧的视频处理过程进行详细说明。
首先从编码侧的视频处理方式进行详细阐述。
参照图10所示的视频处理方法的流程图，在本说明书实施例中，具体可以包括如下步骤：
S101，将帧同步的多个视点的纹理图拼接为纹理图拼接图像。
在具体实施中，可以按照预设的扫描方式扫描所述帧同步的多个视点的纹理图，并按照预设的拼接规则拼接得到所述纹理图拼接图像，如图11所示的纹理图拼接过程示意图，对于摄像机1至摄像机4同步采集的4个视频流，可以按照帧时序，得到纹理图拼接图像视频流。
S102，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像。
与步骤S101类似，可以按照所述预设的扫描方式扫描所述帧同步的多个视点的纹理图对应的深度图，并按照所述预设的拼接规则拼接得到所述深度图拼接图像。如图12所示的深度图拼接过程示意图，对于摄像机1至摄像机4对应的深度图视频流，可以按照帧时序，得到深度图拼接图像视频流。
在具体实施中，具体的扫描方式可以光栅扫描(RasterScan)、Z字形扫描(ZigZag-Scan)等多种。
其中，光栅扫描，是指从左往右，由上而下，先扫描完一行，再移至下一行起始位置继续扫描，如图13所示的光栅扫描方式示意图。Z字形扫描中Z是形象的表示方式，在具体实施例中，可以按照所述扫描轨迹对空间中各视点的纹理图及深度图按照顺序进行获取及拼接。
可以理解的是，以上扫描方式仅为示例说明，本说明书实施例中并不对具体的扫描方式作任何限定。
在本说明书一些实施例中，预设采用固定的一种扫描方式进行扫描。例如，编码端设备和解码端设备可以约定采用光栅扫描方式进行扫描，这样传输时可以仅传输各视点的纹理图和深度图对应的标识信息即可，而不用传递扫描方式对应的标识信息，解码端设备按照同样的扫描顺序进行解码即可。
在本说明书实施例中，针对空间中任意方式排布的视点，为简化纹理图拼接图像和深度图拼接图像中对应的纹理图子区域和深度图子区域中视点信息存储规则，可以预先设定视点标识的设定规则。
在本说明书一些实施例中，如图14所示的视点标识设定方法的示意图，各个相机作为原始视点。首先，可以选取一个主摄像机，主摄像机用于保证同步采集，其他摄像机为从摄像机，并将主摄像机标号为0，本说明书实施例中并不限定主摄像机的选取规则。之后，可以以主摄像机为原点建立空间坐标系，如图14所示，之后，可以按照空间坐标系(x,y,z)进行排序，其中一示例排序规则如下：
a.按照z坐标的小标号优先顺序进行排序，越小的标号的摄像机标号越小；
b.在z坐标排序基础上按照y坐标的小标号优先顺序进行排序，越小的标号获得的相机标号越小；
c.在y坐标排序基础上按照x坐标的小标号优先顺序进行排序。越小的标号获得的相机标号越小。
按照上述视点排序规则得到的一视点排序样例如下：
按照图14，从中选择了任意一台摄像机作为主摄像机,并将其标号定为0，之后，获得7台从摄像机在坐标系中的坐标(-1,1,1),(-1,0,1),(1,0,1),(1,0,0),(-1,0,-1),(0,0,-1),(1,0,-1)。按照上述排序规则，将其排序获得(-1,0,-1),(0,0,-1),(1,0,-1),(1,0,0),(-1,0,1),(1,0,1),(-1,1,1)。
最终确定的摄像机标号如下：
(0,0,0)摄像机标号0；
(-1,0,-1)摄像机标号1；
(0,0,-1)摄像机标号2；
(1,0,-1)摄像机标号3；
(1,0,0)摄像机标号4；
(-1,0,1)摄像机标号5；
(1,0,1)摄像机标号6；
(-1,1,1)摄像机标号7。
通过上述流程确定摄像机标号的顺序，即是确定得到的光栅扫描顺序，上述摄像机标识也可以表征各视点的纹理图和深度图的获取顺序，因此，可以按照光栅扫描方式扫描所述帧同步的多个视点的纹理图，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述纹理图拼接图像；并按照所述光栅扫描方式扫描所述帧同步的多个视点的纹理图对应的深度图，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述深度图拼接图像。
S103，将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
在具体实施中，根据所述纹理图拼接图像和所述深度图拼接图像的不同特征，可以对所述纹理图拼接图像和所述深度图拼接图像分别采用不同的编码方式进行编码。
例如，可以将所述深度图拼接图像采用基于感兴趣区域的编码方式进行编码，得到对应的深度图压缩图像。对于深度图拼接图像采用基于感兴趣区域的编码方式进行编码，从而能够按照深度图拼接图像的图像特征进行压缩编码，从而可以减少深度图的压缩损失，进而可以提高基于深度图重建得到的自由视点视频的图像质量。
作为具体示例，对于所述深度图拼接图像中的感兴趣区域(Region Of Internet，ROI)像素区域，基于预设的恒定量化参数进行编码，得到对应的深度图压缩图像。
发明人经研究发现，深度图子区域中的前景边缘像素区域的质量对于基于虚拟视点重建得到的图像质量是非常关键的。基于此，为提高重建得到的虚拟视点的图像质量，在本说明书一具体实施中，对于所述深度图拼接图像中包含的各视点对应的深度图子区域中的前景边缘像素区域采用第一恒定量化参数进行编码，对于各视点对应的深度图子区域中非前景边缘像素区域采用第二恒定量化参数进行编码，所述第一恒定量化参数的参数值小于所述第二恒定量化参数的参数值。
在具体实施中，对于纹理图拼接图像，可以根据需要，从VP8、VP9、AV1、H.264/AVC、H.265/HEVC、通用视频编码(Versatile Video Coding，VVC)、音视频编码标准(Audio andVideo Coding Standard，AVS)、AVS+、AVS2、AVS3等多种适合纹理图的编码方式中选择一种用于对所述纹理图拼接图像进行编码，得到纹理图压缩图像。
其中，VP8、VP9是开放的视频压缩编码方式。H.264/AVC由ITU-T和ISO/IEC联合开发的，定位于覆盖整个视频应用领域，ITU-T给这个标准命名为H.264(以前叫做H.26L)，而ISO/IEC称它为MPEG-4高级视频编码(Advanced Video Coding，AVC)。H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准，标准全称为高效视频编码(High EfficiencyVideo Coding，HEVC)。AVS+、AVS2和AVS3等是AVS的优化和演进技术。
在具体实施中，步骤S101和步骤S102可以按照先后执行(可以先执行步骤S101，也可以先执行步骤S102)，也可以并行执行。
作为可选步骤，在步骤S103之后，可以执行如下步骤：
S104，将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道。
通过将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道，也即纹理图压缩图像和深度图压缩图像可以复用一个视频通道，从而可以复用已有硬件设备的硬件接口，并符合现有开源框架的规范，也便于深度图与纹理图进行同步。
在具体实施中，可以将所述深度图压缩图像封装在所述视频压缩帧的帧头区域。
将所述深度图压缩图像封装在所述视频压缩帧的帧头区域，在解码端采用不同的解码资源分别对所述纹理图压缩图像和深度图压缩图像进行解码时，可以减少用于深度图压缩图像解码过程中无关数据的读取，从而可以提高数据处理效率，节约处理资源。
在具体实施中，所述深度图拼接图像中包含的各视点对应的深度图子区域的像素点为纹理图拼接图像中与对应视点的纹理图子区域中的像素点一一对应的像素点集合中的全部或部分像素点。在本说明书一些实施例中，通过对原始深度图或者原始深度图拼接图像中的像素点进行降采样后得到所述深度图拼接图像，通过降采样得到的深度图拼接图像中包含的各视点对应的深度图子区域的像素点为纹理图拼接图像中与对应视点的纹理图子区域中的像素点一一对应的像素点集合中的部分像素点，可以降低深度图拼接图像的分辨率，从而可以进一步节约传输资源。
在具体实施中，还可以对上述实施例作进一步的扩展。以下通过一些具体实施例进行示例说明。
为扩展本说明书实施例所适用的压缩编码兼容性，可以设置多种编码方式，其中包括深度图自定义编码，在本说明书一些实施例中，参照图15所示的视频处理方法的流程图，具体可以采用如下步骤进行实施：
S151，确定编码方式所属编码类别，若确定编码方式属于深度图自定义编码，可以执行步骤S152；若确定编码方式属于多视联合编码，可以执行步骤S153。
S152，将所述编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
在具体实施中，在确定编码方式属于深度图自定义编码时，编码***或者用于编码的电子设备可以做两个方面的动作：一个方面是将编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域，以便于解码***或者用于解码的电子设备识别及采用对应的解码方式进行解码。
另一方面是，采用所述深度图自定义编码进行编码的执行动作。如图16所示，为采用深度图自定义编码进行编码的过程示意图，其中，对于帧同步的四个视点的纹理图T1～T4，可以按照预设的扫描方式进行拼接，得到纹理图拼接图像Tx，之后对纹理图拼接图像Tx采用第一编码方式进行编码，得到纹理图压缩图像Te；对于帧同步的四个视点的纹理图T1～T4所对应的深度图D1～D4，可以按照预设的扫描方式进行拼接，得到深度图拼接图像Dx，之后对深度图拼接图像Dx采用第二编码方式进行编码，得到深度图压缩图像De。在具体实施中，对于纹理图拼接图像Tx和深度图拼接图像Dx采用不同的编码方式，从而可以基于纹理图和深度图不同的特性，采用更加匹配的编码方式进行编码。
在本说明书一些实施例中，可以按照光栅扫描方式扫描所述帧同步的多个视点的纹理图T1～T4，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述纹理图拼接图像Tx；以及按照所述光栅扫描方式扫描所述帧同步的多个视点的纹理图对应的深度图D1～D4，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述深度图拼接图像Dx。
在本说明书一些实施例中，所述第一编码方式可以从VP8、VP9、AV1、H.264/AVC、H.265/HEVC、VVC、AVS、AVS+、AVS2、AVS3等多种适合纹理图的编码方式中进行选取；所述第二编码方式可以采用基于感兴趣区域的编码方式进行编码，例如，对于所述深度图拼接图像中的感兴趣区域(Region Of Internet，ROI)像素区域，可以基于预设的恒定量化参数进行编码，得到对应的深度图压缩图像。
在具体实施中，可以采用支持相应编码方式的编码器或者编码软件进行实施。
S153，获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域；以及将所述帧同步的多个视点的纹理图和深度图分别采用采用预设的多视联合编码方式进行编码，得到联合压缩图像。
在本说明书一些实施例中，编码类别除了有深度图自定义编码外，还有多视联合编码等编码类型，因此根据需要，除了可以采用深度图自定义编码外，还可以采用多视联合编码对多个视点的纹理图和深度图进行编码。
采用多视联合编码，可以去除视点间的冗余信息，提高编码效率。
在具体实施中，在确定编码方式属于多视联合编码时，编码***或者用于编码的电子设备可以做两个方面的动作：一个方面是获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，以及将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域，以便于解码***或者用于解码的电子设备识别及采用对应的解码方式进行解码。另一方面是，采用所述多视联合编码方式进行编码的执行动作。
如图17所示，为本说明书实施例中一种采用多视联合编码进行编码的过程示意图，对于帧同步的多个视点(视点0至视点N-1)的纹理图和深度图，首先，从中选取一个视点作为独立视点的纹理图作为独立视图，如图17所示，选取视点0的纹理图作为独立视图，采用符合HEVC的视频编码装置进行编码，一方面，将编码得到的纹理图压缩图像输出至封装装置，另一方面，采用预设的深度图编码装置，参考所述符合HEVC的视频编码装置输出的纹理压缩图像的信息，对所述视点0的深度图进行编码，对于编码后得到的深度图压缩图像，一方面输出至所述封装装置继续进行封装，另一方面输出至其他视点的用于非独立视图的视频编码装置和用于非独立视图的深度图编码装置，以供用于非独立视图的视频编码装置对相应视点的纹理图进行编码时作为参考，以及供用于非独立视图的深度图编码装置对相应视点的深度图进行编码时作为参考，从而得到符合HEVC的视频编码装置、深度图编码装置，以及用于非独立视图的视频编码装置和用于非独立视图的深度图编码装置等多个编码装置联合编码得到的纹理图压缩图像和深度图压缩图像。
在具体实施中，各编码装置可以采用相同的编码方式，也可以根据纹理图和深度图的不同特性选择不同的编码方式。
在具体实施中，具体的多视联合编码方式可以从VP8、VP9、AV1、H.264/AVC、H.265/HEVC、VVC、AVS、AVS+、AVS2、AVS3等编码方式中进行选取。
在具体实施中，为了便于解码端进行解码，可以将涉及到的与编码相关的指示信息，例如编码方式对应的编码类别标识、具体编码方式的编码标识信息等可以存储至图像集用户信息。
通过前述步骤S152或步骤S153，可以实现视频图像的编码压缩，为进行视频传输及不同多媒体内容的同步播放，可以对编码器生成的多媒体内容(视频、音频、字幕、章节信息等)进行封装处理，具体的封装格式可以理解为是媒体的容器。通过封装，可以将视频通道的编码和音频通道的编码数据打包成一个完整的多媒体文件。
在具体实施中，基于编码方式的不同，具体的编码视频帧、编码信息、封装信息等均可以有所不同。在本说明书实施例中，编码信息、封装信息等均可以视为图像集用户信息，基于封装格式、编码方式的不同，图像集用户信息中不同类型的用户信息可以集中在一个区域存储，也可以根据需要设置在不同的存储区域。以下将通过具体应用场景进行说明。
以下首先分别通过深度图自定义编码方式和多视联合编码方式编码得到的纹理图压缩图像和深度图压缩图像的封装方式，结合深度图自定义编码方式及多视联合编码方式介绍图像集用户信息一些示例的存放方式。
在本说明书实施例中，对于步骤S152或步骤S153编码得到的纹理图压缩图像和深度图压缩图像，可以复用一个视频通道，具体而言，可以将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道的视频压缩帧中，如图18所示的多媒体信息通道结构示意图，多媒体信息通道180包括视频通道181和音频通道182，为实现对编码后的纹理图压缩图像和深度图压缩图像进行传输，可以将纹理图压缩图像和深度图压缩图像封装在视频通道181中，更具体地，可以将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道的视频压缩帧中。继续参照图18，在视频通道181中，按照时序封装有一系列视频压缩帧，每个视频压缩帧18F包括帧头18A和帧体18B。
在本说明书一些实施例中，对于采用深度图编码方式得到的深度图压缩图像，可以封装至所述视频通道181的视频压缩帧18F的帧头18A中的深度图区域，而将所述纹理图压缩图像封装在所述视频通道181的视频压缩帧18F的帧体18B中。在本说明书一些实施例中，对于步骤S153编码得到的纹理图压缩图像和纹理图压缩图像，同样地可以封装在视频通道的视频压缩帧中。具体地，可以将同步的每个视点的纹理图压缩图像和同一视点的深度图压缩图像依序存储于视频压缩帧18F的帧体18B中。
以下结合深度图自定义编码和多视联合编码示例说明在进行封装处理后图像集用户信息的具体存储方式。
在具体实施中，可以将所述编码方式对应的编码类别标识存储至视频通道的通道头中图像集用户信息区域，编码类别标识作为图像集用户信息的一个子集，为实现快速解码，并节约存储资源，可以存储于视频通道的通道头中的图像集用户信息区域，例如，若仅有深度图自定义编码和多视联合编码这两类编码类别可选，可以在通道头信息中专门设置1比特的字符用于标识所述视频通道中包含的是深度图自定义编码方式得到的视频压缩帧，还是采用多视联合编码方式得到的视频压缩帧。而若有更多类别的编码方式，则可以预留更多比特位用于标识所属的编码类别。同时，可以将所述编码标识信息存储至所述视频压缩帧的帧头中的编码信息区域，例如，若是使用多视联合编码，视频压缩帧的帧头中具体的标识信息可以标识对纹理图和深度图具体的编码方式是3D-HEVC，还是3D-AVC等；若是使用深度图自定义编码，视频压缩帧的帧头中具体的标识信息可以标识纹理图拼接图像和深度图拼接图像具体的编码方式是AVC、HEVC、AVS、AVS2、AVS3等。
此外，对应于多视联合编码方式得到的联合压缩图像，在具体实施中，可以将所述联合压缩图像中包含的视点的标识以及所述联合拼接图像对应的帧标识存储至所述视频压缩帧帧头中的图像信息存储区域。
参照图19所示的图像集用户信息的具体类型及区域分布示意图，在具体实施中，可以在视频通道的通道头Ca中设置编码类别区域Ca1，存储编码类别标识，以表征具体编码方式所属编码类别，如深度图自定义编码，或者为多视联合编码，并在视频压缩帧I的帧头Ia中的编码信息区域Ia1存储编码标识信息，以表征深度图自定义编码或多视联合编码中所采用的具体编码方式，如具体为3D-HEVC、3D-AVC、AVC、HEVC、AVS等中的哪一种编码或多种编码方式。
在具体实施中，作为图像集用户信息中的扩展信息，继续参照图19，对应于多视联合编码方式，视频压缩帧I的帧头Ia中可以包括所述图像信息存储区域Ia2，可以存储多视联合编码所针对的纹理图和深度图的视点的标识和的帧标识。
如前实施例所述，对应于多视联合编码，各视点的纹理图压缩图像和深度图压缩图像可以按照顺序交错排布在帧体Ib中，如图20所示的视频通道中视频压缩帧的格式示意图，其中，视频压缩帧I中得到的各视点的纹理图压缩图像及深度图压缩图像可以作为一个图像组合相邻排布，各个视点的图像按照编码装置处理顺序依序排布，且在图像信息存储区域Ia2中按照与相同顺序排布各纹理图压缩图像和深度图压缩图像的视点标识及帧标识，例如，对于同一帧，纹理图压缩图像和深度图压缩图像对应的视点标识可以作为一个数组排列，比如，可以表示为V0D0V1D1V2D2……，其中V表示纹理图，D表示深度图。
对应于深度图自定义编码，帧体Ib中仅存储纹理图压缩图像，而深度图压缩图像可以存储于帧头Ia的深度图存储区域Ia3中。
可以理解的是，图19和图20中仅示意了视频通道中的一个视频压缩帧的示意结构，在具体实施中，多个视频压缩帧依次存储于所述视频通道中，形成视频流。
经上述处理，通过视频通道可以传输自由视点视频流，进而可以基于所述自由视点视频流进行自由视点视频的播放。
为使本领域技术人员更好地理解本说明书实施例中的通过编码和封装等对视频进行处理的方法的原理及方案的具体实施，以下从传输至终端侧等解码端后，对获取到的自由视点视频流的解封装、解码，以及自由视点视频的重建等进行对应阐述。
参照图21所示的视频处理方法的流程图，在自由视点视频流接收侧，如解码端设备，对于获取到的自由视点视频流，可以采用如下步骤进行处理：
S211，对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息。
在具体实施中，与前述实施例中封装方式对应，对视频通道的通道头进行解封装，可以获得视频压缩帧的编码方式所属编码类别信息。
S212，基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像。
其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
S213，基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
步骤S213作为可选步骤，可以实现多视联合编码方式得到的视频压缩帧的解码。
其中，对于步骤S212或步骤S213，参照图22所示的解码方法的流程图，对于深度图自定义编码方式的视频压缩帧，可以采用如下解码方式进行解码：
S2121，对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和所述深度图压缩图像的编码标识信息。
S2122，采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到所述深度图拼接图像。
S2123，采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到所述纹理图拼接图像。
在具体实施中，对于步骤S2122和步骤S2123，可以采用不同的解码资源分布进行解码。对于采用深度图编码方式得到的视频压缩帧，如前实施例示例，其中，深度图压缩图像存储于帧头的深度图存储区域，纹理图压缩图像存储于帧体Ib中，如图19所示，可以利用第一解码资源对所述纹理图压缩图像进行解码，得到纹理图拼接图像，而利用第二解码资源对所述深度图压缩图像进行解码，得到深度图拼接图像。
参照图23所示的另一种解码方法的流程图，对于多视联合编码方式，可以采用步骤进行解码：
S2131，对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识。
S2132，采用与所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识对应的多视联合解码方式对所述纹理图压缩图像和深度图压缩图像进行解码，得到所述同步的多个视点的纹理图以及对应的深度图。
对于采用多视联合编码方式得到的视频压缩帧，纹理图压缩图像和深度图压缩图像交织存储于帧体Ib中，如图20所示。可以利用第一解码资源对所述纹理图压缩图像进行解码，得到纹理图，而利用第二解码资源对所述深度图压缩图像进行解码，得到深度图。其中，除了独立视点的纹理图，其他视点的纹理图和深度图在进行解码过程中可以参考其他视点解码得到的纹理图或深度图。
在本说明书实施例中，作为一具体示例，所述第一解码资源为硬件解码资源，所述第二解码资源为软件解码资源。作为另一具体示例，所述第一解码资源为图形处理器(Graphics Processing Unit，GPU)解码芯片，所述第二解码资源为中央处理器(CentralProcessing Unit，CPU)解码芯片。
对前述实施例中的视频压缩帧进行解码后，可以根据解码得到的图像数据，基于自由视点，进行虚拟视点的图像重建。基于前述不同编码方式的视频压缩帧，图像重建所参照的具体数据略有不同，以下分别通过两个具体实施例进行示例说明：
参照图24所示的视频处理方法的流程图，对于采用深度图自定义解码方式得到的视频帧，可以采用如下方式进行图像重建：
S241，从所述视频压缩帧的帧头中获取视点的参数数据。
S242，获取虚拟视点，基于所述视点的参数数据，选择所述纹理图拼接图像和所述深度图拼接图像中与虚拟视点位置匹配的相应纹理图子区域中的纹理图和深度图子区域中的深度图作为参考纹理图和参考深度图。
在具体实施中，所述虚拟视点可以基于用户交互行为确定，或者基于预先设置的虚拟视点位置信息确定。
在本说明书一些实施例中，为在保证重建图像质量的情况下，减少数据运算量，可以基于空间位置关系信息，仅选取部分视点的纹理图和深度图进行虚拟视点的图像重建。具体而言，参考纹理图和参考深度图可以基于虚拟视点位置与所述纹理图拼接图像和所述深度图拼接图像中各纹理图子区域中的纹理图和深度图的距离关系确定。
其中，空间位置关系信息可以基于纹理图和深度图的参数信息确定，所述参数信息可以在视频压缩帧的帧头或者视频通道的通道头中存储。所述参数信息可以包括各视点的内参信息和外参信息。
S243，基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
在具体实施中，基于所述参考纹理图和参考深度图，进行组合渲染，可以得到所述虚拟视点的图像。
采用上述方式进行虚拟视点的图像重建，由于可以采用与图像特性匹配的编码方式分别对纹理图拼接图像和深度图拼接图像进行编码，因而解码得到的纹理图拼接图像和深度图拼接图像的压缩损失较小，故可以提高重建的虚拟视点的图像的质量。
参照图25所示的视频处理方法的流程图，对于采用多视联合解码方式得到的视频帧，可以采用如下方式进行图像重建：
S251，从所述视频压缩帧的帧头中获得视点的标识及所述视频压缩帧的帧标识和各视点的参数数据。
S252，获取虚拟视点，基于各视点的标识和参数数据，从所述同步的多个视点的纹理图以及对应的深度图中选择与所述虚拟视点匹配的纹理图和深度图作为参考纹理图和参考深度图。
在具体实施中，所述虚拟视点可以基于用户交互行为确定，或者基于预先设置的虚拟视点位置信息确定。
在本说明书一些实施例中，为在保证重建图像质量的情况下，减少数据运算量，可以基于空间位置关系信息，仅选取部分视点的纹理图和深度图进行虚拟视点的图像重建。具体而言，参考纹理图和参考深度图可以基于虚拟视点位置与所述纹理图拼接图像和所述深度图拼接图像中各纹理图子区域中的纹理图和深度图的距离关系确定。
其中，空间位置关系信息可以基于纹理图和深度图的参数信息确定，所述参数信息可以在视频压缩帧的帧头或者视频通道的通道头中存储。所述参数信息可以包括各视点的内参信息和外参信息。
S253，基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
在具体实施中，基于所述参考纹理图和参考深度图，进行组合渲染，可以得到所述虚拟视点的图像。
采用上述方式进行虚拟视点的图像重建，由于可以采用与图像特性匹配的编码方式分别对各视点的纹理图和深度图进行编码，因而解码得到的各视点的纹理图和深度图的压缩损失较小，故可以提高重建的虚拟视点的图像的质量。
在具体实施中，还可以对所述虚拟视点重建得到的自由视点图像做进一步的处理。以下给出一示例性扩展方式。
为丰富用户视觉体验，可以在重建得到的自由视点图像中植入增强现实(Augmented Reality，AR)特效。在本说明一些实施例中，参照图26所示的视频处理方法的流程图，采用如下方式实现AR特效的植入：
S261，获取所述虚拟视点的图像中的虚拟渲染目标对象。
在具体实施中，可以基于某些指示信息确定自由视点视频的图像中的某些对象作为虚拟渲染目标对象，所述指示信息可以基于用户交互生成，也可以基于某些预设触发条件或第三方指令得到。在本说明书一可选实施例中，响应于特效生成交互控制指令，可以获取所述虚拟视点的图像中的虚拟渲染目标对象。
S262，获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所植入的AR特效以虚拟信息图像的形式呈现。所述虚拟信息图像可以基于所述目标对象的增强现实特效输入数据生成。在确定虚拟渲染目标对象后，可以获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所述虚拟渲染目标对象对应的虚拟信息图像可以预先生成，也可以响应于特效生成指令即时生成。
在具体实施中，可以基于三维标定得到的所述虚拟渲染目标对象在重建得到的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像，从而可以使得到的虚拟信息图像与所述虚拟渲染目标对象在三维空间中的位置更加匹配，进而所展示的虚拟信息图像更加符合三维空间中的真实状态，因而所展示的合成图像更加真实生动，增强用户的视觉体验。
在具体实施中，可以基于虚拟渲染目标对象的增强现实特效输入数据，按照预设的特效生成方式，生成所述目标对象对应的虚拟信息图像。
在具体实施中，可以采用多种特效生成方式。
例如，可以将所述目标对象的增强现实特效输入数据输入至预设的三维模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像；
又如，可以将所述虚拟渲染目标对象的增强现实特效输入数据，输入至预设的机器学习模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像。
S263，将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
在具体实施中，可以有多种方式将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示，以下给出两种具体可实现示例：
示例一：将所述虚拟信息图像与对应的图像进行融合处理，得到融合图像，对所述融合图像进行展示；
示例二：将所述虚拟信息图像叠加在对应的图像之上，得到叠加合成图像，对所述叠加合成图像进行展示。
在具体实施中，可以将得到的合成图像直接展示，也可以将得到的合成图像***待播放的视频流进行播放展示。例如，可以将所述融合图像***待播放视频流进行播放展示。
自由视点视频中可以包括特效展示标识，在具体实施中，可以基于特效展示标识，确定所述虚拟信息图像在所述虚拟视点的图像中的叠加位置，之后，可以将所述虚拟信息图像在所确定的叠加位置进行叠加展示。
为使本领域技术人员更好地理解和实现本说明书实施例，以下对可以实现上述视频处理方法的视频处理装置进行对应描述。
参照图27所示的视频处理装置的结构示意图，在本说明书一些实施例中，如图26所示，视频处理装置270可以包括：纹理图拼接单元271、深度图拼接单元272、第一编码单元273和第二编码单元274，其中：
所述纹理图拼接单元271，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像；
所述深度图拼接单元272，适于将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
所述第一编码单元273，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
所述第二编码单元274，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
采用上述视频处理装置，可以采用深度图自定义编码的方式对用于形成自由视点视频的同步的多个视点的纹理图和深度图进行压缩编码。
参照图28所示的视频处理装置的结构示意图，本说明书实施例还提供了另一种视频处理装置，如图28所示，视频处理装置280可以包括：编码类别确定单元281和第一编码处理单元282，其中：
编码类别确定单元281，适于确定编码方式所属编码类别；
第一编码处理单元282，适于在确定编码方式属于深度图自定义编码时，将所述编码方式对应的编码类别标识及编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
在具体实施中，视频处理装置280还可以包括：第二编码处理单元283，适于在确定编码方式属于多视联合编码时，获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域；以及将所述帧同步的多个视点的纹理图和深度图分别采用采用预设的多视联合编码方式进行编码，得到纹理图压缩图像和深度图压缩图像。
在具体实施中，如图28所示，视频处理装置280还可以包括：封装单元284，适于将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道中。
作为可选示例，所述封装单元284对于采用深度图自定义编码处理得到的纹理图压缩图像和深度图压缩图像，可以将纹理图压缩图像放置在视频压缩帧的帧体中，将深度图压缩图像放置在视频压缩帧的帧头中。
作为可选示例，所述封装单元284对于采用多视联合编码处理得到的纹理图压缩图像和深度图压缩图像，可以将纹理图压缩图像和深度图压缩图像交织放置在视频压缩帧的帧体中。
本说明书实施例还提供了另一种视频处理装置，可以对视频压缩帧进行解封装和解码处理，如图29所示，视频处理装置290可以包括：解封装单元291和第一解码单元292，其中：
所述解封装单元291，适于对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息；
所述第一解码单元292，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
在具体实施中，继续参照图29，所述视频处理装置还可以包括：第二解码单元293，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
参照图30所示的另一种视频处理装置，在本说明书实施例，如图30所示的视频处理装置300，可以包括：指示信息解码单元301、纹理图解码单元302和深度图解码单元303，其中：
所述指示信息解码单元301，适于解码所述视频压缩帧的帧头，从所述帧头中获得所述视频压缩帧中包括深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息；
所述纹理图解码单元302，适于采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述深度图拼接图像包括同步的多个视点的纹理图；
所述深度图解码单元303，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
本说明书实施例还提供了相应的视频处理设备，参照图31所示的电子设备的结构示意图，在本说明实施例中，可以采用所述电子设备对视频数据进行编码压缩，如图31所示，电子设备310可以包括：
所述图像处理装置311，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像，以及将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
所述第一编码装置312，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
所述第二编码装置313，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
在具体实施中，所述图像处理装置311可以通过预设的数据处理芯片实现，例如可以是单核或多核处理器、GPU芯片、FPGA芯片等其中任意一种。
在具体实施中，所述第一编码装置312和所述第二编码装置313可以通过专门的编码器、编码软件或者编码软件与编码器协同实施。
在具体实施中，所述第一编码装置312和所述第二编码装置313可以分别独立执行，也可以配合执行。
在具体实施中，还可以采用第一编码装置312和所述第二编码装置313进行多视图联合编码，例如，由所述第一编码装置对纹理图进行编码，由所述第二编码装置对深度图进行编码。具体的多视联合编码的处理方式可以参见前述实施例，此处不再展开描述。
参照图32所示的另一种电子设备的结构示意图，可以采用所述电子设备对视频通道的视频压缩帧进行解码，如图32所示，电子设备320包括：第一解码装置321和第二解码装置322，其中：
所述第一解码装置321，适于解码视频压缩帧的帧头，并当从所述帧头的图像集用户信息中获得所述视频压缩帧中获得编码标识信息包括深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息时，采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图，以及触发所述第二解码器对所述深度图压缩图像进行解码；
所述第二解码装置322，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
采用上述电子设备，可以实现对采用深度图自定义解码方式得到的视频压缩帧进行解码。
在具体实施中，还可以采用上述电子设备对采用多视联合编码方式得到的视频压缩帧进行解码，其中，可以由所述第一解码装置321进行纹理图编码，由所述第二解码装置322进行深度图编码。具体的多视联合解码的执行过程可以参见前述实施例介绍，此处不再赘述。
参照图33所示的另一种电子设备的结构示意图，本说明书实施例还提供了另一种电子设备，其中，如图33所示，电子设备330可以包括存储器331和处理器332，所述存储器331上存储有可在所述处理器332上运行的计算机指令，其中，所述处理器运行所述计算机指令时可以执行前述任一实施例所述方法的步骤。
基于所述电子设备在整个视频处理***所处位置，所述电子设备还可以包括其他的电子部件或组件。
例如，继续参照图33，电子设备330还可以包括通信组件333，所述通信组件可以与采集***或云端服务器通信，获得用于生成自由视点视频帧的同步的多个视点的纹理图，或者获取采用本说明书前述实施例的视频处理方法进行编码、封装后得到的自由视点视频压缩帧，进而可以由处理器332基于通信组件333获取到的视频压缩帧，进行解封装及解码处理，以及根据虚拟视点位置，进行所述虚拟视点的自由视点视频重建。
又如，在某些电子设备中，继续参照图33，电子设备330还可以包括显示组件334(如显示器、触摸屏、投影仪)，以对重建得到的虚拟视点的图像进行显示。
作为服务端设备，所述电子设备可以设置为云端服务器或服务器集群，或者作为本地服务器对自由视点视频帧在传输前进行压缩处理。作为终端设备，所述电子设备330具体可以是手机等手持电子设备、笔记本电脑、台式电脑、机顶盒等具有视频处理及播放功能的电子设备，采用所述终端设备，可以对接收到的视频压缩帧进行解码处理，并基于解码后的视频帧，以及获取到的虚拟视点，重建得到所述虚拟视点的图像。其中，所述虚拟视点可以基于用户交互行为确定，或者基于预先设置的虚拟视点位置信息确定。
在本说明书一些实施例中，存储器、处理器、通信组件和显示组件之间可以通过总线网络进行通信。
在具体实施中，如图33所示，通信组件333和显示组件334等可以为设置在所述电子设备330内部的组件，也可以为通过扩展接口、扩展坞、扩展线等扩展组件连接的外接设备。
在具体实施中，所述处理器332可以通过中央处理器(Central Processing Unit，CPU)(例如单核处理器、多核处理器)、CPU组、图形处理器(Graphics Processing Unit，GPU)、AI芯片、FPGA芯片等其中任意一种或多种协同实施。
在具体实施中，对于大量的自由视点视频帧，为减小处理时延，也可以采用多个电子设备组成的电子设备集群协同实施。
为使本领域技术人员更好地理解和实施，以下以一个具体的应用场景进行说明。参照图34所示的视频处理***的结构示意图，如图34所示，为一种应用场景中视频处理***的结构示意图，其中，示出了一场篮球赛的数据处理***的布置场景，所述视频处理***A0包括由多个采集设备组成的采集阵列A1、数据处理设备A2、云端的服务器集群A3、播放控制设备A4，播放终端A5和交互终端A6。
参照图34，以左侧的篮球框作为核心看点，以核心看点为圆心，与核心看点位于同一平面的扇形区域作为预设的多角度自由视角范围。所述采集阵列A1中各采集设备可以根据所述预设的多角度自由视角范围，成扇形置于现场采集区域不同位置，可以分别从相应角度实时同步采集视频数据流。
在具体实施中，采集设备还可以设置在篮球场馆的顶棚区域、篮球架上等。各采集设备可以沿直线、扇形、弧线、圆形或者不规则形状排列分布。具体排列方式可以根据具体的现场环境、采集设备数量、采集设备的特点、成像效果需求等一种或多种因素进行设置。所述采集设备可以是任何具有摄像功能的设备，例如，普通的摄像机、手机、专业摄像机等。
而为了不影响采集设备工作，所述数据处理设备A2可以置于现场非采集区域，可视为现场服务器。所述数据处理设备A2可以通过无线局域网向所述采集阵列A1中各采集设备分别发送拉流指令，所述采集阵列A1中各采集设备基于所述数据处理设备A2发送的拉流指令，将获得的视频数据流实时传输至所述数据处理设备A2。其中，所述采集阵列A1中各采集设备可以通过交换机A7将获得的视频数据流实时传输至所述数据处理设备A2。采集阵列A1和交换机A7一起形成采集***。
当所述数据处理设备A2接收到视频帧截取指令时，从接收到的多路视频数据流中对指定帧时刻的视频帧截取得到多个同步视频帧的帧图像，并将获得的所述指定帧时刻的多个同步视频帧上传至云端的服务器集群A3。
相应地，云端的服务器集群A3将接收的多个同步视频帧的原始纹理图作为图像组合，确定所述图像组合相应的参数数据及所述图像组合中各原始纹理图对应的估计深度图，并基于所述图像组合相应的参数数据、所述图像组合中纹理图的像素数据和对应深度图的深度数据，基于获取到的虚拟视点路径进行帧图像重建，获得相应的多角度自由视角视频数据。
服务器可以置于云端，并且为了能够更快速地并行处理数据，可以按照处理数据的不同，由多个不同的服务器或服务器组组成云端的服务器集群A3。
例如，所述云端的服务器集群A3可以包括：第一云端服务器A31，第二云端服务器A32，第三云端服务器A33，第四云端服务器A34。其中，第一云端服务器A31可以用于确定所述图像组合相应的参数数据；第二云端服务器A32可以用于确定所述图像组合中各视点的原始纹理图的估计深度图以及进行深度图校正处理；第三云端服务器A33可以根据虚拟视点的位置信息，基于所述图像组合相应的参数数据、所述图像组合的纹理图和深度图，使用基于深度图的虚拟视点重建(Depth Image Based Rendering，DIBR)算法，进行帧图像重建，得到虚拟视点的图像；所述第四云端服务器A34可以用于生成自由视点视频(多角度自由视角视频)。
可以理解的是，所述第一云端服务器A31、第二云端服务器A32、第三云端服务器A33、第四云端服务器A34也可以为服务器阵列或服务器子集群组成的服务器组，本发明实施例不做限制。
然后，播放控制设备A4可以将接收到的自由视点视频帧***待播放视频流中，播放终端A5接收来自所述播放控制设备A4的待播放视频流并进行实时播放。其中，播放控制设备A4可以为人工播放控制设备，也可以为虚拟播放控制设备。在具体实施中，可以设置专门的可以自动切换视频流的服务器作为虚拟播放控制设备进行数据源的控制。导播控制设备如导播台可以作为本发明实施例中的一种播放控制设备。
可以理解的是，所述数据处理设备A2可以根据具体情景置于现场非采集区域或云端，所述服务器(集群)和播放控制设备可以根据具体情景置于现场非采集区域，云端或者终端接入侧，本实施例并不用于限制本发明的具体实现和保护范围。
其中，所述数据处理设备A2或云端的服务器集群A3可以采用本说明书实施例中的视频处理方法对各视点的纹理图和对应的深度图进行编码、封装等处理；播放终端A5和交互终端A6等可以对接收到的视频压缩帧进行解封装、解码等处理。所述播放终端A5、交互终端A6中可以专门设置相应的解码芯片、解码模组或解码软件等其中至少一种或多种组合进行视频压缩帧的解码处理，具体实现可以参见前述解码端的视频处理方法示例。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤，具体可以参见前述实施例介绍，此处不再赘述。
在具体实施中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。
本发明实施例中多视频处理装置、电子设备、存储介质等涉及的名词解释、原理、具体实现和有益效果可以参见本发明实施例中视频处理方法，在此不再赘述。
虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (32)

1.一种视频处理方法，其中，包括：
将帧同步的多个视点的纹理图拼接为纹理图拼接图像；
将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
2.根据权利要求1所述的方法，其中，还包括：
将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道的视频压缩帧。
3.根据权利要求2所述的方法，其中，将所述深度图压缩图像封装在所述视频压缩帧的帧头区域。
4.根据权利要求1所述的方法，其中，将所述深度图拼接图像采用基于感兴趣区域的编码方式进行编码，得到对应的深度图压缩图像。
5.根据权利要求4所述的方法，其中，对于所述深度图拼接图像中的ROI像素区域，基于预设的恒定量化参数进行编码，得到对应的深度图压缩图像。
6.根据权利要求5所述的方法，其中，对于所述深度图拼接图像中包含的各视点对应的深度图子区域中的前景边缘像素区域采用第一恒定量化参数进行编码，对于各视点对应的深度图子区域中非前景边缘像素区域采用第二恒定量化参数进行编码，所述第一恒定量化参数的参数值小于所述第二恒定量化参数的参数值。
7.根据权利要求1至6任一项所述的方法，其中，所述深度图拼接图像中包含的各视点对应的深度图子区域的像素点为纹理图拼接图像中与对应视点的纹理图子区域中的像素点一一对应的像素点集合中的全部或部分像素点。
8.一种视频处理方法，其中，包括：
确定编码方式所属编码类别；
若确定编码方式属于深度图自定义编码，则将所述编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
9.根据权利要求8所述的方法，其中，还包括：
将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道。
10.根据权利要求9所述的方法，其中，所述将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道，包括：
将所述深度图压缩图像封装至所述同一视频通道的视频压缩帧的帧头中的深度图区域。
11.根据权利要求8至10任一项所述的方法，其中，还包括：
若确定编码方式属于多视联合编码，则获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域；以及将所述帧同步的多个视点的纹理图和深度图分别采用采用预设的多视联合编码方式进行编码，得到纹理图压缩图像和深度图压缩图像。
12.根据权利要求11所述的方法，其中，还包括：
将所述纹理图压缩图像和所述深度图压缩图像作为图像组合，封装至同一视频通道，得到包含所述纹理图压缩图像和所述深度图压缩图像的视频压缩帧。
13.根据权利要求11所述的方法，其中，所述获取所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识，并存储至所述图像集用户信息中的图像信息区域，将所述编码方式对应的编码标识信息存储至所述图像集用户信息中的编码信息区域，包括：
将所述编码方式对应的编码类别标识存储至视频通道的通道头中编码类别区域；
将所述编码标识信息存储至视频压缩帧帧头中的编码信息区域；
将所述帧同步的多个视点的纹理图和深度图的视点标识及帧标识按照获取顺序存储于所述视频压缩帧帧头中的图像信息区域。
14.根据权利要求8至10任一项所述的方法，其中，所述将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，包括：
按照光栅扫描方式扫描所述帧同步的多个视点的纹理图，并按照光栅扫描顺序将所述多个视点的纹理图进行拼接，得到所述纹理图拼接图像；
按照所述光栅扫描方式扫描所述帧同步的多个视点的纹理图对应的深度图，并按照光栅扫描顺序将所述多个视点的深度图进行拼接，得到所述深度图拼接图像。
15.一种视频处理方法，其中，包括：
对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息；
基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
16.根据权利要求15所述的方法，其中，所述对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像，包括：
对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和所述深度图压缩图像的编码标识信息；
采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到所述深度图拼接图像；
采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到所述纹理图拼接图像。
17.根据权利要求16所述的方法，其中，所述对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像，包括：
利用第一解码资源对所述纹理图压缩图像进行解码，得到纹理图拼接图像；
利用第二解码资源对所述深度图压缩图像进行解码，得到深度图拼接图像。
18.根据权利要求16所述的方法，其中，还包括：
从所述视频压缩帧的帧头中获取视点的参数数据；
获取虚拟视点，基于所述视点的参数数据，选择所述纹理图拼接图像和所述深度图拼接图像中与虚拟视点位置匹配的相应纹理图子区域中的纹理图和深度图子区域中的深度图作为参考纹理图和参考深度图；
基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
19.根据权利要求15至18任一项所述的方法，其中，还包括：
基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
20.根据权利要求19所述的方法，其中，所述对所述视频压缩帧中的联合压缩图像解码，得到同步的多个视点的纹理图以及对应的深度图，包括：
对所述视频压缩帧的帧头进行解码，从所述帧头中的编码信息存储区域，获取到所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识；
采用与所述纹理图压缩图像的编码标识信息和深度图压缩图像的编码标识对应的多视联合解码方式对所述纹理图压缩图像和深度图压缩图像进行解码，得到所述同步的多个视点的纹理图以及对应的深度图。
21.根据权利要求20所述的方法，其中，还包括：
从所述视频压缩帧的帧头中获得视点的标识及所述视频压缩帧的帧标识和各视点的参数数据；
获取虚拟视点，基于各视点的标识和参数数据，从所述同步的多个视点的纹理图以及对应的深度图中选择与所述虚拟视点匹配的纹理图和深度图作为参考纹理图和参考深度图；
基于所述参考纹理图和参考深度图，重建得到所述虚拟视点的图像。
22.一种视频处理方法，其中，包括：
解码视频压缩帧的帧头，从所述帧头中获得所述视频压缩帧中包括的深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息；
采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图；
采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
23.一种视频处理装置，其中，包括：
纹理图拼接单元，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像；
深度图拼接单元，适于将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
第一编码单元，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
第二编码单元，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
24.一种视频处理装置，其中，包括：
编码类别确定单元，适于确定编码方式所属编码类别；
第一编码处理单元，适于在确定编码方式属于深度图自定义编码时，将所述编码方式对应的编码标识信息存储至图像集用户信息中的编码信息区域；以及将帧同步的多个视点的纹理图拼接为纹理图拼接图像，将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像，以及将所述纹理图拼接图像和所述深度图拼接图像分别编码，得到对应的纹理图压缩图像和深度图压缩图像。
25.根据权利要求24所述的装置，其中，还包括：
封装单元，适于将所述纹理图压缩图像和所述深度图压缩图像封装在同一视频通道。
26.一种视频处理装置，其中，包括：
解封装单元，适于对自由视点视频流进行解封装，获得视频压缩帧及所述视频压缩帧的编码方式所属编码类别信息；
第一解码单元，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用深度图自定义编码时，对所述视频压缩帧中的纹理图压缩图像和深度图压缩图像分别解码，得到纹理图拼接图像和深度图拼接图像；其中，所述纹理图拼接图像包括同步的多个视点的纹理图；所述深度图拼接图像包括所述多个视点的纹理图对应的深度图。
27.根据权利要求26所述的装置，其中，还包括：
第二解码单元，适于基于所述视频压缩帧的编码类别信息，在确定所述视频压缩帧采用多视联合编码时，对所述视频压缩帧中的联合压缩图像采用对应的多视联合解码方式进行解码，得到同步的多个视点的纹理图以及对应的深度图。
28.一种视频处理装置，其中，包括：
指示信息解码单元，适于解码视频压缩帧的帧头，从所述帧头中获得所述视频压缩帧中包括的深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息；
纹理图解码单元，适于采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图；
深度图解码单元，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
29.一种电子设备，其中，包括：
图像处理装置，适于将帧同步的多个视点的纹理图拼接为纹理图拼接图像，以及将所述帧同步的多个视点的纹理图对应的深度图拼接为深度图拼接图像；
第一编码装置，适于将所述纹理图拼接图像进行编码，得到对应的纹理图压缩图像；
第二编码装置，适于将所述深度图拼接图像进行编码，得到对应的深度图压缩图像。
30.一种电子设备，其中，包括：第一解码装置和第二解码装置，其中：
所述第一解码装置，适于解码视频压缩帧的帧头，并当从所述帧头的图像集用户信息中获得所述视频压缩帧中获得编码标识信息包括深度图压缩图像的编码标识信息和纹理图压缩图像的编码标识信息时，采用与所述纹理图压缩图像的编码标识信息对应的解码方式对所述纹理图压缩图像进行解码，得到纹理图拼接图像，所述纹理图拼接图像包括同步的多个视点的纹理图，以及触发所述第二解码装置对所述深度图压缩图像进行解码；
所述第二解码装置，适于采用与所述深度图压缩图像的编码标识信息对应的解码方式对所述深度图压缩图像进行解码，得到深度图拼接图像，所述深度图拼接图像包括与所述多个视点的纹理图视点对应的深度图。
31.一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行权利要求1至7任一项或权利要求8至14任一项或权利要求15至21任一项或权利要求22所述方法的步骤。
32.一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行权利要求1至7任一项或权利要求8至14任一项或权利要求15至21任一项或权利要求22所述方法的步骤。
CN202010762409.2A 2020-07-31 2020-07-31 视频处理方法、装置、电子设备及存储介质 Pending CN114071116A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010762409.2A CN114071116A (zh) 2020-07-31 2020-07-31 视频处理方法、装置、电子设备及存储介质
PCT/CN2021/108640 WO2022022501A1 (zh) 2020-07-31 2021-07-27 视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010762409.2A CN114071116A (zh) 2020-07-31 2020-07-31 视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114071116A true CN114071116A (zh) 2022-02-18

Family

ID=80037601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010762409.2A Pending CN114071116A (zh) 2020-07-31 2020-07-31 视频处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114071116A (zh)
WO (1) WO2022022501A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220060750A1 (en) * 2020-08-24 2022-02-24 Tencent America LLC Freeview video coding
WO2023201504A1 (zh) * 2022-04-18 2023-10-26 浙江大学 编解码方法、装置、设备及存储介质
WO2024011386A1 (zh) * 2022-07-11 2024-01-18 浙江大学 一种编解码方法、装置、编码器、解码器及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117135358A (zh) * 2022-05-20 2023-11-28 海思技术有限公司 视频编码方法、视频解码方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
US20120229602A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content
CN105872561A (zh) * 2015-12-29 2016-08-17 上海大学 一种可分级多视点视频加深度宏块编码模式快速选择方法
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN109803135A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于sdi***的视频图像传输方法及数据帧结构
CN110012310A (zh) * 2019-03-28 2019-07-12 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TR201002451A2 (tr) * 2010-03-30 2011-10-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Süper çözünürlük tabanlı N-bakışlı + N-derinlikli çok bakışlı video kodlama.
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
CN104469387B (zh) * 2014-12-15 2017-11-03 哈尔滨工业大学 一种多视点视频编码中分量间的运动参数继承方法
CN110446051A (zh) * 2019-08-30 2019-11-12 郑州航空工业管理学院 基于3d-hevc的立体视频码流自适应***及方法
CN111385585B (zh) * 2020-03-18 2022-05-24 北京工业大学 一种基于机器学习的3d-hevc深度图编码单元划分方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
US20120229602A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content
CN105872561A (zh) * 2015-12-29 2016-08-17 上海大学 一种可分级多视点视频加深度宏块编码模式快速选择方法
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN109803135A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于sdi***的视频图像传输方法及数据帧结构
CN110012310A (zh) * 2019-03-28 2019-07-12 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220060750A1 (en) * 2020-08-24 2022-02-24 Tencent America LLC Freeview video coding
CN114616596A (zh) * 2020-08-24 2022-06-10 腾讯美国有限责任公司 自由视图视频解码
US11677979B2 (en) * 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
WO2023201504A1 (zh) * 2022-04-18 2023-10-26 浙江大学 编解码方法、装置、设备及存储介质
WO2024011386A1 (zh) * 2022-07-11 2024-01-18 浙江大学 一种编解码方法、装置、编码器、解码器及存储介质

Also Published As

Publication number Publication date
WO2022022501A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN112738010B (zh) 数据交互方法及***、交互终端、可读存储介质
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
CN112738534B (zh) 数据处理方法及***、服务器和存储介质
WO2022022501A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN112738495B (zh) 虚拟视点图像生成方法、***、电子设备及存储介质
CN111727605B (zh) 用于发送和接收关于多个视点的元数据的方法及设备
JP7320146B2 (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
US20230421810A1 (en) Encapsulation and decapsulation methods and apparatuses for point cloud media file, and storage medium
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2022022348A1 (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
KR20200065087A (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN111669561A (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN111726598B (zh) 图像处理方法和装置
CN111669570B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
CN112738009B (zh) 数据同步方法、设备、同步***、介质和服务器
CN112738646B (zh) 数据处理方法、设备、***、可读存储介质及服务器
WO2019077199A1 (en) APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
KR102647019B1 (ko) 멀티뷰 비디오 프로세싱 방법 및 장치
CN112734821B (zh) 深度图生成方法、计算节点及计算节点集群、存储介质
WO2022141636A1 (en) Methods and systems for processing video streams with layer information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination