CN111800653B - 视频解码方法、***、设备及计算机可读存储介质 - Google Patents

视频解码方法、***、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111800653B
CN111800653B CN202010748734.3A CN202010748734A CN111800653B CN 111800653 B CN111800653 B CN 111800653B CN 202010748734 A CN202010748734 A CN 202010748734A CN 111800653 B CN111800653 B CN 111800653B
Authority
CN
China
Prior art keywords
video
viewpoint
target
image
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010748734.3A
Other languages
English (en)
Other versions
CN111800653A (zh
Inventor
王荣刚
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202010748734.3A priority Critical patent/CN111800653B/zh
Priority to PCT/CN2020/111448 priority patent/WO2022021519A1/zh
Publication of CN111800653A publication Critical patent/CN111800653A/zh
Application granted granted Critical
Publication of CN111800653B publication Critical patent/CN111800653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频解码方法、***、设备及计算机可读存储介质，所述视频解码方法通过在对图像码流进行解码之前，先将待播放视频的不同视点所对应的背景帧码流进行解码，得到重建背景帧，使得提前完成了解码图像码流时的所必须的部分操作，减轻了设备在进行图像码流解码时的处理负担，提升了整体的视频解码效率；通过在解码时仅参考重建背景帧的这一独立参照依据对各路目标视频所对应的图像码流进行解码，由于各图像码流解码仅依赖重建背景帧，而不依赖已解码的其他图像，因此达到不同视点对应目标视频间的实时自由切换并流畅播放的目的，同时较之完全无帧间依赖的方式，具有更高的视频压缩效率，以及***实现的简单性。

Description

视频解码方法、***、设备及计算机可读存储介质
技术领域
本发明涉及数字信号处理技术领域，尤其涉及一种视频解码方法、***、设备及计算机可读存储介质。
背景技术
自由视点应用允许观看者在一定范围内以连续视点的形式观看视频。观看者可以设定视点的位置、角度，而不再局限于一个固定的摄像机视角。该应用往往需要多个摄像机同时拍摄，同时生成多个视点的视频。虚拟现实技术则是允许用户以180度或360度的视角观看视频。因此，不管是自由视点应用中的多路视频还是虚拟现实应用中的全景视频，都具有非常大的数据量，对视频的传输带来了很大的挑战。目前常用的编解码此类视频的方式通常分为两类，一类是有帧间依赖的方式，这一方式虽能实现较高的压缩效率，但由于在解码时需依赖已解码的其他图像，因此在视点切换时流畅度不佳；另一类是完全无帧间依赖的方式，这一方式虽能实现较好的视点切换流畅度，但是由于压缩时无帧间依赖，压缩效率并不理想。因此，上述种种情况反映出现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的问题。
发明内容
本发明的主要目的在于提供一种视频解码方法、***、设备及计算机可读存储介质旨在解决通过现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的技术问题。
为实现上述目的，本发明提供一种视频解码方法，所述视频解码方法包括：
接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
可选地，所述在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频的步骤包括：
在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流；
从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码，以得到并播放与所述目标播放视点对应的一路目标视频。
可选地，所述播放视点选择指令包括首次视点选择指令，
所述在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流的步骤包括：
在接收到由用户发送的首次视点选择指令时，获取所述首次视点选择指令中的首次所选视点，并确定与所述首次所选视点对应的第一目标视频的第一视频编号；
确定所述第一目标视频中位于初始位置的视频图像的第一图像编号；
从编码端接收与所述第一视频编号以及所述第一图像编号对应的第一图像码流；
所述从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码的步骤包括：
根据所述第一视频编码，从多个所述重建背景帧中确定与所述第一目标视频对应的第一重建背景帧，并基于所述第一重建背景帧，对所述第一图像码流进行解码。
可选地，所述播放视点选择指令包括视点切换指令，
所述在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流的步骤包括：
在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
获取所述第一目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
所述从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码的步骤包括：
根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码。
可选地，所述基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码的步骤包括：
在对每一所述图像码流进行解码时，判断与所述图像码流对应的图像块是否使用帧间预测模式，其中，所述图像码流是由多个所述图像块的码流组成；
若所述图像块使用帧间预测模式，则将所述图像块中的运动矢量设置为0；
将使用帧间预测模式的图像块对应的重建背景帧作为参考帧，并按照跳过所述使用帧间预测模式的图像块对应的运动矢量残差信息的方式，对所述图像码流进行解码。
可选地，所述背景帧码流为根据所述目标视频中的视频图像经过背景建模获取的背景帧进行编码所得。
可选地，所述对所述视频图像进行背景建模的方式包括单帧生成方式、中值滤波方式与均值滤波方式。
此外，为实现上述目的，本发明还提供一种视频解码***，所述视频解码***包括：
背景码流解码模块，用于接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
图像码流解码模块，用于在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
可选地，所述图像码流解码模块包括：
视点逐一确定单元，用于在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流；
码流逐一解码单元，用于从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码，以得到并播放与所述目标播放视点对应的一路目标视频。
可选地，所述播放视点选择指令包括首次视点选择指令，
所述视点逐一确定单元还用于，在接收到由用户发送的首次视点选择指令时，获取所述首次视点选择指令中的首次所选视点，并确定与所述首次所选视点对应的第一目标视频的第一视频编号；
确定所述第一目标视频中位于初始位置的视频图像的第一图像编号；
从编码端接收与所述第一视频编号以及所述第一图像编号对应的第一图像码流；
所述码流逐一解码单元还用于，根据所述第一视频编码，从多个所述重建背景帧中确定与所述第一目标视频对应的第一重建背景帧，并基于所述第一重建背景帧，对所述第一图像码流进行解码。
可选地，所述播放视点选择指令包括视点切换指令，
所述视点逐一确定单元还用于：在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
获取所述第一目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
所述视点逐一确定单元还用于，根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码。
可选地，所述图像码流解码模块还包括：
帧间预测判断单元，用于在对每一所述图像码流进行解码时，判断与所述图像码流对应的图像块是否使用帧间预测模式，其中，所述图像码流是由多个所述图像块的码流组成；
运动矢量设置单元，用于若所述图像块使用帧间预测模式，则将所述图像块中的运动矢量设置为0；
残差跳过解码单元，用于将使用帧间预测模式的图像块对应的重建背景帧作为参考帧，并按照跳过所述使用帧间预测模式的图像块对应的运动矢量残差信息的方式，对所述图像码流进行解码。
可选地，所述背景帧码流为根据所述目标视频中的视频图像经过背景建模获取的背景帧进行编码所得。
可选地，所述对所述视频图像进行背景建模的方式包括单帧生成方式、中值滤波方式与均值滤波方式。
此外，为实现上述目的，本发明还提供一种视频解码***，所述视频解码***包括：
背景码流解码模块，用于接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
图像码流解码模块，用于在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
此外，为实现上述目的，本发明还提供一种视频解码设备，所述视频解码设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频解码程序，所述视频解码程序被所述处理器执行时实现如上述的视频解码方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频解码程序，所述视频解码程序被处理器执行时实现如上述的视频解码方法的步骤。
本发明提供一种视频解码方法、***、设备及计算机可读存储介质。本发明实施例通过接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。通过上述方式，本发明通过在对图像码流进行解码之前，先将待播放视频的不同视点所对应的背景帧码流进行解码，得到重建背景帧，使得提前完成了解码图像码流时的所必须的部分操作，减轻了设备在进行图像码流解码时的处理负担，提升了整体的视频解码效率；通过在解码时仅参考重建背景帧的这一独立参照依据对各路目标视频所对应的图像码流进行解码，由于各图像码流解码仅依赖重建背景帧，而不依赖已解码的其他图像，因此达到不同视点对应目标视频间的实时自由切换并流畅播放的目的，同时较之完全无帧间依赖的方式，具有更高的视频压缩效率，从而解决了现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频解码设备结构示意图；
图2为本发明视频解码方法第一实施例的流程示意图；
图3为本发明视频解码方法一具体实施例中的***结构图；
图4为本发明视频解码方法另一具体实施例中全景图像划分示意图；
图5为本发明视频解码方法另一具体实施例中编解码和码流存储示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的视频解码设备结构示意图。
本发明实施例视频解码设备可以是服务器、PC，也可以是智能手机、平板电脑等的终端设备。
如图1所示，该视频解码设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图1中示出的终端结构并不构成对视频解码设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及视频解码程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频解码程序，并执行以下操作：
接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
进一步地，所述在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频的步骤包括：
在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流；
从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码，以得到并播放与所述目标播放视点对应的一路目标视频。
进一步地，所述播放视点选择指令包括首次视点选择指令，
所述在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流的步骤包括：
在接收到由用户发送的首次视点选择指令时，获取所述首次视点选择指令中的首次所选视点，并确定与所述首次所选视点对应的第一目标视频的第一视频编号；
确定所述第一目标视频中位于初始位置的视频图像的第一图像编号；
从编码端接收与所述第一视频编号以及所述第一图像编号对应的第一图像码流；
所述从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码的步骤包括：
根据所述第一视频编码，从多个所述重建背景帧中确定与所述第一目标视频对应的第一重建背景帧，并基于所述第一重建背景帧，对所述第一图像码流进行解码。
进一步地，所述播放视点选择指令包括视点切换指令，
所述在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流的步骤包括：
在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
获取所述第一目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
所述从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码的步骤包括：
根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码。
进一步地，所述基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码的步骤包括：
在对每一所述图像码流进行解码时，判断与所述图像码流对应的图像块是否使用帧间预测模式，其中，所述图像码流是由多个所述图像块的码流组成；
若所述图像块使用帧间预测模式，则将所述图像块中的运动矢量设置为0；
将使用帧间预测模式的图像块对应的重建背景帧作为参考帧，并按照跳过所述使用帧间预测模式的图像块对应的运动矢量残差信息的方式，对所述图像码流进行解码。
进一步地，所述背景帧码流为根据所述目标视频中的视频图像经过背景建模获取的背景帧进行编码所得。
进一步地，所述对所述视频图像进行背景建模的方式包括单帧生成方式、中值滤波方式与均值滤波方式。
基于上述硬件结构，提出本发明视频解码方法的各个实施例。
自由视点应用允许观看者在一定范围内以连续视点的形式观看视频。观看者可以设定视点的位置、角度，而不再局限于一个固定的摄像机视角。该应用往往需要多个摄像机同时拍摄，同时生成多个视点的视频。虚拟现实技术则是允许用户以180度或360度的视角观看视频。因此，不管是自由视点应用中的多路视频还是虚拟现实应用中的全景视频，都具有非常大的数据量，对视频的传输带来了很大的挑战。目前常用的编解码此类视频的方式通常分为两类，一类是有帧间依赖的方式，这一方式虽能实现较高的压缩效率，但由于在解码时需依赖已解码的其他图像，因此在视点切换时流畅度不佳；另一类是完全无帧间依赖的方式，这一方式虽能实现较好的视点切换流畅度，但是由于压缩时无帧间依赖，压缩效率并不理想。因此，上述种种情况反映出现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的问题。
为解决上述问题，本发明提供一种视频解码方法，即在对图像码流进行解码之前，先将待播放视频的不同视点所对应的背景帧码流进行解码，得到重建背景帧，使得提前完成了解码图像码流时的所必须的部分操作，减轻了设备在进行图像码流解码时的处理负担，提升了整体的视频解码效率；通过在解码时仅参考重建背景帧的这一独立参照依据对各路目标视频所对应的图像码流进行解码，由于各图像码流解码仅依赖重建背景帧，而不依赖已解码的其他图像，因此达到不同视点对应目标视频间的实时自由切换并流畅播放的目的，同时较之完全无帧间依赖的方式，具有更高的视频压缩效率，从而解决了现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的技术问题。
参照图2，图2为视频解码方法第一实施例的流程示意图。本发明第一实施例提供一种视频解码方法，所述视频解码方法应用于解码端，所述视频解码方法包括以下步骤：
步骤S10，接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
步骤S20，在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
在本实施例中，解码端可实时获取从编码端输出的对多路目标视频压缩编码后的多路图像码流，以及各路目标视频分别对应的各个背景帧码流。解码端依据与编码端一致的编码标准，对各个背景帧码流进行解码后得到对应的重建背景帧。解码端以重建背景帧作为参考帧对图像码流进行解码并实时输出，以得到组成多路目标视频的视频图像帧并播放多路目标视频。需要说明的是，解码端对背景帧码流进行解码的操作是在对图像码流进行解码播放之前完成的。解码端在对多路图像码流与背景帧码流进行解码时，可以为每一路目标视频分别启动一个解码器，某一路目标视频的背景帧码流和图像码流，均使用该路视频对应的解码器进行解码；也可以只启动一个解码器，各路视频的背景帧码流和图像码流，均使用该解码器进行解码。
作为一具体实施例，针对自由视点直播这一实际应用场景，如图3所示，在该具体实施例中需要部署16台摄像机拍摄视频，每台摄像机为一个拍摄视点，通过16个背景生成器和16个编码器生成16路实时码流(包括背景帧码流与图像码流)，并将实时码流存储于http服务器中，供客户端下载。客户端接收16路实时码流中的背景帧码流，并创建16个解码器分别对16个背景帧码流进行解码；在播放过程中，实时选取下一时刻需要播放的视频编号以及视频帧在视频流中的序号，并获取实时码流中的图像码流；最后调用对应视频编号的解码器进行解码，得到解码后的视频图像后，再将其传输至客户端的播放模块进行播放。
该实施例在编码端的编码过程具体为：第一步，各路背景生成器从对应摄像机采集100帧图像；第二步，背景生成器通过中值滤波生成背景帧，即对每一个像素点进行以下操作得到背景帧上对应像素的像素值：获取100帧中对应像素的100个像素值，对像素值按数值大小进行排序，选取排第50位的像素值作为背景帧上对应像素的像素值。第三步，各路编码器使用AVS2编码标准对对应路的背景帧进行I帧(帧内预测图像)编码并输出码流，同时得到重建背景帧。第四步，各路编码器继续从对应摄像机获取待编码图像。第五步，各路编码器对获取的待编码图像进行编码并输出码流。编码过程使用对应路的重建的背景帧作为参考帧，基于AVS2编码标准的S帧(应参考场景图像的单前向帧间解码图像)编码对待编码图像进行编码。上述第四步和第五步反复执行，不断生成视频图像的码流并输出。
该实施例在解码端，视频流传输和解码的过程具体为：第一步，传输每一路视频对应的背景帧码流，为每一路视频分配一个解码器，并对对应路的背景帧码流进行解码，得到每一路视频对应的重建的背景帧。解码过程使用AVS2编码标准的I帧解码方式进行解码。第二步，缓存每一路视频的重建背景帧。每一路的重建背景帧缓存于对应解码器内部。第三步，获取待解码图像码流所在的视频编号K以及其在视频中的帧编号L。具体的获取方法为：播放时，根据用户选择的当前播放的视点确定当前播放的视频编号K，同时根据当前时刻，计算当前时刻应该显示的图像在对应视频中的帧序号L。第四步，向http服务请求并传输第K路视频的第L帧码流。第五步，以第K路视频的重建背景帧为参考帧解码第K路视频的第L帧码流，得到解码图像并提供给播放模块进行显示。解码过程以AVS2编码标准的S帧方式进行解码。上述第三步至第五步反复执行，直至播放结束。
作为另一具体实施例，针对虚拟现实视频编解码及播放这一实际应用场景，按图4的方式对原始的全景视频进行区域划分，将原始全景视频的图像划分成0～8共9个区域，每个区域的画面构成一路视频，一共9路视频。编解码过程以及码流存储方式图如5所示。编码过程中，首先对每路视频生成对应的背景帧，编码器首先按顺序将各路视频的背景帧编码生成码流，并得到重建的背景帧。然后按顺序逐一编码各路视频的第一帧，生成对应码流；然后按顺序逐一编码各路视频的第二帧，生成对应码流，以此类推。其中，编码第N路视频的任意帧时，使用第N路视频的重建背景帧作为参考帧。解码过程中解码器首先逐一解码码流中的各路背景帧，并进行缓存。播放过程中，随时根据用户选择的播放焦点确定当前需要显示的画面所在的路数，读取该帧对应的码流，然后以对应路的重建背景帧作为参考帧进行该帧码流的解码，得到解码图像。
该实施例在编码端的具体编码过程为：第一步，获取各路视频前100帧图像；第二步，利用各路视频前100帧图像，通过均值滤波生成各路视频的背景帧。即对每一个像素点进行以下操作得到背景帧上对应像素的像素值：获取100帧中对应像素的100个像素值，计算该100个像素值的平均值，作为背景帧上对应像素的像素值。第三步，使用H.265编码标准,按顺序对各路背景帧进行I帧编码并输出码流，同时得到重建的背景帧。第四步，按画面顺序和时间顺序获取当前待编码图像。具体顺序如图5所示，时间顺序优先，先编码所有路的第一帧，然后编码所有路的第二帧，以此类推。在编码所有路同一时刻的图像帧时，按画面顺序，从第0路到第8路依次编码。第五步，对获取的待编码图像进行编码并输出码流。编码过程使用对应路的重建的背景帧作为参考帧，基于H.265编码标准的P帧编码方式对待编码图像进行编码。上述第四步和第五步反复执行，不断生成视频图像的码流并输出。
该实施例在解码端，读取和解码的具体过程为：第一步，读取并解码每一路视频对应的背景帧码流，得到每一路视频对应的重建的背景帧。解码过程使用H.265编码标准的I帧解码方式进行解码。第二步，缓存每一路视频的重建背景帧。第三步，获取待解码图像码流所在的视频编号K以及其在视频中的帧编号L。具体的获取方法为：播放时，根据用户选择的当前播放的焦点确定当前对应的视频编号K，同时根据当前时刻，计算当前时刻应该显示的图像在对应视频中的帧序号L。第四步，读取第K路视频的第L帧码流。第五步，以第K路视频的重建背景帧为参考帧解码第K路视频的第L帧码流，得到解码图像。解码过程以h.265编码标准的P帧方式进行解码。上述第三步至第五步反复执行，直至播放结束。
在本实施例中，通过在对图像码流进行解码之前，先将待播放视频的不同视点所对应的背景帧码流进行解码，得到重建背景帧，使得提前完成了解码图像码流时的所必须的部分操作，减轻了设备在进行图像码流解码时的处理负担，提升了整体的视频解码效率；通过在解码时仅参考重建背景帧的这一独立参照依据对各路目标视频所对应的图像码流进行解码，由于各图像码流解码仅依赖重建背景帧，而不依赖已解码的其他图像，因此达到不同视点对应目标视频间的实时自由切换并流畅播放的目的，同时较之完全无帧间依赖的方式，具有更高的视频压缩效率，从而解决了现有的多路视频或全景视频的编解码方式难以兼顾压缩效率与视点切换流畅度的技术问题。
进一步地，基于上述图2所示的第一实施例，提出本发明视频解码方法的第二实施例。在本实施例中，步骤S20包括：
步骤a，在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流；
步骤b，从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码，以得到并播放与所述目标播放视点对应的一路目标视频。
在本实施例中，解码端在对多个不同视点所对应的背景帧码流进行解码，得到每一不同视点所对应的重建背景帧后，即可根据用户对视点的实时选择来接收并解码对应视点的图像码流。若当前共有对应八路不同视点的八路图像码流以及一重建背景帧，每路图像码流在解码后即可作为一路目标视频进行播放。若用户首先选择第一路视点，则解码端即可直接使用先前已对背景帧码流解码得到的第一路视点的重建背景帧，来对第一路图像码流进行解码并输出，以播放第一视点对应的目标视频。若用户在播放过程中将第一路视点切换到八路视点中的第二路视点，解码端则可接收第二路图像码流，并直接选用第二路视点对应的重建背景帧对其在对应位置进行接续解码并播放。在整个视频播放完成之前，用户可随时对当前播放视点进行切换，解码端即随时接收对应路数的图像码流，并通过已存的重建背景帧对其进行解码，以实现不同视点的视频切换播放。
需要说明的是，在实际应用中，有直播，有点播和本地播放等多种不同的情况。若为直播这一应用场景，则图像码流是由编码端生成后直接发送至解码端；而对于点播和本地播放的应用场景，图像码流由编码端提前生成然后上传至服务器或是本地，然后在用户需要观看的时候，解码端再从服务器上或从本地文件中进行获取。
进一步地，在本实施例中，所述播放视点选择指令包括首次视点选择指令，步骤a包括：
步骤c，在接收到由用户发送的首次视点选择指令时，获取所述首次视点选择指令中的首次所选视点，并确定与所述首次所选视点对应的第一目标视频的第一视频编号；
步骤d，确定所述第一目标视频中位于初始位置的视频图像的第一图像编号；
步骤e，从编码端接收与所述第一视频编号以及所述第一图像编号对应的第一图像码流。
步骤b包括：
步骤f，根据所述第一视频编码，从多个所述重建背景帧中确定与所述第一目标视频对应的第一重建背景帧，并基于所述第一重建背景帧，对所述第一图像码流进行解码。
进一步地，所述播放视点选择指令包括视点切换指令，
步骤a还包括：
步骤g，在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
步骤h，获取所述第一目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
步骤i，从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
步骤b还包括：首次视点选择指令为用户所发起的首次进行视点选择的指令。第一目标视频是与首次所选视点对应的一路目标视频。
步骤j，根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码。
在本实施例中，首次视点选择指令为用户在首次进行视点选择时所发出的指令。首次所选视点为当前首次选择播放的视点。第一目标视频为与首次所选视点对应的一路目标视频。第一视频编号为第一目标视频的所属编号。第一图像编号为当前视频播放进度为零时，对应在组成第一目标视频的多帧视频图像中的视频图像编号。第一图像码流为第一视频编号对应视频图像压缩后的图像码流。第一重建背景帧为，与首次所选视点对应的一重建背景帧。视点切换指令为用户意图对当前所选视点进行切换时所发出的指令。目标切换视点为用户当前选定的新的播放视点。第二目标视频为与目标切换视点对应的一路目标视频。第二视频编号为第二目标视频的所属编号。第二图像编号为依照当前视频播放进度，对应在组成第二目标视频的多帧视频图像中的视频图像编号。第二图像码流为第二视频编号对应视频图像压缩后的图像码流。第二重建背景帧为，与目标切换视点对应的一重建背景帧。
具体地，解码端传输或读取每一路视频对应的背景帧码流，并对其进行解码，得到每一路视频对应的重建背景帧。解码过程根据编码端对背景帧编码的实际方式，解码端采用对应的编码标准对背景帧码流进行解码。第二步，缓存每一路视频的重建背景帧。第三步，获取待解码图像码流所在的视频编号K以及其在视频中的帧编号L。具体的获取方法为：播放时，根据用户当前选择的视点或焦点选取对应的视频编号K，同时根据当前时刻，得到对应的图像在对应视频中的帧序号L；第四步，传输或读取第K路视频的第L帧码流。第五步，以第K路视频的重建背景帧为参考帧解码第K路视频的第L帧码流，得到解码图像。解码过程根据编码端对该帧图像编码的具体方法，解码端采用对应的编码标准对背景帧进行解码。上述第三步至第五步反复执行，直至播放结束。需要说明的是，在实际情况下，可能在对每一帧图像码流进行解码前，都需要去确定视点，确定使用的重建背景帧，并根据当前播放进度确定图像编号，以此来接收对应的图像码流帧并进行解码播放。
进一步地，基于上述图2所示的第一实施例，提出本发明视频解码方法的第三实施例。在本实施例中，在本实施例中所述基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码的步骤包括：
步骤k，在对每一所述图像码流进行解码时，判断与所述图像码流对应的图像块是否使用帧间预测模式，其中，所述图像码流是由多个所述图像块的码流组成；
步骤l，若所述图像块使用帧间预测模式，则将所述图像块中的运动矢量设置为0；
步骤m，将使用帧间预测模式的图像块对应的重建背景帧作为参考帧，并按照跳过所述使用帧间预测模式的图像块对应的运动矢量残差信息的方式，对所述图像码流进行解码。
在本实施例中，需要说明的是，在编码端，编码过程是把图像切割成一个一个的图像块以作为编码单元，每个图像块可以选择帧间预测或帧内预测。在使用帧间预测模式时，x和y方向的运动矢量均默认为0，因此编码端可不编码运动矢量残差信息，从而节省编码开销。编码端逐一判断每一视频图像中的图像块是否使用帧间预测模式，并在检测到当前视频图像使用帧间预测模式时，将当前视频图像中的运动矢量设置为0，以跳过对所述当前视频图像对应的运动矢量残差信息进行编码的过程而在解码端，图像码流则是由多个所述图像块的码流组成。如果编码端采用了默认0运动矢量的方式进行编码，则解码端在解码图像码流时，在检测到先前的图像块是采用帧间预测模式进行编码时，则可将图像块对应的运动矢量默认为0，以跳过对于运动矢量残差信息进行解码的过程。
进一步地，在本实施例中，所述背景帧码流为根据所述目标视频中的视频图像经过背景建模获取的背景帧进行编码所得。
进一步地，在本实施例中，所述对所述视频图像进行背景建模的方式包括单帧生成方式、中值滤波方式与均值滤波方式。
在本实施例中，单帧生成方法是直接在该路视频中选取一帧，例如选取第一帧或最后一帧或居中一帧作为背景帧；中指滤波方法是从该路视频中选取H帧，对每一个像素点位置的H个像素值排序，选取排第H/2或H/2-1或H/2+1位置的像素作为该像素点的滤波输出值，进而得到背景帧；均值滤波方法是从该路视频中选取H帧，对每一个像素点位置的H个像素值计算平均值，作为该像素点的滤波输出值，进而得到背景帧。首先，编码端获取基于不同视点所采集的多路目标视频，基于单帧生成方式、中值滤波方式或均值滤波的预设背景建模方式逐一生成每路目标视频的所对应的一背景帧；编码端直至遍历全部目标视频，得到各路目标视频对应的各个背景帧，然后再对各个背景帧进行编码，以得到背景帧码流，以及在编码过程中生成的重建背景帧。
本发明还提供一种视频解码***，所述视频解码***实现以下步骤：
背景码流解码模块，用于接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
图像码流解码模块，用于在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频。
本发明还提供一种视频解码设备。
所述种视频解码设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的视频解码程序，其中所述视频解码程序被所述处理器执行时，实现如上所述的视频解码方法的步骤。
其中，所述视频解码程序被执行时所实现的方法可参照本发明视频解码方法的各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有视频解码程序，所述视频解码程序被处理器执行时实现如上所述的视频解码方法的步骤。
其中，所述视频解码程序被执行时所实现的方法可参照本发明视频解码方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视频解码方法，其特征在于，所述视频解码方法包括：
接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频；
在所述播放视点选择指令包括视点切换指令时，所述在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码的步骤包括：
在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
获取所述第二目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码，其中，所述第二重建背景帧为所述第二图像码流解码时的唯一参照依据。
2.如权利要求1所述的视频解码方法，其特征在于，所述在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频的步骤包括：
在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流；
从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码，以得到并播放与所述目标播放视点对应的一路目标视频。
3.如权利要求2所述的视频解码方法，其特征在于，所述播放视点选择指令包括首次视点选择指令，
所述在接收到由用户发送的播放视点选择指令时，基于所述播放视点选择指令逐一确定用户当前所选的目标播放视点，并获取由编码端生成的与所述目标播放视点对应的一路图像码流的步骤包括：
在接收到由用户发送的首次视点选择指令时，获取所述首次视点选择指令中的首次所选视点，并确定与所述首次所选视点对应的第一目标视频的第一视频编号；
确定所述第一目标视频中位于初始位置的视频图像的第一图像编号；
从编码端接收与所述第一视频编号以及所述第一图像编号对应的第一图像码流；
所述从多个所述重建背景帧中选出与所述目标播放视点对应的目标重建背景帧，并基于所述目标重建背景帧对所述与所述目标播放视点对应的一路图像码流进行解码的步骤包括：
根据所述第一视频编码，从多个所述重建背景帧中确定与所述第一目标视频对应的第一重建背景帧，并基于所述第一重建背景帧，对所述第一图像码流进行解码，其中，所述第一重建背景帧为所述第一图像码流解码时的唯一参照依据。
4.如权利要求1所述的视频解码方法，其特征在于，所述基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码的步骤包括：
在对每一所述图像码流进行解码时，判断与所述图像码流对应的图像块是否使用帧间预测模式，其中，所述图像码流是由多个所述图像块的码流组成；
若所述图像块使用帧间预测模式，则将所述图像块中的运动矢量设置为0；
将使用帧间预测模式的图像块对应的重建背景帧作为参考帧，并按照跳过所述使用帧间预测模式的图像块对应的运动矢量残差信息的方式，对所述图像码流进行解码。
5.如权利要求1所述的视频解码方法，其特征在于，所述背景帧码流为根据所述目标视频中的视频图像经过背景建模获取的背景帧进行编码所得。
6.如权利要求5所述的视频解码方法，其特征在于，所述对所述视频图像进行背景建模的方式包括单帧生成方式、中值滤波方式与均值滤波方式。
7.一种视频解码***，其特征在于，所述视频解码***包括：
背景码流解码模块，用于接收编码端发送的不同视点对应的多个背景帧码流，并将多个所述背景帧码流进行解码得到多个重建背景帧；
图像码流解码模块，用于在接收到播放视点选择指令时，按照所述播放视点选择指令所确定的视点选择顺序，接收目标视频对应在不同视点的多路图像码流，并基于多个所述重建背景帧将所述不同视点的多路图像码流进行解码，以得到多路目标视频；
在所述播放视点选择指令包括视点切换指令时，所述图像码流解码模块还用于：
在接收到用户发送的视点切换指令时，获取所述视点切换指令中的目标切换视点，并确定与所述目标切换视点对应的第二目标视频的第二视频编号；
获取所述第二目标视频的播放进度，并确定所述第二目标视频中与所述播放进度对应的第二视频图像的第二图像编号；
从编码端接收与所述第二视频编号以及所述第二图像编号对应的第二图像码流；
根据所述第二视频编码，从多个所述重建背景帧中确定与所述第二目标视频对应的第二重建背景帧，并基于所述第二重建背景帧，对所述第二图像码流进行解码，其中，所述第二重建背景帧为所述第二图像码流解码时的唯一参照依据。
8.一种视频解码设备，其特征在于，所述视频解码设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频解码程序，所述视频解码程序被所述处理器执行时实现如权利要求1至6中任一项所述的视频解码方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频解码程序，所述视频解码程序被处理器执行时实现如权利要求1至6中任一项所述的视频解码方法的步骤。
CN202010748734.3A 2020-07-29 2020-07-29 视频解码方法、***、设备及计算机可读存储介质 Active CN111800653B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010748734.3A CN111800653B (zh) 2020-07-29 2020-07-29 视频解码方法、***、设备及计算机可读存储介质
PCT/CN2020/111448 WO2022021519A1 (zh) 2020-07-29 2020-08-26 视频解码方法、***、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010748734.3A CN111800653B (zh) 2020-07-29 2020-07-29 视频解码方法、***、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111800653A CN111800653A (zh) 2020-10-20
CN111800653B true CN111800653B (zh) 2021-06-11

Family

ID=72827443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010748734.3A Active CN111800653B (zh) 2020-07-29 2020-07-29 视频解码方法、***、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111800653B (zh)
WO (1) WO2022021519A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449348A (zh) * 2020-11-04 2022-05-06 北京金山云网络技术有限公司 一种全景视频的处理方法和装置
CN113114985B (zh) * 2021-03-31 2022-07-26 联想(北京)有限公司 一种信息处理方法和信息处理装置
CN115150639B (zh) * 2022-09-01 2022-12-20 北京蔚领时代科技有限公司 一种基于分散编码器的抗弱网方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103152570A (zh) * 2013-03-01 2013-06-12 北京大学 一种视频位流解码方法和装置
CN104980763A (zh) * 2014-04-05 2015-10-14 浙江大学 一种视频码流、视频编解码方法及装置
CN110583022A (zh) * 2017-05-09 2019-12-17 索尼公司 客户端设备、客户端设备处理方法、服务器以及服务器处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
CN101742319B (zh) * 2010-01-15 2011-08-31 北京大学 基于背景建模的静态摄像机视频压缩方法与***
CN102006473B (zh) * 2010-11-18 2013-03-13 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN102413332B (zh) * 2011-12-01 2013-07-24 武汉大学 基于时域增强的视点合成预测多视点视频编码方法
US9693055B2 (en) * 2012-12-28 2017-06-27 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
CN104703027B (zh) * 2015-03-17 2018-03-27 华为技术有限公司 视频帧的解码方法和装置
JP6480310B2 (ja) * 2015-11-17 2019-03-06 日本電信電話株式会社 映像符号化方法、映像符号化装置及び映像符号化プログラム
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
CN109495749A (zh) * 2018-12-24 2019-03-19 上海国茂数字技术有限公司 一种视频编解码、检索方法及装置
CN111372145B (zh) * 2020-04-15 2021-07-27 烽火通信科技股份有限公司 一种多视点视频的视点切换方法和***
CN111447503A (zh) * 2020-04-26 2020-07-24 烽火通信科技股份有限公司 一种多视点视频的视点切换方法、服务器和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103152570A (zh) * 2013-03-01 2013-06-12 北京大学 一种视频位流解码方法和装置
CN104980763A (zh) * 2014-04-05 2015-10-14 浙江大学 一种视频码流、视频编解码方法及装置
CN110583022A (zh) * 2017-05-09 2019-12-17 索尼公司 客户端设备、客户端设备处理方法、服务器以及服务器处理方法

Also Published As

Publication number Publication date
CN111800653A (zh) 2020-10-20
WO2022021519A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111800653B (zh) 视频解码方法、***、设备及计算机可读存储介质
CN101690163B (zh) 快门时间补偿
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
KR101385884B1 (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
JP3840895B2 (ja) 動画像符号化データ変換装置及びその方法
CN111295884A (zh) 图像处理装置及图像处理方法
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
CN112351285B (zh) 视频编码、解码方法和装置、电子设备和存储介质
WO2007013194A1 (ja) 画像情報圧縮方法及び自由視点テレビシステム
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
CN113438495A (zh) Vr直播方法、装置、***、设备及存储介质
CN114257818A (zh) 视频的编、解码方法、装置、设备和存储介质
JP6541932B2 (ja) 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
JP2004208146A (ja) 動画像符号化装置および動画像符号化方法
CN117579843B (zh) 视频编码处理方法及电子设备
JP7443536B2 (ja) 没入型のメディア処理におけるランク情報
JP5946980B1 (ja) 画像復号化方法
CN117812268A (zh) 视频转码方法、装置、设备以及介质
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения
JP3205839B2 (ja) 画像符号化装置
CN117692650A (zh) 图像编码/解码方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant